发生了什么
把参考图里的物体自然地「搬进」另一张照片，是电商商品合成、虚拟试穿、影视换脸与个性化创作的关键能力。真正落地却要跨过两道门槛：模型往往只擅长某一类物体，且高度依赖像素级精细掩码。 上海交通大学联合上海创智学院团队提出 A²-Edit ，它以统一框架支持任意物体类别和任意精度掩码，通过混合 Transformer 专家路由、掩码退火训练及 50 万级多品类数据，让用户只需给出粗略区域，也能完成身份一致、结构完整、自然融合的参考图引导局部编辑。 论文标题：A²-Edit: Precise Reference-Guided Image Editing of Arbitrary Objects and Ambiguous Masks 论文链接：https://arxiv.org/abs/2603.10685 GitHub 仓库：https://github.com/huayu-zheng/A2Edit 参考图引导编辑的两道固有枷锁 参考图引导图像修复的目标，是把参考图中的主体语义迁移到目标图的指定区域，既保住主体身份，又与周围场景自然融合。该任务可控性强、落地价值高，却在真实使用中仍受到 跨类别统一建模能力不足与精细掩码依赖严重 两方面的制约。 首先，不同类别对象的编辑目标与表征需求存在显著差异：服装关注纹理一致，人像强调身份保持与形变合理，车辆、家具和建筑等刚性对象则更依赖几何结构、透视关系与材质属性的准确建模。然而现有方法通常采用单一共享参数路径处理不同类别输入，缺乏面向类别差异的动态建模与专门化机制，导致模型在跨类别场景中的性能下降。 数据侧同样存在局限性，品类分布高度同质，模型学不到通用表征。 其次，现有方法普遍要求高精度分割掩码来严格框定编辑区域，但真实场景中无论是用户手绘涂抹还是检测框自动生成，均难以获得与目标轮廓严格贴合的精细掩码。当输入掩码不够精确，模型性能通常显著下降，并容易产生边界伪影、内容泄漏、结构异常及背景破坏等问题。 专家路由 + 退火训练，架构层面双管齐下 A²-Edit 跳出「一条通路吃下所有品类」的旧范式，设计混合 Transformer 专家路由架构配合退火训练算法从架构层面解决模型跨类别统一建模能力不足的问题。 混合 Transformer 专家路由，实现品类差异化建模 模型将传统混合专家架构的条件路由机制由仅作用于前馈网络（FFN）扩展至注意力模块（Attention）与前馈网络的联合建模，并在各 Transformer 层中嵌入混合 Transformer 块（MoTB）。门控网络根据输入特征所包含的语义信息与类别属性，自适应计算各专家的路由权重，从而动态选择与当前编辑对象相匹配的参数分支。 路由采用锚点引导策略（AGR）：主干专家作为稳定的知识锚点始终保持激活；辅助专家则根据门控网络输出进行动态
把参考图里的物体自然地「搬进」另一张照片，是电商商品合成、虚拟试穿、影视换脸与个性化创作的关键能力。真正落地却要跨过两道门槛：模型往往只擅长某一类物体，且高度依赖像素级精细掩码。 上海交通大学联合上海创智学院团队提出 A²-Edit ，它以统一框架支持任意物体类别和任意精度掩码，通过混合 Transformer 专家路由、掩码退火训练及 50 万级多品类数据，让用户只需给出粗略区域，也能完成身份一致、结构完整、自然融合的参考图引导局部编辑。 论文标题：A²-Edit: Precise Reference-Guided Image Editing of Arbitrary Objects and Ambiguous Masks 论文链接：https://arxiv.org/abs/2603.10685 GitHub 仓库：https://github.com/huayu-zheng/A2Edit 参考图引导编辑的两道固有枷锁 参考图引导图像修复的目标，是把参考图中的主体语义迁移到目标图的指定区域，既保住主体身份，又与周围场景自然融合。该任务可控性强、落地价值高，却在真实使用中仍受到 跨类别统一建模能力不足与精细掩码依赖严重 两方面的制约。 首先，不同类别对象的编辑目标与表征需求存在显著差异：服装关注纹理一致，人像强调身份保持与形变合理，车辆、家具和建筑等刚性对象则更依赖几何结构、透视关系与材质属性的准确建模。然而现有方法通常采用单一共享参数路径处理不同类别输入，缺乏面向类别差异的动态建模与专门化机制，导致模型在跨类别场景中的性能下降。 数据侧同样存在局限性，品类分布高度同质，模型学不到通用表征。 其次，现有方法普遍要求高精度分割掩码来严格框定编辑区域，但真实场景中无论是用户手绘涂抹还是检测框自动生成，均难以获得与目标轮廓严格贴合的精细掩码。当输入掩码不够精确，模型性能通常显著下降，并容易产生边界伪影、内容泄漏、结构异常及背景破坏等问题。 专家路由 + 退火训练，架构层面双管齐下 A²-Edit 跳出「一条通路吃下所有品类」的旧范式，设计混合 Transformer 专家路由架构配合退火训练算法从架构层面解决模型跨类别统一建模能力不足的问题。 混合 Transformer 专家路由，实现品类差异化建模 模型将传统混合专家架构的条件路由机制由仅作用于前馈网络（FFN）扩展至注意力模块（Attention）与前馈网络的联合建模，并在各 Transformer 层中嵌入混合 Transformer 块（MoTB）。门控网络根据输入特征所包含的语义信息与类别属性，自适应计算各专家的路由权重，从而动态选择与当前编辑对象相匹配的参数分支。 路由采用锚点引导策略（AGR）：主干专家作为稳定的知识锚点始终保持激活；辅助专家则根据门控网络输出进行动态
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100