发生了什么
扩散模型在单一任务上的强化学习已经取得了显著进展，例如提升文字生成质量、增强构图准确性，或优化画面美感等。但当这些能力需要同时集成到同一个模型中时，训练往往会变得十分困难：不同任务之间容易产生相互干扰，训练目标也会变得复杂而不稳定。 近期，来自 复旦大学与阿里巴巴通义万相的研究团队 对此提出了新的思考。他们认为，多任务强化学习不应被视为一个统一优化问题，而应该解耦为两个彼此独立的过程： 单任务的在线策略探索 & 多任务能力整合。 基于这一观点，他们提出了 DiffusionOPD ，为 diffusion 领域的 On-Policy Distillation 提供了一个统一视角，并建立了相应的理论与实验框架。 DiffusionOPD 的核心思路，是先针对不同任务分别训练各自的「专家教师」模型；随后，再通过在线策略蒸馏，将这些教师模型的能力统一蒸馏到同一个学生模型中，实现多任务能力整合。最终，一个统一的 student model 便能够同时兼顾构图、OCR、美学等多项能力。 论⽂标题：DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models 论文地址：https://arxiv.org/abs/2605.15055 项⽬主⻚：https://quanhaol.github.io/DiffusionOPD-site/ 代码链接 https://github.com/ali-vilab/DiffusionOPD 多任务强化学习方法 过去常⻅的多任务强化学习⽅法主要有两类。 联合多任务 RL (Joint Multi-Task Optimization) ：使用现有的 RL 算法例如 DiffusionNFT, GRPO 去联合优化多个任务。这种范式会撞上两个问题： 1 奖励冲突：不同任务的优化⽅向往往存在相互干扰； 2 任务失衡：简单任务会主导训练过程，导致复杂任务难以充分学习。 级联 RL (Cascade RL) ：按阶段依次训练不同任务。虽然能够缓解任务冲突，但是训练流程复杂，需要分别调整各阶段的超参数与训练策略，而且容易产生灾难性遗忘，后续任务训练的时候会削弱已有能力。 图 1：（a）相比所有多任务强化学习基线方法，DiffusionOPD 展现出显著更快的收敛速度以及更高的性能上限。（b）在包括 GenEval、OCR 与美学在内的多个任务领域中，DiffusionOPD 均优于所有基线方法。 DiffusionOPD: 单任务探索 + 多任务整合 DiffusionOPD 给出的答案⼲脆利落：多任务强化学习不应被视为一个统一优化问题，而应该解耦为两个彼此独立的过程：单任务的在线策略探索 & 多任务能力整合。 整体训练过程可分为两个阶段 Stag
扩散模型在单一任务上的强化学习已经取得了显著进展，例如提升文字生成质量、增强构图准确性，或优化画面美感等。但当这些能力需要同时集成到同一个模型中时，训练往往会变得十分困难：不同任务之间容易产生相互干扰，训练目标也会变得复杂而不稳定。 近期，来自 复旦大学与阿里巴巴通义万相的研究团队 对此提出了新的思考。他们认为，多任务强化学习不应被视为一个统一优化问题，而应该解耦为两个彼此独立的过程： 单任务的在线策略探索 & 多任务能力整合。 基于这一观点，他们提出了 DiffusionOPD ，为 diffusion 领域的 On-Policy Distillation 提供了一个统一视角，并建立了相应的理论与实验框架。 DiffusionOPD 的核心思路，是先针对不同任务分别训练各自的「专家教师」模型；随后，再通过在线策略蒸馏，将这些教师模型的能力统一蒸馏到同一个学生模型中，实现多任务能力整合。最终，一个统一的 student model 便能够同时兼顾构图、OCR、美学等多项能力。 论⽂标题：DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models 论文地址：https://arxiv.org/abs/2605.15055 项⽬主⻚：https://quanhaol.github.io/DiffusionOPD-site/ 代码链接 https://github.com/ali-vilab/DiffusionOPD 多任务强化学习方法 过去常⻅的多任务强化学习⽅法主要有两类。 联合多任务 RL (Joint Multi-Task Optimization) ：使用现有的 RL 算法例如 DiffusionNFT, GRPO 去联合优化多个任务。这种范式会撞上两个问题： 1 奖励冲突：不同任务的优化⽅向往往存在相互干扰； 2 任务失衡：简单任务会主导训练过程，导致复杂任务难以充分学习。 级联 RL (Cascade RL) ：按阶段依次训练不同任务。虽然能够缓解任务冲突，但是训练流程复杂，需要分别调整各阶段的超参数与训练策略，而且容易产生灾难性遗忘，后续任务训练的时候会削弱已有能力。 图 1：（a）相比所有多任务强化学习基线方法，DiffusionOPD 展现出显著更快的收敛速度以及更高的性能上限。（b）在包括 GenEval、OCR 与美学在内的多个任务领域中，DiffusionOPD 均优于所有基线方法。 DiffusionOPD: 单任务探索 + 多任务整合 DiffusionOPD 给出的答案⼲脆利落：多任务强化学习不应被视为一个统一优化问题，而应该解耦为两个彼此独立的过程：单任务的在线策略探索 & 多任务能力整合。 整体训练过程可分为两个阶段 Stag
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100