发生了什么
本文作者施柯煊和李瀚轩是香港中文大学计算机科学与工程系博士生，邱泽钜是德国马克斯普朗克研究所博士生，温研东是西湖大学助理教授，Simon Buchholz是德国马克斯普朗克研究所研究员，刘威杨是香港中文大学计算机科学与工程系助理教授。 当大语言模型不断迈向百亿乃至千亿参数规模时，人们的核心关注已不再仅仅是 “如何更快收敛”，而是逐渐转向两个更加本质的问题： 其一，是如何在训练过程中维持稳定性；其二，是如何实现从小模型到大模型的有效超参数迁移。 具体而言，前者主要表现为训练过程中的一系列数值与动力学失稳现象，例如注意力 logits 持续增大、激活输出范数逐步漂移、深层网络中损失尖峰频繁出现，甚至最终导致数值溢出与训练崩溃。后者则依赖于 μP（Maximal Update Parameterization）等尺度化理论，其核心思想是在宽度变化的条件下，通过对参数矩阵与更新尺度进行系统性约束，使不同规模模型之间的超参数具有可迁移性。 围绕这两个问题，当前主流的工程应对方式主要集中在 “训练稳定性补丁” 和 “尺度控制框架” 两个方向。一类方法通过梯度裁剪、激活截断、学习率衰减等手段，直接抑制训练过程中的数值爆炸；另一类方法则借助归一化或谱约束等机制，对参数或更新的尺度进行显式控制，从而缓解训练过程中的漂移问题。 这些方法通过抑制不稳定现象的外在表现，取得了一定的成效，但是并非从优化动力学层面约束其根源。 近期，研究团队提出了一类基于 等谱流形（iso-spectral manifold）的优化器 Pion 。其核心思路是在参数矩阵对应的等谱流形上进行优化，从而在根源上规避动力学失稳。这一视角为长程训练中的尺度漂移与稳定性问题提供了一种从 “几何约束优化动力学” 出发的替代思路。 论文标题：Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation 论文链接：https://arxiv.org/pdf/2605.12492 代码链接：https://github.com/Sphere-AI-Lab/pion 加法更新的困境 追本溯源，无论是 μP 尺度的失效亦或是是训练频频失稳，传统优化器的加法更新范式是主要原因之一。 过去几年，AdamW 与 Muon 等优化器的设计重点都集中在如何更快下降训练损失与提升训练效率， 但它们本质上都采用加法更新 ： 。这种更新方式天然关注的是 “如何沿梯度快速下降”，但并不会主动约束权重矩阵的几何结构。 随着训练的不断进行，无约束的加法累积同时改变了参数的长度与方向，逐渐破坏了参数矩阵的谱几何。具体表现
本文作者施柯煊和李瀚轩是香港中文大学计算机科学与工程系博士生，邱泽钜是德国马克斯普朗克研究所博士生，温研东是西湖大学助理教授，Simon Buchholz是德国马克斯普朗克研究所研究员，刘威杨是香港中文大学计算机科学与工程系助理教授。 当大语言模型不断迈向百亿乃至千亿参数规模时，人们的核心关注已不再仅仅是 “如何更快收敛”，而是逐渐转向两个更加本质的问题： 其一，是如何在训练过程中维持稳定性；其二，是如何实现从小模型到大模型的有效超参数迁移。 具体而言，前者主要表现为训练过程中的一系列数值与动力学失稳现象，例如注意力 logits 持续增大、激活输出范数逐步漂移、深层网络中损失尖峰频繁出现，甚至最终导致数值溢出与训练崩溃。后者则依赖于 μP（Maximal Update Parameterization）等尺度化理论，其核心思想是在宽度变化的条件下，通过对参数矩阵与更新尺度进行系统性约束，使不同规模模型之间的超参数具有可迁移性。 围绕这两个问题，当前主流的工程应对方式主要集中在 “训练稳定性补丁” 和 “尺度控制框架” 两个方向。一类方法通过梯度裁剪、激活截断、学习率衰减等手段，直接抑制训练过程中的数值爆炸；另一类方法则借助归一化或谱约束等机制，对参数或更新的尺度进行显式控制，从而缓解训练过程中的漂移问题。 这些方法通过抑制不稳定现象的外在表现，取得了一定的成效，但是并非从优化动力学层面约束其根源。 近期，研究团队提出了一类基于 等谱流形（iso-spectral manifold）的优化器 Pion 。其核心思路是在参数矩阵对应的等谱流形上进行优化，从而在根源上规避动力学失稳。这一视角为长程训练中的尺度漂移与稳定性问题提供了一种从 “几何约束优化动力学” 出发的替代思路。 论文标题：Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation 论文链接：https://arxiv.org/pdf/2605.12492 代码链接：https://github.com/Sphere-AI-Lab/pion 加法更新的困境 追本溯源，无论是 μP 尺度的失效亦或是是训练频频失稳，传统优化器的加法更新范式是主要原因之一。 过去几年，AdamW 与 Muon 等优化器的设计重点都集中在如何更快下降训练损失与提升训练效率， 但它们本质上都采用加法更新 ： 。这种更新方式天然关注的是 “如何沿梯度快速下降”，但并不会主动约束权重矩阵的几何结构。 随着训练的不断进行，无约束的加法累积同时改变了参数的长度与方向，逐渐破坏了参数矩阵的谱几何。具体表现
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100