自变量发布 DMuon 优化器，分布式改造 Muon 大模型基础设施，让具身模型训练提速 30%

　　神经网络优化器是大模型训练的底层基础设施，负责调度更新模型权重的方向和步长等。近年来，Muon优化器在大语言模型训练领域逐渐成为焦点，展现出相比AdamW更快的收敛能力。自变量的实验发现，在具身智能训练场景中，受益于不同于语言模型的模型结构与优化需求，Muon进一步展现出良好的适配性，相比AdamW在训练效率和最终性能上均取得显著提升。

　　但在应用于分布式计算时，Muon相比AdamW引入了额外的计算和通信系统开支，导致端到端步时间飙升到AdamW的2.2倍左右，计算收敛更快的提效被额外系统开支所吞没，相较AdamW不具有绝对优势。

　　近日，自变量机器人发布了一种高效的分布式Muon基础设施DMuon，将细粒度通信优化、计算感知负载均衡与高性能内核系统相结合，能够消除Muon应用于分布式训练时额外引入的系统开支，端到端步时间从AdamW的2.2倍降低为1.02倍，整体模型训练提速约30%。此外，DMuon不改变参数更新规则、不需调整训练框架，只需3行代码就能引入，有望成为具身模型训练时新的默认选项。

　　不仅如此，神经网络优化器作为大模型训练的底层设施，过去的优化主要由OpenAI、DeepSeek、Kimi等公司贡献。但Muon优化器面对的额外系统开销问题，在具身模型训练时又格外突出。自变量此次发布DMuon优化器，是罕有的具身模型企业为大模型底层基础设施的优化改造做出贡献。Muon优化器能更快计算收敛，但应用于分布式训练仍需改造

　　 Muon是近两年出现的一种革命性的神经网络优化器，能通过“矩阵正交化”大幅提升训练效率和收敛速度，计算效率相当于过去以逐个元素计算的优化器AdamW的2倍，已经被Kimi-K2与DeepSeek-V4在生产规模的训练中使用。

　　然而，Muon在实际生产部署中仍有阻碍。大模型预训练时，会将原本存储在单个GPU上的模型参数、梯度和优化器状态切割成多个部分，分散到集群中的不同GPU上分别存储和计算。这与AdamW“逐个元素更新”的工作方式相契合，因为其更新只作用于本地分片；但与Muon的工作方式相冲突，因为其核心计算步骤Newton–Schulz迭代需要知道完整的权重矩阵而非单个分片的信息。

　　因此，在将Muon应用于分布式训练时，必须先重建出完整矩阵、引入逐元素优化器所没有的计算和通信。这笔额外的开销会出现在每一个优化器步骤、矩阵参数上，并随模型规模和分布式宽度而增长。对于具身模型，这种影响更甚：因为具身模型的时序上下文更短，前向-反向传播占比更小，使得优化器的开销更难被摊销。

　　简单来说，将Muon优化器应用于大模型预训练的分片计算时，由于每个GPU都需要拼接出完整矩阵、计算同样的Muon更新，这带来了海量的重复计算和拼装通信。其结果是，每步训练时间反而达到AdamW的2.2倍：Muon在计算效率上省下的时间，又被系统开销消耗掉了。这使得在分布式计算时，Muon相比AdamW尚不是一个能完美替代的选项。自变量三项改进消除系统开支，端到端步时间接近AdamW水平

　　为了解决Muon应用在分片计算上的难题，自变量机器人提出DMuon——一个将每步性能差距缩小到AdamW水平的分布式Muon。简单来说，DMuon既能保留Muon计算收敛更快的好处，也能让端到端步时间接近AdamW，让Muon从“理论上很美、生产上很贵”变成可以默认启用的选项。

　　通过细粒度通信优化、计算感知负载均衡、高性能内核系统这三方面改进，DMuon能消除冗余的优化器计算。相比传统的分布式Muon，DMuon能将端到端单步计算时间加速1.48-3.01倍，将优化器步骤加速6.85-163倍，将端到端步时间平均保持在AdamW的1.02倍以内。

　　 DMuon主要提出了三项改进方法：

　　1、Owner中心执行与细粒度通信优化。

　　 Owner中心执行是DMuon解决“冗余计算”和“通信开销”问题的核心架构。原生的分布式Muon会让每个显卡都计算完整梯度和Newton–Schulz迭代，显卡越多重复计算越多。DMuon则将每个矩阵参数分配给唯一的Owner rank(所有者进程)，只有它会保存这个矩阵的优化器状态、执行Newton–Schulz迭代计算，再将需要更新的参数分发给需要的GPU。

　　由于Owner需要收集各GPU计算的梯度、发放计算完的新权重，这也带来了额外的通信开销。DMuon会将这些通信“插空”放在计算的空档里，有三个关键设计：一是让相邻矩阵的通信分散到不同节点间通信组，多路广播可以并发而不排队；二是前向传播中，节点间广播提前发出、节点内广播临近使用才发出，让通信“错峰”进行；三是反向传播中，将“广播下一层参数”与“规约本层梯度”两类通信错开编排。

　　经过实验，原生的Muon优化器的计算时间不随GPU数下降而下降，而DMuon能伴随GPU数线性下降，说明冗余计算被消除、GPU越多收益越大。

　　2、形状自适应执行栈。

　　在消除不同GPU的重复计算后，优化Newton–Schulz就成了主要问题。需要计算的权重矩阵形状通常很不一致：有些矩阵能独自占用整张GPU、有些矩阵需要凑在一起才能喂饱GPU。这些不同形状矩阵的优化方法差异很大，需要一套“形状自适应”的执行栈，让优化的数学形式、执行方式和底层内核随之改变。

　　对此，DMuon作出四项优化：1、采用Gram空间递推，将NS迭代从m×n的矩阵空间搬进m×m的Gram矩阵空间，将主要计算量从O(m n)降到O(m)(m