This Simple Optimizer Is Revolutionizing How We Train AI [Muon]
Jia-Bin Huang · 17:52
Muon是一个正在挑战AdamW默认地位的新优化器：它把线性层的动量矩阵当作真正的二维矩阵处理，通过Newton-Schulz迭代做"正交化"，从而放大那些被稀有方向携带的学习信号，据视频所述在小型语言模型上效果出色、计算效率约为AdamW的两倍且显存占用更低。视频还进一步讲解了把Muon扩展到大模型训练所需的三项加固：权重衰减、按矩阵尺寸调整学习率，以及针对注意力logits爆炸的QK-Clip（结合MLA后即为MuonClip）。