0:000:00
<p>本研究介绍了一种名为 <strong>CANS（Chebyshev-optimized Newton-Schulz）</strong> 的新方法，旨在通过利用 <strong>Chebyshev 交错定理</strong> 优化系数来加速 <strong>Newton-Schulz 迭代</strong>。这种迭代是计算给定矩阵 <strong>正交极分解</strong> 的有效方法，因为它主要依赖于矩阵乘法。研究人员通过理论推导了 <strong>三阶 Newton-Schulz 迭代</strong> 的最优系数，并利用 <strong>Remez 算法</strong> 计算了更高阶多项式的最优系数。 <strong>CANS 方法</strong> 在 <strong>Muon 优化器</strong> 和 <strong>Stiefel 流形上的黎曼优化</strong> 等深度学习应用中展现出显著的性能提升。通过定制多项式以在特定区间内实现理想行为，<strong>CANS</strong> 能够平衡精度与计算效率，甚至在缺乏最小奇异值信息的情况下也能有效运行。</p><p>Source: <https://arxiv.org/abs/2506.10935></p>