0:000:00
<p><strong>Kimi K2</strong>，这是一个拥有 <strong>1.04 万亿参数</strong>的混合专家（MoE）大型语言模型，其中 <strong>320 亿参数</strong>处于激活状态。报告详细阐述了其预训练阶段采用的 <strong>MuonClip 优化器</strong>，该优化器结合了 Muon 的效率与 QK-clip 的稳定性，使得模型在 <strong>15.5 万亿个 token</strong>上实现了无损失尖峰的训练。此外，报告还强调了 Kimi K2 通过大规模 <strong>Agentic 数据合成</strong>和 <strong>强化学习</strong>进行后训练，显著提升了其在 <strong>软件工程和代理任务</strong>方面的能力。性能评估显示，Kimi K2 在多项基准测试中达到了最先进的水平，尤其是在代理能力方面表现突出，并已发布模型检查点以促进相关研究。</p><p> <a href="https://arxiv.org/pdf/2507.20534v1">Kimi K2: Open Agentic Intelligence</a></p><p> </p>