0:000:00
<p>这篇论文<strong>介绍了一种名为动态微调（DFT）的新方法</strong>，旨在提升大型语言模型（LLM）监督微调（SFT）的泛化能力。资料<strong>指出标准SFT存在限制，因为它隐含的奖励结构存在问题</strong>，导致模型在面对训练数据中低概率的专家动作时，其梯度更新变得不稳定且方差过大。为了解决这一问题，<strong>DFT通过动态地根据每个词元（token）的概率来重新调整目标函数</strong>，有效地修正了这种有偏的奖励结构，从而稳定了学习过程。实验结果表明，<strong>DFT在多种数学推理基准测试中显著优于传统SFT</strong>，并且在离线强化学习环境中也能超越现有方法，突显了其在提高LLM性能和泛化方面的有效性和效率。最终，这项工作<strong>为SFT提供了一个更深层次的理论理解</strong>，并提供了一个简单而实用的改进方案。</p><p>Source: <https://arxiv.org/abs/2508.05629></p>