超越自回归：并行文本生成技术如何加速大模型推理

<h1>原文：<a href="https://arxiv.org/pdf/2508.08712">A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models</a></h1><p>该综述文章深入探讨了<strong>并行文本生成</strong>领域，旨在解决大型语言模型（LLMs）中固有的<strong>自回归（AR）生成速度瓶颈</strong>。文章系统地将现有技术分为<strong>基于自回归（AR-based）和非自回归（Non-AR-based）范式。基于自回归的方法通过草稿-验证</strong>、<strong>分解-填充</strong>和<strong>多令牌预测</strong>等策略加速生成，同时努力保持输出质量。<strong>非自回归方法</strong>则包括<strong>一次性生成</strong>、<strong>掩码生成</strong>和<strong>基于编辑的细化</strong>，它们通过打破严格的序列依赖关系来实现更高的并行度，但在质量上可能面临挑战。该研究还比较了这些方法的<strong>速度、质量和资源消耗</strong>，并讨论了不同加速策略的<strong>组合潜力</strong>，同时指出了该领域的<strong>开放性挑战和未来研究方向</strong>。</p>