0:000:00
<p>这篇研究论文介绍了<strong>检索增强生成（RAG）模型，这是一种结合了预训练参数化和非参数化记忆的语言生成方法。该研究探索了两种RAG模型：RAG-Sequence和RAG-Token</strong>，它们通过神经检索器访问维基百科的密集向量索引作为非参数记忆，并使用预训练的序列到序列模型作为参数记忆。通过在各种知识密集型自然语言处理任务上进行微调和评估，包括开放域问答、抽象问答、问题生成和事实核查，研究表明RAG模型在多个基准测试中取得了<strong>最先进的结果</strong>，并且比纯参数化模型生成了更具体、多样和符合事实的语言。此外，该研究强调了<strong>可热插拔的非参数记忆</strong>的优势，允许轻松更新模型的知识，而无需再训练，并讨论了该方法的社会影响。<a href="https://arxiv.org/pdf/2005.11401">arxiv.org</a></p>