BERT：深度双向 Transformer 语言理解预训练

<p><strong>BERT 的独特之处在于它能够通过同时考虑左右上下文来学习文本的双向表示</strong>。这与之前只关注单向上下文的模型不同。<strong>通过对无标注文本进行预训练，BERT 可以轻松地针对各种下游任务进行微调</strong>，例如问答和自然语言推理，而无需进行大量的模型修改。<strong>作者展示了 BERT 在多项自然语言处理任务中取得了显著的改进</strong>，强调了双向预训练和模型大小的重要性。<strong>论文还探讨了使用 BERT 进行微调和基于特征的方法之间的权衡。</strong></p><p><strong>http://arxiv.org/abs/1810.04805</strong></p>