Code Llama面向代码的开源基础模型

<p>Code Llama，这是一系列基于 Llama 2 的代码大语言模型，在开源模型中具有领先的性能、填充能力、对大输入上下文的支持，以及针对编程任务的零样本指令跟随能力。我们提供多种类型以涵盖广泛的应用场景：基础模型（Code Llama）、Python 专用模型（Code Llama - Python），以及指令跟随模型（Code Llama - Instruct），每个模型分别有 70 亿、130 亿、340 亿和 700 亿参数。所有模型均在 1.6 万个词元的序列上进行训练，并且在长达 10 万个词元的输入上表现出改进。70 亿、130 亿和 700 亿参数的 Code Llama 和 Code Llama - Instruct 变体支持基于周围内容的填充。Code Llama 在多个代码基准测试中达到了开源模型中的领先性能，在 HumanEval 和 MBPP 上的得分分别高达 67%和 65%。值得注意的是，Code Llama - Python 70 亿参数模型在 HumanEval 和 MBPP 上的表现优于 Llama 2 700 亿参数模型，并且我们所有的模型在 MultiPL-E 上的表现都超过了其他所有公开可用的模型。我们以宽松的许可协议发布 Code Llama，允许用于研究和商业用途</p><p>https://arxiv.org/abs/2308.12950</p>