DeepSeek-Coder-V2：DeepSeek开源的最新代码语言模型

DeepSeek-Coder-V2简介

DeepSeek-Coder-V2是由DeepSeek开发的新一代开源代码语言模型，它通过在DeepSeek-V2基础上增加6万亿token的预训练，显著提升了代码编写和数学推理能力。该模型支持338种编程语言，并将上下文长度扩展至128K，使其在代码生成和数学任务上的性能与业界领先的封闭源模型相媲美。作为首个开源的百亿参数代码模型，DeepSeek-Coder-V2在推动代码智能领域的发展方面具有里程碑意义，同时为研究和商业用途提供了强大的工具。

DeepSeek-Coder-V2功能特色

❶代码生成与补全：能够根据给定的上下文或部分代码生成完整的代码片段，或补全未完成的代码。
❷多语言支持：支持338种不同的编程语言，为用户提供广泛的语言选项。
❸数学推理：具备解决数学问题的能力，包括基础数学和高级竞赛级别的数学问题。
❹代码理解与推理：能够理解代码逻辑，并在给定输入和输出的情况下进行推理。
❺代码修复：具备识别代码中的错误并提出修复方案的能力。
❻自然语言处理：保持了较高的自然语言理解能力，能够处理与代码相关的自然语言任务。
❼长上下文处理：通过扩展上下文长度至128K tokens，能够处理更长的代码和文本数据。

DeepSeek-Coder-V2模型架构

DeepSeek-Coder-V2在模型架构上与DeepSeekV2保持一致，但在训练中遇到了不稳定性，因此放弃了指数归一化技术，转而使用传统的归一化方法。主要特点包括：
❶混合专家(MoE)框架：模型采用了Mixture-of-Experts框架，这是一种先进的神经网络架构，能够有效地扩展模型的容量和灵活性。
❷参数规模：提供了两种规模的模型，16B（16十亿参数）和236B（236十亿参数），其中激活参数分别只有2.4B和21B，这表明模型在保持巨大规模的同时，也注重参数的高效利用。
❸上下文长度扩展：通过使用Yarn技术，模型的上下文长度从16K扩展到了128K，使得模型能够处理更长的代码序列，这对于理解和生成复杂的代码结构至关重要。
❹训练策略：模型采用了Next-Token-Prediction和Fill-In-Middle (FIM)训练策略，特别是对于16B版本的模型，FIM方法被用来增强模型的中间填充能力，从而提升代码补全的效果。
❺优化器和学习率调度：使用了AdamW优化器，并采用了余弦退火学习率调度策略，这有助于模型在训练过程中更稳定地收敛。
❻预训练和微调：模型首先在大规模的多源语料库上进行预训练，然后在包含代码和数学数据的指令训练数据集上进行微调，最后通过强化学习和相对策略优化（GRPO）算法进一步对齐模型行为与人类偏好。
❼支持的语言：模型支持338种编程语言，这使得DeepSeek-Coder-V2能够广泛应用于不同的编程场景。
❽许可和开源：模型在宽松的许可证下发布，允许研究和商业使用，这为更广泛的社区贡献和协作提供了可能。

DeepSeek-Coder-V2性能评估

❶代码生成：DeepSeek-Coder-V2在代码生成任务上表现出色，特别是在HumanEval基准测试中达到了90.2%的准确率，在MBPP基准测试中达到了76.2%的准确率，与业界领先的闭源模型相媲美。此外，在LiveCodeBench和USACO测试中，DeepSeek-Coder-V2分别取得了43.4%和12.1%的高分，这些成绩在大型模型中位于前列，凸显了其在实际编程问题解决中的有效性。

❷代码补全：在RepoBench的评估中，DeepSeek-Coder-V2在Python和Java语言的代码补全准确率与更大的模型相媲美。特别是，具有2.4亿激活参数的DeepSeek-Coder-V2-Lite-Base在Fill-in-the-Middle任务中平均准确率达到86.4%，显示出其在代码补全方面的高效率和有效性。

❸代码修复：DeepSeek使用Defects4J、SWE-Bench和Aider数据集进行测试，DeepSeek-Coder-V2在修复bug方面表现出色，尤其在Aider数据集上达到了73.7%的修复率，超越了所有其他开源模型，甚至在某些方面接近闭源模型的性能。在Defects4J和SWE-Bench数据集上，DeepSeek-Coder-V2也分别取得了21%和12.7%的修复率，显示了其处理实际编程问题的强大能力。

❹代码理解与推理：通过CRUXEval基准测试，DeepSeek-Coder-V2在CRUXEval-I和CRUXEval-O这两个任务上的表现显著。分别达到了70.0%和75.1%的准确率，这在所有开源模型中表现突出。尽管与更大的闭源模型相比存在性能差距，但DeepSeek-Coder-V2在理解和推理Python代码方面展示了其优越的能力。

❺数学推理：DeepSeek-Coder-V2在MATH基准测试上达到了75.7%的准确率，在Math Odyssey上达到了53.7%的准确率，与最先进的GPT-4o模型相当。此外，在AIME 2024的竞赛级数学问题上，DeepSeek-Coder-V2解决了比其他模型更多的题目，证明了其在高级数学问题解决上的强有力性能。

❻自然语言处理：DeepSeek-Coder-V2在自然语言处理任务上表现出色，尤其在MMLU测试中达到了79.2%的准确率，并在多个英文和中文理解评估中超越了DeepSeek-V2，证明了其在自然语言推理和开放式问题生成方面的高效能力。

DeepSeek-Coder-V2官方入口

• 官网在线体验：https://chat.deepseek.com
• GitHub源码库：https://github.com/deepseek-ai/DeepSeek-Coder-V2
• 技术报告：https://github.com/deepseek-ai/DeepSeek-Coder-V2/blob/main/paper.pdf
• Hugging Face模型下载：DeepSeek基于DeepSeekMoE框架向公众发布了具有16B和236B参数的DeepSeek-Coder-V2，该框架的活动参数仅为2.4B和21B，包括Base模型和Instruct模型。
  

  Model	#Total Params	#Active Params	Context Length	Download
  DeepSeek-Coder-V2-Lite-Base	16B	2.4B	128k	🤗 HuggingFace
  DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	128k	🤗 HuggingFace
  DeepSeek-Coder-V2-Base	236B	21B	128k	🤗 HuggingFace
  DeepSeek-Coder-V2-Instruct	236B	21B	128k	🤗 HuggingFace