继今年1月份开源国内首个MoE（Mixture of Experts，专家混合）模型后，DeepSeek公司经过4个月的深入研究，于今日宣布开源其第二代MoE模型——DeepSeek-V2。这一模型在多个主流大模型评测榜单中表现卓越，尤其在中文综合能力(AlignBench)的开源模型中排名第一，与闭源模型如GPT-4-Turbo和文心4.0处于同一水平。（DeepSeek-V2体验入口见文末）

DeepSeek-V2的主要特点

性能卓越:DeepSeek-V2在主流模型评测榜单中表现突出，与闭源模型并驾齐驱。

创新模型结构:采用了MLA（Multi-head Latent Attention）架构，结合自研的Sparse结构DeepSeekMoE，显著减少了计算量和推理显存。

成本效益:每token成本大幅降低，输入吞吐量超过每秒10万tokens，输出超过每秒5万tokens。

API定价:每百万tokens输入1元、输出2元，价格极具竞争力。

开源精神:DeepSeek-V2模型和相关论文完全开源，免费商用，无需申请。

模型权重获取:模型权重可在Hugging Face平台获取，技术报告发布在GitHub上。

体验平台:DeepSeek提供了对话官网和开放平台，用户可以在deepseek免费开启对话。

DeepSeek-V2在英文综合能力（MT-Bench）方面也表现突出，与开源模型LLaMA3-70B并列第一梯队，超越了其他MoE开源模型。此外，在知识、数学、推理和编程等多个领域，DeepSeek-V2均取得了领先地位。该模型支持高达128K的上下文窗口，意味着能够处理更复杂的任务。

DeepSeek-V2采用了全新的模型结构，不同于主流的“类LLaMA的Dense结构”和“类Mistral的Sparse结构”。它引入了MLA（Multi-head Latent Attention）架构，该架构在减少计算量和推理显存方面有显著优势。结合自研的Sparse结构DeepSeekMoE，计算量被进一步降低，实现了模型性能的显著提升。

性能方面，DeepSeek-V2拥有236B的总参数和21B的激活量，其能力可与70B至110B的Dense模型相媲美，但显存消耗仅为同级别Dense模型的1/5至1/100，每token成本大幅降低。在8卡H800机器上的实际部署测试中，输入吞吐量超过每秒10万tokens，输出超过每秒5万tokens。

DeepSeek-V2的API定价极具竞争力，每百万tokens输入1元、输出2元（32K上下文），仅为GPT-4-Turbo价格的近百分之一。此外，DeepSeek-V2模型和相关论文已完全开源，免费商用，无需申请，模型权重可在Hugging Face平台获取，技术报告则发布在GitHub上。

剩余20%的图文内容打赏作者后可查看

打赏联系客服

微信扫码打赏作者

金额：0.99元

好的内容，值得赞赏！打赏后不支持退款！

联系客服

扫描下方二维码关注公众号“站长资讯”，及时联系客服解决。请把【打赏记录详情】截图给客服，同时把您打赏的文章【网址】发给客服。客服会在24小时内把完整文章内容发送给您。（客服在线时间为周一至周五9:00-11:30 14:00-17:30）