中信建投证券CHINA SECURITIES计算机设备行业动态报告行业变化L.1幻方子公司DeepSeek发布新MoE大模型DeepSeek-V2近日,深度求索Deepseek公司发布了DeepSeek--V2版本的模型,V2版本的Deepseek模型使用MoE(混合专家模型)技术路线,MoE的基本理念是将输入数据根据任务类型分割成多个区域,并将每个区域的数据分配一个或多个专家模型。每个专家模型可以专注于处理输入这部分数据,从而提高模型的整体性能。DeepseekV2采用大量的小参数专家进行建模,并在模型的训练和推理过程上加入了更多的优化。和以往一样,Deepseek公司对模型(基座和对话对齐版本)进行了完全的mt协议开源,MT(麻省理工学院许可协议)与其他常见的软件许可协议相比开源使用条件相对宽松。MⅡT协议允许使用者任意的使用、复制、修改原MT代码库,可以支持模型开源商用。同时,对于算力并不充足的用户,Deepseek官方提供了API调用的方案,该方案的API价格在目前所有大模型中最低,每百万输入Tokens1元,每百万输出Tokens2元。图表1通过比较各类模型的中文能力和API价格,充分体现了Deepseek-V2的API性价比。图1:大横型中文能力与言方API定价对比(百万toke)中文能力vs.API价格在中文能力方面,DeepSeek-V2在AlignBench排名中全球领先,同时提供极具竞争力的API价格.AlignBench80O DeepSeek-V2ERETOTurboO GLM-4Claude3 OpusLlama3-70B MiniMax-abab6o Moonshot-v1Qwen1.5 72B70Skylark2-ProO Baichuan2-Turboo Claude3 SonnetoQwen-turboo Claude3 Haiku0 Mixtral-8×22BO GLM-3-Turbo6.0价格¥1¥10¥100¥1000数据来源,Deepseek。中信建投证券在模型通用能力的表现评估上,Deepseek-V2的中文综合评分达到7.91分,英文综合评分达到897分,在MMLU,GSM8K,MATH,BBH,HumanEval等测试上分别拿到77.8、92.2、53.9、79.7、81.1分。在众多开源模型中,Deepseek-V2表现仅次于70B的开源模型LLaMA3,超过了他们此前发布的V1代67B的非MoE模型。图表2展示了Deepseek-V2和和其他模型的评价基准指标数值。请务必阅读正文之后的免责条款和声明。
暂无评论内容