援引博文介绍, DeepSeek-V3 是一个 6710 亿参数的专家混合(MoE,使用多个专家网络将问题空间划分为同质区域)模型,激活参数 370 亿,在 14.8 万亿 token 上进行了预训练。