稀疏激活的专家网络

DeepSeek-V2 采用 DeepSeekMoE 架构优化训练成本和推理效率，引入稀疏激活的专家网络。