shared_expert

本文介绍了三种不同版本的MOE模型：基础版MOE、大模型用的SparseMoE以及Deepseek使用的shared_expert SparseMoE。