SpheroMoE

华中科技大学提出MoE Jetpack框架，利用密集激活模型权重微调出混合专家（MoE）模型，大幅提升了精度和收敛速度，解决MoE预训练需求高问题。