负载均衡损失函数

混合专家模型(MoE)通过动态选择子模型处理不同输入，显著降低计算成本并提升表现，核心组件包括专家网络、路由机制和稀疏激活。