专家混合

DeepSeek的开源周Day2发布了DeepEP库，这是一个为MoE模型训练和推理定制的通信库，支持高吞吐量、低延迟的All-to-All GPU内核，并提供针对非对称域带宽转发优化的内核。