MoE加速库

字节跳动发布了COMET加速库，声称其可以显著提升MoE模型的性能。COMET支持多种并行策略，并且可以在已有框架中直接使用，单层MoE提速1.96倍，端到端模型加速1.71倍。