MoE层

告别O(n²)！上海AI Lab开源Linear-MoE：线性注意力+MoE的终极缝合术

作者

近期研究表明，线性序列建模（如 Lightning Attention、Mamba2）与混合专家模型架构（MoE）的结合在高效大模型领域引起了广泛关注。上海人工智能实验室团队的最新研究首次系统地实现了这两种技术的结合，并开源了完整的技术框架。