长上下文理解

近期研究表明，线性序列建模（如 Lightning Attention、Mamba2）与混合专家模型架构（MoE）的结合在高效大模型领域引起了广泛关注。上海人工智能实验室团队的最新研究首次系统地实现了这两种技术的结合，并开源了完整的技术框架。