128k长度

月之暗面发布Kimi K2模型，拥有1万亿总参数和320亿激活参数的混合专家（MoE）模型。该模型在编码、数学及工具使用方面达到头部大模型水平，并支持指令微调以供聊天和智能体应用。其训练过程采用MuonClip优化器解决大规模预训练中的注意力问题，通过虚拟世界模拟数据提升Agent能力。