MoE体系结构

最近几天，huggingface最受欢迎的两大LLM模型分别是月之暗面的kim2和智谱的4.1。Kimi2因接近甚至超越Claude编程能力而爆火，成为开源爱好者最完美的替代者。