ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
Mixture-of-Experts（MoE）架构尽管稀疏激活减少了计算量，但显存资源受限的端侧部署仍面临挑战。研究提出Mixture-of-Lookup-Experts（MoLE），通过将专家输入改为嵌入(token) token，利用查找表代替矩阵运算，有效降低推理开销，减少数千倍传输延迟。
稀疏激活
Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE
MLNLP 社区致力于促进 NLP 学术界、产业界及爱好者间的交流合作，Meta 新研究展示了记忆层在预训练语言模型扩展中的实用性和性能提升。