把注意力计算丢给CPU,大模型解码吞吐量提高1.76~4.99倍
CMU、华盛顿大学及Meta AI的研究提出MagicPIG,通过CPU上的LSH采样技术缓解GPU内存限制,显著提高LLM解码吞吐量和下游准确率,有望降低模型部署成本。
CMU、华盛顿大学及Meta AI的研究提出MagicPIG,通过CPU上的LSH采样技术缓解GPU内存限制,显著提高LLM解码吞吐量和下游准确率,有望降低模型部署成本。
Meta FAIR 新发布的大型概念模型(LCM)打破了传统语言模型逐词预测的局限,它将句子视为一个概念单元,在句子表征空间中进行建模。LCM的核心组件是SONAR,支持超过200种语言和多模态输入。
新一届ACL Fellow名单公布,9位杰出学者入选,包括四位华人学者,涵盖自然语言处理、信息提取、问答系统等多个领域。