精度与通用性不可兼得,北大华为理论证明低精度下scaling law难以实现

本文介绍了来自北京大学和华为的研究团队对量化技术在大语言模型中的应用及其影响进行了研究。他们发现量化会显著降低大模型的基本数学能力,尤其是在处理算术任务时表现更差。研究者提出了理论模型来解释这一现象,并通过实验验证了其结果。