大模型轻量化系列解读 (八):降低 LLM 中因 Activation Spikes 导致的量化误差 下午11时 2025/02/24 作者 极市干货 型语言模型在后训练量化时面临的激活量化挑战,发现GLU激活中的“激活尖峰”会导致显著的量化误差。为此