GiantPandaCV

AWQ：模型量化应当关注激活值

作者

这篇文章介绍了AWQ（activation-aware weight quantization），一种用于模型量化的新方法。通过保留0.1%的参数不进行量化可以显著提高PPL性能，但混合精度系统实现较为困难。AWQ在边缘设备使用中表现优异，并且需要更小和鲁棒性的校准数据集。