英伟达送钱送算力!数据过滤挑战赛开启:白嫖A100,冲击1万美金大奖!
在英伟达、Lambda Labs 及 Turing.AI 联合举办的 Data Filtering Challenge 中,参赛者需设计数据过滤技术优化数据集,并提升边缘设备上的小语言模型表现。比赛提供免费 GPU 计算资源及丰厚奖金。
在英伟达、Lambda Labs 及 Turing.AI 联合举办的 Data Filtering Challenge 中,参赛者需设计数据过滤技术优化数据集,并提升边缘设备上的小语言模型表现。比赛提供免费 GPU 计算资源及丰厚奖金。
这篇文章介绍了AWQ(activation-aware weight quantization),一种用于模型量化的新方法。通过保留0.1%的参数不进行量化可以显著提高PPL性能,但混合精度系统实现较为困难。AWQ在边缘设备使用中表现优异,并且需要更小和鲁棒性的校准数据集。