详解vLLM和SGLang awq dequantize kernel的魔法 上午8时 2025/03/17 作者 GiantPandaCV kernel触发条件为当输入x的shape的tokens<256时，这个时候会先把int4的awq权
4比特量化三倍加速不掉点！清华即插即用的SageAttention迎来升级 下午8时 2024/12/26 作者 机器之心 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000
大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」 下午1时 2024/11/19 作者 每时AI 机器之心报道 编辑：蛋酱、佳琪 去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还
