900TOPS

清华大学陈键飞团队提出的SpargeAttn无需训练且通用，实现了任意模型在4-32K上下文长度上的4-7倍推理加速，并保持了端到端精度。该方法通过选择性地压缩Q, K矩阵并预测P矩阵来节省计算，同时使用稀疏在线softmax算法进一步优化。