SepLLM

来自华为、港大、KAUST和马普所的研究者提出了一种新的稀疏注意力机制——SepLLM，它通过根据原生语义动态划分token数量来显著减少KV缓存使用量，并在免训练、预训练和后训练场景下实现了50%以上的KV缓存减少。