从零开始设计 SGLang 的 KV Cache 下午2时 2025/03/23 作者 GiantPandaCV 8350 1 前言 Attention的计算过程中,需要之前的k和v。 但每次计算的时候,把之前的k