kv缓存

谷歌DeepMind团队提出了一种名为‘可微缓存增强’的技术，该技术通过引入外部协处理器来增强大语言模型（LLMs）的键值（kv）缓存，显著提升了推理性能，并在多个基准测试中提高了准确率和性能。