Llama2-7B

研究人员提出MHA2MLA方法，通过微调预训练模型减少KV缓存大小90%，保持甚至提升性能。该技术利用低秩联合压缩键值技术和分组查询注意力策略，降低推理成本的同时维持精度。