熊璟

作者熊璟介绍其研究工作，提出ParallelComp方法解决大语言模型在处理超长文本时存在的瓶颈问题。该方法包括并行注意力分块、KV缓存智能淘汰与注意力偏差校准三项创新技术，通过减少显存消耗和优化注意力分布，使得模型能高效处理128K长度以上的上下文，显著提升推理效率。