ICML 2025

近日，ICML 2025 新研究揭示大型语言模型中注意力机制的查询 (Q) 和键 (K) 表示存在极大值现象，而值 (V) 表示则没有这种模式。极大值对上下文理解至关重要，研究提出保护 Q 和 K 中的大值能有效维持模型的上下文理解能力。