405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+
研究人员提出LoLCATs方法，通过低秩线性转换将传统注意力无缝转移到线性注意力，使生产级大模型如Llama 3.1 405B的训练效率大幅提升。
MIT
NeurIPS 2024 自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释
AIxiv专栏介绍及其相关研究，讨论了大语言模型中的自我纠错能力，并提出了理论分析方法。该研究指出，自我纠错是一种上下文对齐过程，通过优化LLM的最终输出以获得更高的奖励。