低秩线性化

研究人员提出LoLCATs方法，通过低秩线性转换将传统注意力无缝转移到线性注意力，使生产级大模型如Llama 3.1 405B的训练效率大幅提升。