注意力机制
Ilya Sutskever连续三年获NeurIPS 终身成就奖
AI界传奇人物Ilya Sutskever因发表的论文’Sequence to Sequence Learning with Neural Networks’获得NeurIPS最高荣誉。该论文展示了序列学习的革命性方法，并在自然语言处理领域影响深远。
LSTM之父：我也是注意力之父！1991年就发表线性复杂度，遥遥领先Transformer 26年
新智元报道
编辑：LRS
【新智元导读】
Transformer模型自2017年问世以来，已成为AI
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
BitNet系列原班人马推出新一代架构BitNet a4.8，采用两阶段权重衰减和学习率调度。实验对比显示其在语言模型困惑度和任务准确性方面与LLaMA相当，并且平均精度几乎没有损失。
揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了
2014年来自Karpathy与Dzmitry Bahdanau的实习生提出的简化注意力机制在机器翻译项目中诞生，后来被应用于Transformer模型。
Andrej Karpathy 首次公开私人邮件：揭秘Transformer 注意力机制真相
揭秘Transformer‘注意力’机制的起源故事，它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题，最终提出RNNSearch架构，并引入softmax加权平均技术。