日期: 2024 年 12 月 4 日

Andrej Karpathy 首次公开私人邮件：揭秘Transformer 注意力机制真相

作者

揭秘Transformer‘注意力’机制的起源故事，它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题，最终提出RNNSearch架构，并引入softmax加权平均技术。

重磅！Anthropic启动AI安全研究员计划，每月1万美元算力预算等你来

作者

Anthropic推出为期6个月的研究员计划，提供丰厚津贴、算力支持及一对一导师指导。研究方向涵盖对抗性鲁棒性与AI控制、可扩展监督等前沿领域，要求参与者具备强大的技术背景和热情的AI安全研究态度。

腾讯版Sora开源！最强开源视频模型，130亿参数、物理模拟、电影级画质！

作者

腾讯开源了最新最强文生视频模型HunyuanVideo（混元），具备物理模拟、一镜到底等特性。生成的视频细节丰富，如熊猫吃火锅、神仙弹琵琶等。混元模型支持生成带音乐的视频，并在参数量上达到业界最大规模。