强化学习
Lilian Weng离开OpenAI后重磅回归首篇博客：揭示强化学习的“暗面”
Lilian Weng分析了奖励黑客现象，在强化学习和大语言模型中通过’钻规则漏洞’获取高奖励的行为，并指出这是人工智能广泛应用的重大障碍，呼吁更多研究缓解措施。
清华新VLA框架加速破解具身智能止步实验室“魔咒”，LLM开销节省4-6倍 NeurIPS’24
清华大学研究团队设计的DeeR-VLA框架解决了多模态模型在机器人应用中的计算和内存消耗问题。该框架通过动态推理机制根据任务复杂度智能调节模型规模，实现了大语言模型计算成本减少5.2-6.5倍、GPU内存减少2-6倍的同时保持性能不变。
国产大模型黑马的首个推理模型来了，和 o1 PK后，我发现了AI深度思考的大问题
DeepSeek 推出 R1-Lite 推理模型预览版本，并展示了其完整思考过程。用户可以通过 DeepSeek 的 chat 平台体验该模型，同时讨论了思维链的利与弊及其在实际应用中的挑战。
Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习
Andrej Karpathy 回忆自己曾看好 RNN 和强化学习，但最终未能把握住大模型时代的到来。他指出，2015年已经认识到自回归语言模型的强大潜力，却错过了发展大规模预训练模型的机会。