Ilya 「Scaling What」的答案会是程序性知识吗？
UCL和Cohere的研究发现，LLM从预训练数据中学到了一种通用的推理方法，这种方法依赖于程序性知识。程序性知识涉及执行特定任务或解决问题所需的步骤和方法。该工作表明，对于推理问题，模型通过综合多种文档中的程序性知识来生成答案，而非简单地检索已知事实。
机器之心
Andrej Karpathy：神奇大模型不存在的，只是对人类标注的拙劣模仿
知名AI学者Andrej Karpathy认为，大型语言模型的对话回答主要是模仿人工标注数据的结果，并非真正的人工智能。他批评了RLHF（奖励学习强化学习）的方法。
ICLR 惊现[10,10,10,10]满分论文，ControlNet 作者新作，Github 5.8k 颗星
机器之心报道
编辑：佳琪、蛋酱
四个 10 分！罕见的一幕出现了。
您正在收看的，不是中国梦之队的跳
ChatGPT 发布后这两年，该关注什么？打包了24个主题350多篇高质量文章
ChatGPT 发布两年后，OpenAI 引领着 AI 发展潮流，但开源竞争者也在奋力追赶。扩散模型的成功推动了视觉生成模型的发展。小模型、多模态和具身智能等领域也备受关注。
GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型
LLM 规模扩展面临挑战，加州大学伯克利分校团队提出预测涌现能力的任务，并通过拟合参数函数——’涌现定律’来验证和提前准确预测涌现点。研究使用四个标准 NLP 基准进行验证。
陶哲轩：通义千问QwQ奥数真厉害，开源大模型顶流
一个刚发布两天的开源模型QwQ在AI数学奥林匹克竞赛AIMO上创造了新纪录，其表现甚至比之前的开源模型更好。QwQ系列大模型，特别是QwQ-32B，在科学推理能力方面表现出研究生水平，并在多个评测中取得了高分。
多模态慢思考：分解原子步骤以解决复杂数学推理
AtomThink 是一个全流程框架，通过改进多模态大语言模型的原子推理步骤质量来解决复杂的数学推理问题。它发布了一个高质量的长链式思考数据集，并引入了慢思考策略提高了各种数学任务的推理性能。
流式深度学习终于奏效了！强化学习之父Richard Sutton力荐
本文提出了一种名为 stream-x 的深度强化学习算法，用于解决流式障碍问题。该方法无需使用重放缓冲区、批量更新或目标网络，即可从最新的经验中进行学习，并且在样本效率上可与批量强化学习相当。