有趣思考:如何带着问题去针对性学习-兼看大模型推理、强化、RAG等进展
今天是2025年6月6日，星期五，北京晴。文章回顾了大模型相关技术进展，包括针对性学习、推理数据收集、多模态应用及强化学习评估偏差等内容。关键点在于明确问题并针对性学习，学会提问和理论与实践结合，以提升大模型性能。
强化学习
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
近期清华大学团队提出的研究表明，在强化学习训练大模型时，仅使用20%的高熵token就能显著提升模型性能。研究指出80%低熵token会影响模型推理能力，并可能起到负面作用。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
最新研究成果VRAG-RL通过引入强化学习和多模态智能体训练，解决视觉丰富信息检索增强生成任务中的挑战，显著提升了视觉语言模型在检索、推理和理解视觉信息方面的能力。
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
NVIDIA团队提出ProRL框架，在2000步以上长期强化学习基础上，大幅提升大语言模型的推理能力。ProRL训练后模型在逻辑谜题等任务中表现出显著进步，不仅提高了解题准确率，还能生成新解法。研究揭示了长期RL训练的重要性及其对模型边界扩展的影响。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室发布MaskSearch预训练框架，提升大模型推理搜索能力，在多个开放域问答数据集上显著性能提升。该框架结合检索增强型掩码预测任务与监督微调、强化学习两种训练方法。
机器狗能当羽毛球搭子了！仅靠强化学习从0自学，还涌现出类人回位行为 Science子刊
机器狗通过强化学习学会了打羽毛球，最高挥拍速度达12米/秒，在与人类选手的协作比赛中展示了精准和类人行为。研究结果发表在Science Robotics上。
DeepSeek 跃居全球第二 AI 实验室，中美正式并驾齐驱！
DeepSeek R1 0528 版本在Artificial Analysis的最新排名中得分68分，几乎与闭源模型持平。这反映了开源模型与闭源模型之间差距的进一步缩小，强化学习在提升AI性能方面的效率凸显，并标志着中美两国在人工智能技术领域的齐头并进新阶段。