谷歌发布BIG-Bench超难基准：DeepSeek-R1得分6.8，只有o3-mini超过10分
近日，谷歌发布了一项高难度基准BIG-Bench Extra Hard（BBEH），旨在评估AI模型的高阶推理能力。该基准包含了23个任务，并将每个任务替换为更难的任务，覆盖更多方面的技能需求。如o3-mini (high)得分为44.8分不及格，而其它模型得分不超过10分。
高阶推理
最新！DeepSeek研究员在线爆料：R1训练仅用两到三周，春节期间观察到R1 zero强大进化
春节假期最后一天祝大家蛇年上班快乐。DeepSeek研究员过年都没歇，春节期间透露了DeepSeek R1模型性能持续提升的信息，并对强化学习的潜力表示乐观。Daya Guo解释了R1-Zero模型仍处于早期阶段且具备泛化能力，以及其未来可能的应用方向如形式化证明环境等。