在单纯依赖网络数据进行预训练出现瓶颈之际，o3 的发布标志着AI正在攀登下一座高峰。因为o3 在推理评估方面实现了重要的跃升：

• 首个超过 ARC AGI 奖 85% 完成率门槛的模型（注意：这一成绩是在公开数据集上完成的，而非测试数据集，并且超出了成本限制）。

• 在全新 Frontier Math 基准上取得重大突破，从 2% 提升至 25%。

• 在主要编程基准（如 SWE-Bench-Verified）上的性能有了显著提高。

• 发布仅三个月即展现如此巨大的进展。OpenAI 研究员Jason Wei在 X 上表示：

另一位 OpenAI 研究员John Hallman发表了更为直白的声明：

与此同时，OpenAI 发布了一篇关于“审慎对齐”（Deliberative Alignment）的博客和研究论文，展示了 o1 级别模型在安全性和对齐研究中的潜力。这也引发人类更大的想象力：增强的推理能力能否在可验证领域之外产生价值？

一、o3概述

OpenAI 的 o3 模型于其 “12 Days of OpenAI” 发布活动的最后一天正式公布。这一发布意味着大模型在多个领域超越此前最先进模型（Gemini 1.5 Pro 和 Claude 3.5 Sonnet New）的显著成绩，引发了广泛关注。

在 OpenAI 的博客中，有关 o1 系列模型的柱状图结果中常被忽略的细节是阴影部分的意义。首篇 o1 博客的说明中提到：

• 实心柱 表示单次推理（pass@1）的准确率。

• 阴影部分 表示通过 64 次采样并进行多数票（共识）计算后的表现。

这一细节表明，对于 o1 模型以及更高版本模型的最佳表现，多次采样共识是至关重要的。这种方法并不需要依赖复杂的树搜索或中间表示，而是通过并行生成输出达到最高得分。事实上，o1 pro 以及本次提到的 ARC 奖结果，均利用了这一策略来进行优化。

Frontier Math 基准测试于 11 月 7 日正式引入，被视为 AI 能力尚未突破的开放领域之一。这一基准不仅以其高难度著称，还得到了数学界顶尖人物的定性评价。

陶哲轩（2006 年菲尔兹奖得主）表示：

蒂莫西·高尔斯（2006 年菲尔兹奖得主）评价：

o3 模型在该基准上直接取得了 25% 的成绩，这不仅是目前唯一达到两位数的模型，还一跃成为当前的顶尖表现。这一成就大大提升了 o3 在推理模型中的地位。

在编程任务中，o3 同样取得了里程碑式的进展：

• SWE-Bench Verified：o3 在这一编程基准上取得了 71.7% 的得分，远超此前的最高水平。

• Codeforces 表现：o3 的共识投票得分（具体采样数量未披露）达到了 2727 分，相当于国际特级大师水平，排名全球人类顶尖竞争程序员的前 200 名。

此外，值得注意的是，o3-mini 的表现虽然略逊于 o3，但成本显著降低。

o3 的直播发布会以一项最终突破成果画上句号：有效解决 ARC AGI 挑战。这是人工智能领域的重大里程碑，标志着推理模型在复杂任务上的能力实现了质的飞跃。

二、ARC（抽象与推理语料库）的突破

ARC（The Abstraction and Reasoning Corpus）是由 François Chollet 在其 2019 年的论文《On The Measure of Intelligence》中提出的一种 AI 评估工具。ARC 的设计初衷是更贴近对人类智能的测量，并引入了基于算法信息论的新定义，将智能描述为 技能获取的效率，特别强调范围、泛化难度、先验知识和经验的重要性。Chollet 认为，ARC 可以用于衡量一种类似人类的通用智能，并为 AI 系统和人类智力比较提供基础。

2024 年 6 月启动的 ARC AGI 奖 是一项针对 ARC 数据集的挑战，奖励金额高达 100 万美元，奖励第一款在特定条件下解决其私有测试集的模型。任务的成功标准是 85% 的准确率。

在 o1 系列模型发布之前，OpenAI 最强的模型 GPT-4o 在该评估中的准确率仅为 5%。然而，随着 o1 和 o3 等推理模型的不断优化，OpenAI 在 ARC 上的表现实现了指数级增长。ARC 奖联合创始人 Mike Knoop 总结了这一进展：

• GPT-2 (2019): 0%

• GPT-3 (2020): 0%

• GPT-4 (2023): 2%

• GPT-4o (2024): 5%

• o1-preview (2024): 21%

• o1 high (2024): 32%

• o1 Pro (2024): ~50%

• o3 tuned low (2024): 76%

• o3 tuned high (2024): 87%

几个月前，业界还普遍认为解决 ARC-AGI 挑战极其困难。然而，事实证明，o3 的性能已超出预期，谁也没有料到o3在短时间内取得如此显著的突破。

根据 François Chollet 的描述，o3 模型在两个 ARC-AGI 数据集上进行了测试：

• 半私有评估集（Semi-Private Eval）：100 个私有任务，用于检测模型的过拟合情况。

• 公开评估集（Public Eval）：400 个公开任务。

OpenAI 指导下的测试包括两种计算配置：

• 高效率模式：采样次数为 6

• 低效率模式：采样次数为 1024（计算量为高效率模式的 172 倍）

o3 最终测试的性能如下：

从上表可以看出， o3 已经在技术上成功赢得ARC 挑战。但由于超出成本限制且未开源，奖项尚未正式被领取。

三、o3 的架构、成本与训练

ARC AGI 团队与 OpenAI 密切合作，估算了 o3 模型的运行成本。为了更准确地评估计算资源使用情况，ARC-AGI 在评估私有数据集时引入了一个新的要求：记录任务的总成本和单任务成本，这被视为 FLOPs 的近似值或直接计算资源的衡量方式。这与 ARC 奖公开排行榜的规则一致：

解决 500 个任务（包括公开评估集中的 400 个任务和半私有评估集中的 100 个任务）的运行成本不得超过 10,000 美元，包括调用商用 API 的费用。

在这些任务中，o3 的成本远超这一门槛。根据 ARC 奖的数据，o3 每次查询的成本超过 1000 美元。

根据 ARC 奖博客和 OpenAI 的声明，o3 的显著进步可能是 o1 架构的扩展与训练规模的放大。推理扩展法则的核心原则表明，通过单一流（single-stream generation）的多样本采样可以显著提高性能。以下是推测中的几个关键点：

• 基础模型规模的扩大：o3 的基础模型可能是 OpenAI 内部代号为 “Orion”（可能是 GPT-5）的模型，或者是基于 Orion 进行强化训练的结果。更大的基础模型（2 到 5 倍规模）可以解释 o3 在计算成本上的增长。

• 强化学习的扩展：OpenAI 在强化学习训练中的探索表明，长上下文推理（long-context reasoning）是当前推动性能提升的关键领域。

• 高效采样策略：与 o1 pro 类似，o3 也可能使用了共识投票（如 consensus@N）等方法，而不是树搜索（tree search）。这种方法在性能与成本之间取得了有效平衡。

尽管 o3 的具体细节仍不明确，但从 ARC 奖的数据和 OpenAI 的直播展示来看，o3 是在 o1 基础上的进一步扩展。这也表明，单模型的强化学习与推理扩展仍是当前深度学习的主流方向。

尽管目前 o3 的高性能配置成本高昂，但 AI 推理的成本正在快速下降。未来几年，这种类型的智能将几乎接近于“免费”。当然免费并非零成本，而是推理成本会低于所产生的收益。我们预计随着技术的进一步发展和推理模型的普及，像 o3 这样的突破性能力可能很快成为人们日常生活中的标准工具。

四、2024: 强化学习（RL）的回归

最近，Anthropic 回顾了其联合创始人对公司构建过程的思考。在视频中，联合创始人兼 CEO Dario Amodei 提到了一条意想不到的细节：

“我们扩大这些模型规模的根本原因是它们不够智能，无法在其基础上进行 RLHF（强化学习与人类反馈）。”

作为现代 RLHF 的奠基人之一，Amodei 或许早已洞察到微调技术未来的突破性发展。他的观点展现了比大多数从业者更为宏大的 RLHF 潜力视野，也揭示了其在推动人工智能能力提升中的关键作用。2024 年，强化学习及其相关方法不仅得到了全面复兴，更重新确立了它们在 AI 核心技术中的不可动摇的地位。这一年，RLHF 的成功让业界深刻意识到，将强化学习与大规模模型相结合，是通向更强人工智能的必由之路。

值得注意的是，几天后谷歌推出了Gemini 2.0 Flash Thinking ，这是一个可在其AI Studio平台上使用的实验性推理人工智能模型。它基于 Gemini 2.0 Flash 架构构建，专为多模式任务和解决编程、数学和物理等领域的复杂问题而设计。与OpenAI的推理模型类似，它结合了自我检查机制，以最大限度地减少常见的 AI 错误。

2024 年是 AI 微调技术（包括 RLHF）取得飞跃性进展的一年，类似于 o1 风格 的推理模型正在成为 AI 工具箱中的基础工具。强化学习与推理模型的结合 标志着 AI 能力迈上了新的台阶。随着 o1 和 o3 模型的崛起，AI 社区开始为未来更强大的模型训练奠定基础。这种技术的迭代与进步，既巩固了现有成果，也为未来的创新开辟了新的可能性，使 AI 技术在科学、商业和社会领域的影响力进一步扩大。

硅谷科技评论（SVTR.AI），在ChatGPT问世之际，创立于美国硅谷，依托AI创投库、AI创投会和风险投资，打造全球前沿科技（AI）创新生态系统。目前覆盖全球10W+ AI从业者，孵化案例：AI超级工程师模本科技；AI教育咨询公司高考纸鸢。

联系凯瑞（pkcapital2023），加入我们，共创未来！点击文末阅读原文，访问SVTR.AI，发现更多机会与精彩内容！