微软CEO:AI扩展没有撞墙,“测试时间计算”成功就是最好的证明

Satya Nadella 在微软Ignite大会上表示,关于扩展定律是否已经“撞墙”的争论有很多。他认为这些观察是长期有效的经验,并鼓励创新。他提出“测试时计算”作为新的扩展规律,并指出Copilot和AI技术栈将帮助构建一个由AI代理组成的未来世界。

扩展测试时计算是万能的吗?Scaling What成为关键

近日,The Information 报道引发关于大模型 Scaling Laws 是否达到极限的争议。OpenAI 的新模型 Orion 相比 GPT-3 和 GPT-4 性能提升有限。业内认为传统 Scaling Laws 已经进入边际效应递减阶段,需关注扩大正确规模和优化推理时间。MIT 研究指出测试时训练在提高抽象推理任务上的性能有效。