学术

近日，The Information 报道引发关于大模型 Scaling Laws 是否达到极限的争议。OpenAI 的新模型 Orion 相比 GPT-3 和 GPT-4 性能提升有限。业内认为传统 Scaling Laws 已经进入边际效应递减阶段，需关注扩大正确规模和优化推理时间。MIT 研究指出测试时训练在提高抽象推理任务上的性能有效。