Now, Scaling What?
机器之心PRO本周解读：自2024年起，Scaling范式开始转移。研究者从”预训练之后，What to Scale Now？”入手，探索新的Scaling目标。TTS（Test-Time Scaling）方法在推理阶段增加计算资源来增强模型性能成为关注热点。
Post-Training Scaling Law
扩展测试时计算是万能的吗？Scaling What成为关键
近日，The Information 报道引发关于大模型 Scaling Laws 是否达到极限的争议。OpenAI 的新模型 Orion 相比 GPT-3 和 GPT-4 性能提升有限。业内认为传统 Scaling Laws 已经进入边际效应递减阶段，需关注扩大正确规模和优化推理时间。MIT 研究指出测试时训练在提高抽象推理任务上的性能有效。