斯坦福打脸大模型数学水平:题干一改就集体降智,强如o1也失准,能力涌现怕不是检索题库

斯坦福大学研究表明,在更换数学题变量名称后,大模型的准确率直线下降。即使是表现最好的o1-preview模型,其准确率也从50%降至33.96%,表明它们可能更多依赖已存储的答案而非推理能力。团队提出Putnam-AXIOM。该基准解决了现有评估基准数据污染和饱和的问题,为自动化评估提供方法并生成变体数据集。

数万人在X上围观的Genesis,把「世界模型」造出来了?

来自多个知名大学和公司的团队推出了Genesis平台,它结合生成式AI与真实世界物理的准确性,提供通用物理引擎、机器人仿真平台等多样的功能。其目标是减少人类在数据生成中的投入,并实现自动化和自给自足的数据生态系统。