威廉·洛夫·普兰特

斯坦福大学研究表明，在更换数学题变量名称后，大模型的准确率直线下降。即使是表现最好的o1-preview模型，其准确率也从50%降至33.96%，表明它们可能更多依赖已存储的答案而非推理能力。团队提出Putnam-AXIOM。该基准解决了现有评估基准数据污染和饱和的问题，为自动化评估提供方法并生成变体数据集。