大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
大模型在全新数独基准Sudoku-Bench上的表现不尽如人意，总体正确率低于15%，即使是高性能模型也仅能取得2.9%的正确率。研究团队认为这反映了现有基准测试的问题：大模型容易依赖记忆而非逻辑推理。Sakana AI推出的新基准挑战了这一点，包含复杂且需要多步骤推理的变异数独谜题，展示了AI在创造性和多层次推理上的局限性。
现代数独
大模型在全新数独基准Sudoku-Bench上的表现不尽如人意，总体正确率低于15%，即使是高性能模型也仅能取得2.9%的正确率。研究团队认为这反映了现有基准测试的问题：大模型容易依赖记忆而非逻辑推理。Sakana AI推出的新基准挑战了这一点，包含复杂且需要多步骤推理的变异数独谜题，展示了AI在创造性和多层次推理上的局限性。