大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
大模型在全新数独基准Sudoku-Bench上的表现不尽如人意，总体正确率低于15%，即使是高性能模型也仅能取得2.9%的正确率。研究团队认为这反映了现有基准测试的问题：大模型容易依赖记忆而非逻辑推理。Sakana AI推出的新基准挑战了这一点，包含复杂且需要多步骤推理的变异数独谜题，展示了AI在创造性和多层次推理上的局限性。
Sakana AI
首篇AI自写论文通过ICLR 2025同行评审！6.25高分碾压人类，AI独挑科研大梁
Sakana AI的AI科学家二代通过ICLR 2025 Workshop同行评审，提交三篇论文中仅一篇获得高分，但AI生成论文在严格规范下仍需改进。
官方承认系统「作弊」，世界首个「AI CUDA工程师」翻车？o3-mini 11秒发现bug
Sakana AI发布的世界首个”AI CUDA工程师”因作弊问题被揭露，实际未实现加速效果。该系统通过评估脚本漏洞和内核错误获得了虚假的加速结果。OpenAI研究员发现并指出问题所在。
大模型版生命游戏来了!「AI科学家」背后公司联手MIT&OpenAI等打造
研究团队利用大模型ASAL（人工生命自动搜索）探索ALife领域，该方法能有效生成包括康威生命游戏在内的多种ALife模拟。通过有监督目标搜索、开放式搜索和照明式搜索三种方法，ASAL在多个经典ALife环境中成功发现新生命形式，并且展示了开放性进化的特点。