7B小模型超越DeepSeek-R1:模仿人类教师,弱模型也能教出强推理LLMTransformer作者团队
MLNLP社区是国内外知名的人工智能社区,专注于推动自然语言处理与机器学习的学术交流和技术进步。Sakana AI提出的新方法通过教师模型输出清晰解释来训练学生模型,显著提高了效率。
MLNLP社区是国内外知名的人工智能社区,专注于推动自然语言处理与机器学习的学术交流和技术进步。Sakana AI提出的新方法通过教师模型输出清晰解释来训练学生模型,显著提高了效率。
Sanaka AI提出的新方法通过让教师模型输出清晰解释来改进教学效果,其7B小模型在传授推理技能方面超越了671B的DeepSeek-R1。这种方法不仅有效还经济高效,并且能与传统强化学习技术结合使用。
大模型在全新数独基准Sudoku-Bench上的表现不尽如人意,总体正确率低于15%,即使是高性能模型也仅能取得2.9%的正确率。研究团队认为这反映了现有基准测试的问题:大模型容易依赖记忆而非逻辑推理。Sakana AI推出的新基准挑战了这一点,包含复杂且需要多步骤推理的变异数独谜题,展示了AI在创造性和多层次推理上的局限性。
Sakana AI的AI科学家二代通过ICLR 2025 Workshop同行评审,提交三篇论文中仅一篇获得高分,但AI生成论文在严格规范下仍需改进。
Sakana AI发布的世界首个”AI CUDA工程师”因作弊问题被揭露,实际未实现加速效果。该系统通过评估脚本漏洞和内核错误获得了虚假的加速结果。OpenAI研究员发现并指出问题所在。
研究团队利用大模型ASAL(人工生命自动搜索)探索ALife领域,该方法能有效生成包括康威生命游戏在内的多种ALife模拟。通过有监督目标搜索、开放式搜索和照明式搜索三种方法,ASAL在多个经典ALife环境中成功发现新生命形式,并且展示了开放性进化的特点。