UC伯克利:让推理模型少思考,准确率反而更高了!
UC伯克利研究发现,强制要求模型跳过思考过程仍能保持或提高推理能力。使用DeepSeek-R1模型,在定理证明任务中仅需30%的Token就能达到与完整思考相同的准确率。
UC伯克利研究发现,强制要求模型跳过思考过程仍能保持或提高推理能力。使用DeepSeek-R1模型,在定理证明任务中仅需30%的Token就能达到与完整思考相同的准确率。
2B 模型,以及全部训练数据、代码。仅需 12 台 H800 上 6 小时即可训练完成,从没有长思维
在数学竞赛AIME测试中,Qwen-1.5B模型以28.9%的成绩击败了GPT-4和Claude 3.5-Sonnet。仅1.5B参数量的它,在MATH测试中取得83.9%成绩。DeepSeek团队采用知识蒸馏技术成功将大模型智慧浓缩进更小的模型,MIT许可下开源多个版本。