7B小模型超越DeepSeek-R1:模仿人类教师,弱模型也能教出强推理LLM Transformer作者团队

Sanaka AI提出的新方法通过让教师模型输出清晰解释来改进教学效果,其7B小模型在传授推理技能方面超越了671B的DeepSeek-R1。这种方法不仅有效还经济高效,并且能与传统强化学习技术结合使用。