知识蒸馏
“智能自举”会成可能？两张图说清OpenAI 路线图及模型迭代思路
Sam Altman 更新了 OpenAI 的未来路线图，计划首先发布 GPT-4.5（Orion），随后实现核心目标，包括统一 o 系列和 GPT 系列模型并推出更高智能水平的 GPT-5。
被DeepSeek带火的知识蒸馏，开山之作曾被NeurIPS拒收，Hinton坐镇都没用
《Distilling the Knowledge in a Neural Network》是一篇更偏工程性改进的文章，但它提出了知识蒸馏这一概念，并显著提高了模型的性能。论文被Hinton、Oriol Vinyals和Jeff Dean等专家合写，但因其缺乏创新性和影响力，在2014年被NeurIPS拒收。
DeepMind最新研究：逆向思维训练LLM可大幅提升AI推理能力
Google DeepMind的研究表明逆向思维训练大模型（LLMs）能显著提升其推理能力，通过构建包含正反向问题的数据集并利用知识蒸馏框架优化模型。
从答案到问题：一种新的学习目标让LLM更擅长推理
MLNLP社区介绍其愿景促进自然语言处理的学术与产业发展。介绍了REVTINH框架提高大模型推理能力的研究，通过数据增强和学习目标在多个数据集上显著提升表现。