模型蒸馏
热议：为什么 DeepSeek 出来后，国产其他大模型的集体失声了，以前都号称很强的？
MLNLP是国内外知名的人工智能社区，致力于推动自然语言处理与机器学习领域的交流与发展。2025年出现的DeepSeek模型通过技术革新颠覆了行业现状，展示了技术实力和成本优势。
李飞飞团队50美元训练出DeepSeek R1?
文章介绍了通过16块H100 GPU在26分钟内训练出低成本语言模型S1K的方法，该模型与OpenAI的o1系列和DeepSeek R1系列性能相当。但实际研究发现，论文核心是基于开源Qwen2.5-32B模型，进行小数据集监督微调，并非直接复制了DeepSeek R1。
DeepSeek-R1技术突破：基础模型强化学习+蒸馏小模型超越o1-mini
DeepSeek-R1正式发布，API上线、技术报告公开、开源8个模型，涵盖从小至32B的多种规模。报告亮点包括后训练RL和流水线开发技术，并证明了小模型也能达到强大性能。
