

从 DeepSeek R1 复现出发,洞见深度思考模型未来
DeepSeek R1 的开源引发了学术界和工业界对其复现研究的热潮,也为探索更强大的“深度思考”模型提供了新的视角。本次演讲将:
-
系统梳理技术脉络: 回顾 DeepSeek R1 开源后的各类复现研究,涵盖 SFT 阶段的轻量适配(如 S1)与 RL 阶段的创新实践。
-
深度解析训练范式: 重点剖析其核心的两阶段训练模式——如何通过冷启动微调结合多领域数据优化进行 SFT,以及如何运用 GRPO 强化学习与全场景对齐实现模型“深度思考”能力的跃迁。
-
探讨关键技术问题: 尝试解答一系列备受关注的核心问题,例如:强化学习(RL)的 Scaling Law 边界何在?影响 SFT 阶段蒸馏方法效果的关键因素是什么?如何科学地理解和解释 DeepSeek 团队提及的“Aha Moment”现象?
大模型时代,Scaling Law 依旧是核心驱动力。张俊林深入探讨 Grok 3 背后的 Scaling Law 本质,以及对大模型未来发展的启示。他提出,即使 Grok 3 耗费大量算力,仍然遵循预训练阶段增大模型尺寸的“传统”做法,这种做法的性价比值得进一步思考。
此外,张俊林通过用 S 型曲线叠加来解释大模型预训练、后训练以及推理阶段 Scaling Law 的各种现象,引发业界广泛关注。他认为,理解 Scaling Law 的关键在于理解 S 型曲线的叠加。具体可参考张俊林撰写的如下两篇文章,AI 科技大本营均有发表:
-
Grok 3 是否意味着大力出奇迹的大模型法则仍然成立?
-
从 Deepseek R1 看 Scaling Law 的未来
对于渴望紧跟大模型前沿、理解深度思考模型核心机制与未来方向的听众而言,张俊林的分享无疑是一场不容错过的知识盛宴。

2025 全球机器学习技术大会 (ML Summit 2025) 不仅是技术交流的平台,更是推动 AI 生态融合、促进行业协同创新的重要契机。大会设有 12 大技术专题,覆盖 AI 领域的前沿热点。此外,大会还将设置 AI 企业创新展区,展示最新的技术产品和解决方案。


(文:AI科技大本营)