一份关于Gemini预训练的精彩PPT
DeepMind专家Vlad Feinberg在普林斯顿的演讲中讨论了模型规模扩展法则的历史、优化策略及未来研究方向，强调小模型客户需求、推理感知扩展法则，并建议开发硬件专用内核和改进量化技术。
Vlad Feinberg
52页PPT，谷歌Gemini预训练负责人首次揭秘！扩展定律最优解
谷歌Gemini 2.5 Pro在模型训练和推理优化方面取得突破，Vlad Feinberg揭秘其核心技术。通过经典扩展定律、推理优化扩展定律以及知识蒸馏技术，谷歌找到了最优解，在资源有限的情况下实现了性能提升。