小模型路线图来了!苹果弄清楚了“蒸馏Scaling Law”

苹果研究人员发现,多次‘蒸馏’更具优势。当教师模型性能比大小更重要时,选择与学生模型相近大小的教师模型可优化学习效果。这一研究成果有望为业界提供更高效、低成本的小模型训练方案。

折叠 iPhone 最新进展:供应链曝光,2026年将掀起“革命”

苹果计划在2026年推出首款折叠屏iPhone,采用类似三星Galaxy Z Fold的大屏幕折叠设计。供应链方面,三星供应柔性OLED面板,中韩企业如蓝思科技和Dowoo Insys参与核心制造。关键突破包括自研转轴技术、超薄玻璃UTG以及镜头模组的超颖透镜技术等。

苹果也在蒸馏大模型,给出了蒸馏Scaling Laws

苹果研究人员提出蒸馏扩展定律,基于计算预算及其在学生和教师之间的分配,能够预测蒸馏模型的性能。该发现降低了大规模使用蒸馏的风险,并指导了优化教师和学生模型的计算资源以最大化学生模型性能的方法。