计算预算

苹果也在蒸馏大模型，给出了蒸馏Scaling Laws

作者

苹果研究人员提出蒸馏扩展定律，基于计算预算及其在学生和教师之间的分配，能够预测蒸馏模型的性能。该发现降低了大规模使用蒸馏的风险，并指导了优化教师和学生模型的计算资源以最大化学生模型性能的方法。