多次蒸馏

苹果研究人员发现，多次‘蒸馏’更具优势。当教师模型性能比大小更重要时，选择与学生模型相近大小的教师模型可优化学习效果。这一研究成果有望为业界提供更高效、低成本的小模型训练方案。