本次文章介绍我们发表于由 Springer 出版的专著《Advancements in Knowledge Distillation: Towards New Horizons of Intelligent Systems 》中的第一章 “Categories of Response-Based, Feature-Based, and Relation-Based Knowledge Distillation”。

该篇文章的主要内容是整理了面向图像识别的知识蒸馏的相关工作，首先在 response-based、feature-based 和 relation-based 三种知识形式来介绍离线知识蒸馏的相关工作，然后整理了在线知识蒸馏和自知识蒸馏的相关工作，在其中也对自监督学习蒸馏和视觉 Transformer（ViT）蒸馏也进行了介绍。