知识蒸馏（KD）

LightGen 是由香港科技大学 Harry Yang 教授团队联合 Everlyn AI 和 UCF 提出的一种新型高效图像生成模型，旨在解决主流生成模型依赖大量数据和计算资源的问题。论文提出通过知识蒸馏和直接偏好优化策略，在有限的数据和计算资源下实现了高质量图像的生成，并在多个实验中展示了与 SOTA 模型相当甚至超过的性能表现。