跨模态大升级！少量数据高效微调，LLM教会CLIP玩转复杂文本
CLIP 模型通过对比学习实现了视觉与文本的对齐。然而其文本处理能力有限，研究团队提出 LLM2CLIP 方法利用大语言模型提升 CLIP 的多模态表示学习能力，显著提升了 CLIP 在中文检索任务中的表现，并在复杂视觉推理中提升了 LLaVA 模型的表现。
同济大学
NeurIPS 2024 Oral 还原所见！揭秘从脑信号重建高保真流畅视频
NeuroClips 是一种用于 fMRI-to-video 重建的新颖框架，通过感知重建和语义重建实现高质量、高帧率视频的重建。该方法在多项指标上优于现有技术，并展示了良好的神经科学解释性。