为多模态LLM引入ControlNet理念,开源插件解决灾难性遗忘 AAAI

IAA研究提出了一种全新的插件控制机制,内嵌语言模型实现多模态能力的插件化。该研究成果已被AAAI接收,并开源。IAA通过保持基座语言模型参数不变来解决灾难性遗忘问题,适用于多模态和专业任务处理。