Transformer结构

IAA研究提出了一种全新的插件控制机制，内嵌语言模型实现多模态能力的插件化。该研究成果已被AAAI接收，并开源。IAA通过保持基座语言模型参数不变来解决灾难性遗忘问题，适用于多模态和专业任务处理。