GPT-4其实根本听不懂声音?港中文、斯坦福等联合打造视觉听觉评估新基准
多模态大模型在听觉任务上表现不佳,甚至无法正确分辨明显不同的声音大小。研究团队提出了DeafTest和AV-Odyssey基准测试,揭示了现有模型在音频感知上的短板,并激发了对未来AI模型的改进方向。
大语言模型
多模态大模型在听觉任务上表现不佳,甚至无法正确分辨明显不同的声音大小。研究团队提出了DeafTest和AV-Odyssey基准测试,揭示了现有模型在音频感知上的短板,并激发了对未来AI模型的改进方向。
随着大型语言模型的进步,通过长期记忆实现AI的自我进化成为新的研究方向。本文探讨了LTM作为基础如何助力模型在复杂任务中实现终身学习和适应性。