最强o1也刚刚及格！中科大等团队测试视频CoT推理能力：多数模型不及格
中科大等团队提出VCR-Bench评估基准，用于评价视频理解中的CoT推理能力。该基准包含七个独立评估维度的任务框架，覆盖视觉感知和逻辑推理两大类别。结果显示当前多模态模型在复杂视频推理任务上表现不佳，最优模型仅获得62.8的CoT得分和56.7%的准确率。
视觉感知能力
南加大团队提出MARVEL：基于认知科学的多维抽象视觉推理基准测试
研究团队提出MARVEL数据集来评估多模态大语言模型的抽象视觉推理能力，该数据集中包含了770个高质量测试样例，并覆盖了六种核心知识模式、多样化的几何和抽象形状输入以及五种不同的任务配置方式。实验结果显示大多数模型在MARVEL上的表现接近随机水平，揭示出模型的视觉感知能力是提升其抽象视觉推理的关键瓶颈。