视觉语言模型能否实现鲁棒的数学推理？UC伯克利发布测评基准DynaMath
本文介绍了一项新的动态生成的测评基准DynaMath，用于评估和研究视觉语言模型在处理多模态数学问题时的推理能力。通过分析当前最强的一些视觉语言模型（如GPT-4o）在简单数学题上的表现，发现它们存在漏洞和鲁棒性不足的问题。DynaMath提供了501个高质量、多主题的种子问题及其变体，评估了14个最先进的视觉语言模型的表现，揭示了其推理稳健性的局限性。
视觉语言模型
多模态竞技场对标90B Llama 3.2！Pixtral 12B技术报告全公开
Mistral AI发布了自家首个多模态大模型Pixtral 12B，并详细介绍了其技术细节。Pixtral采用全新的视觉编码器，支持不同分辨率和纵横比的图像输入，性能优于多个开源模型和闭源模型，在多种实际场景下的评估中表现出色。