AI Agent真的安全吗?南洋理工最新综述揭秘LLM Agent安全风险与防御策略

A Survey on Trustworthy LLM Agents: Threats and Countermeasures, a study by researchers from Nanyang Technological University and Squirrel AI, categorizes Agent safety issues into internal (Brain, Memory, Tool) and external (User, Agent, Environment) modules. It provides insights for future research directions such as collaborative security mechanisms and adversarial robustness training methods.

更精细的解耦评估!VisualSimpleQA开创视觉语言大模型事实问答评测新范式

VisualSimpleQA 提出了一个面向事实查询的多模态评测基准,旨在有效评估大型视觉语言模型(LVLMs)在事实问答任务中的表现。该基准采用了解耦评估框架和明确的样本难度标准,能够区分不同模型的表现,并揭示了当前前沿 LVLMs 在视觉和语言模块上的改进空间。

长视频性能提升6.6%!用文本数据撬动视频理解

Sparrow 通过利用长文本 QA 数据合成“伪视频指令数据”,在仅使用30K混合数据的情况下超越了100K视频数据,且在数据规模扩展上性能优势更为明显。该研究重新审视了合成数据的特性,并提出了一种新的数据增强方法——Sparrow,显著提升了模型在长视频理解上的表现。

上交大等提出MM-Eureka:R1-Zero的「Aha Moment」同样存在于多模态推理

本文介绍了一种新的多模态大规模强化学习框架MM-Eureka,该框架能够稳定地训练包括InternVL2.5-Instruct-8B和InternVL2.5-Pretrained-38B在内的多种大型模型,并使用较少的数据实现了性能的提升。