多模态模型

中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！

作者

中国科学院计算技术研究所开源了一款名为Stream-Omni的多模态模型，支持文本、图像和语音交互，生成文本和语音回复。其核心在于高效模态对齐技术，仅需少量数据即可训练，并提供无缝的‘边听边看’体验。

突破开放世界移动操作！首个室内移动抓取多模态智能体亮相，微调模型真实环境零样本动作准确率达 90%

作者

上海人工智能实验室联合新加坡国立大学、香港大学等机构的研究团队提出OWMM-Agent，首个专为开放世界移动操作设计的多模态智能体。通过仿真器合成数据微调大模型，在真实环境中实现零样本单步动作预测90%的准确率。