字节的可以直接操作图形界面的原生 GUI 智能体模型UI-TARS

UI-TARS 是一种智能体模型,可以直接理解并操作图形界面的原生 GUI 智能体,它具有感知、行动、推理和记忆等关键能力。相比传统拼装方法,UI-TARS 使用一个“大模型”进行端到端学习,提升了灵活性与稳健性,并在某些测试上超过了 Claude 和 GPT-4。

重磅!字节发布UI-TARS大模型,三句话搞定电脑操作!碾压GPT-4!

字节发布UI-TARS视觉语言模型,能像人一样操控电脑界面,并在多项测试中击败GPT-4等对手。它具备感知、推理及行动能力,支持点击、输入等多种操作。UI-TARS通过SFT和DPO训练,在多个GUI代理基准测试中达到最佳成绩,还开源了桌面版应用。