OpenAI的Operator一测一个不吱声~

作者
OpenAI首个智能体Operator发布后引起很大反响，Every的CEO与联创Dan也对Operator进行了第一手实测：7个任务，真正成功2个。
Dan也分享了深入研究后得出的一些结论：

  1. 浏览限制：Operator 无法访问某些网站，如 Reddit、Figma 和 YouTube，部分原因是这些网站阻止 AI 代理访问，部分是出于性能或法律原因。

  2. 任务范围有限：它更适合执行具体的重复性任务，而不是复杂的分析任务。例如，它能够阅读《战争与和平》的第一章，但无法深入分析其中的人物行为和人性洞察。

  3. 提示的重要性：虽然 Operator 能够自主完成任务，但用户如何提示它仍然至关重要。详细的提示可以显著提高任务的成功率。

Operator任务测试详情：

1、任务：购票，部分成功

  • Prompt：帮我找两张 Jamie XX 在洛杉矶举行的下一场演出的门票。

结果：与选定合作伙伴合作，成功；未选择合作伙伴，失败

2、任务：购票，失败

  • Prompt：找出 Jamie xx 的演出安排以及每场演出的门票价格。

结果：合作失败

3、任务：房屋清洁，失败

  • Prompt：明天之前我需要雇一个一次性的清洁工来我们家。

结果：失败，没有问我在哪里

4、任务：AI 新闻，成功

  • Prompt：人工智能的最新消息是什么？

结果：成功，内容非常简短

5、任务：Spotify Wrapped分析，失败 

  • Prompt：我想了解是什么让 Spotify Wrapped 如此成功。

  • 结果：简单提示，失败，陷入循环；复杂提示，OK，多次提醒，报告也不出色

6、任务：预订 Uber，成功

  • Prompt：现在乘坐 UberX 去机场要多少钱？

结果：取得成功

7、任务：总结一本书，部分成功

  • Prompt：去读《战争与和平》的第一章，列出托尔斯泰对人性的观察

结果：没有选定合作伙伴，提示复杂，部分成功，无法深入分析

https://every.to/chain-of-thought/we-tried-openai-s-new-agent-here-s-what-we-found

（文：PaperAgent）

欢迎分享

发表评论