OmAgent v0.2.2 重磅更新！智能体算子来袭，智能体评测平台同步启用！

作者

OmAgent v0.2.2 新版本正式发布，新版本引入了智能体算子「Agent Operator」，使开发者能够便捷地在项目中调用子工作流实现复杂智能体功能，目前已涵盖 CoT、SC-CoT、PoT、ReAct 等算子，能够帮助开发者快速构建复杂智能体功能，极大地拓展了应用的可能性。 


同时，OmAgent v0.2.2 版本还推出了「Open Agent Leaderboard」这一开源大语言模型智能体评测平台，依据智能体算子对不同算子和模型效果进行评估对比，且算子实现与原论文代码结果对齐，确保评估公平客观。



根据目前数据，OmAgent 已获超 1100 颗 GitHub 星标👇

 https://github.com/om-ai-lab/OmAgent 



Open Agent Leaderboard

开源大语言模型智能体评测平台

随着基于 LLM 的智能体（Agent）技术蓬勃发展，目前已经涌现出 CoT、PoT、ReAct 等多种智能体算法，但由于实现细节、评测环境和基准数据集的差异，很难对这些算法进行公平的性能对比。 

为了解决这个问题，OmAgent 团队开发了「Open Agent Leaderboard」—— 一个开源的智能体评测平台。该平台基于统一的评测框架，对主流智能体算法进行了标准化复现，并在相同的数据集和评测指标下进行对比，为研究人员和开发者提供了可靠的性能参考。 

平台的主要贡献包括：

  • 统一实现了多个主流智能体算法（CoT、SC-CoT、PoT、ReAct 等），确保实现的一致性和可比性；
  • 建立了标准化的评测流程，包括数据处理和结果评估；
  • 提供了多维度的评测指标，包括准确率、推理成本等；
  • 对智能体算法和大语言模型的组合进行了综合效果评估；
  • 开源了所有代码和评测结果，方便社区验证和使用。
「Open Agent Leaderboard」包括四大核心优势：


一、全面的评测指标
  • 支持多个基准数据集：gsm8k、AQuA ，未来将开放更多数据集和任务，请关注我们
  • 提供准确率、通过率等多维度评估
  • 计算推理成本，帮助开发者权衡性能和效率 
二、丰富的算法支持

  • Chain-of-thought (CoT)

  • Self-Consistency CoT (SC-CoT) 

  • Program of Thoughts (PoT) 

  • ReAct … 

三、多模型兼容

  • GPT-3.5-turbo
  • Doubao-lite-32k 
  • 开放扩展支持更多模型 

四、简单易用

  • 基于 OmAgent 框架开发 (https://github.com/om-ai-lab/OmAgent)
  • 提供完整的评测流程

关注下方链接，获取最新的评测结果：

https://github.com/om-ai-lab/open-agent-leaderboard

https://huggingface.co/spaces/omlab/open-agent-leaderboard
「Open Agent Leaderboard」为智能体技术评测提供了一个开放、公平的平台。希望通过这个项目，能够推动智能体技术的发展，帮助研究人员和开发者构建更好的 AI 应用。 
此外，OmAgent v0.2.2 新版本还在多方面进行了优化，如优化了 prompt，支持通过配置文件在提示模板中传递变量；优化了 worker 的超时机制；模块注册机制禁止了重名模块注册；提供了使用 Ollama 进行本地大模型部署的方案等，全方位提升了开发与应用体验。

您可以在 GitHub 查看更多详情：

https://github.com/om-ai-lab/OmAgent/releases/tag/v0.2.2

你也可以访问 OmAgent 的 GitHub 仓库（https://github.com/om-ai-lab/OmAgent）获取更多信息，通过 Issue 或 PR 参与项目建设。 
如有其他任何问题，欢迎在社群中交流讨论。
让我们一起推动智能体技术的进步！

 ▼ 点击阅读原文，了解更多 

（文：PaperWeekly）

欢迎分享

发表评论