ECBench:一个全面评估机器人视觉语言模型(LVLMs)的基准测试工具

ECBench:一个全面评估机器人视觉语言模型(LVLMs)的基准测试工具,助力提升机器人在真实场景中的认知能力。亮点:

  1. 覆盖30个维度的具身认知能力评估;
  2. 4324个问答对,数据丰富多样;
  3. 引入ECEval系统,确保评估指标的公平性和合理性。

参考文献:
[1] http://github.com/Rh-Dang/ECBench
[2] https://github.com/Rh-Dang/ECBench/blob/main/evaluation/README.md



(文:NLP工程化)

欢迎分享

发表评论