ECBench:一个全面评估机器人视觉语言模型(LVLMs)的基准测试工具,助力提升机器人在真实场景中的认知能力。亮点:
-
覆盖30个维度的具身认知能力评估; -
4324个问答对,数据丰富多样; -
引入ECEval系统,确保评估指标的公平性和合理性。


参考文献:
[1] http://github.com/Rh-Dang/ECBench
[2] https://github.com/Rh-Dang/ECBench/blob/main/evaluation/README.md
(文:NLP工程化)