董小姐造假之后,Chatbot Arena被爆信任危机!

开源AI研究者质疑Chatbot Arena排行榜,指存在暗箱操作和数据获取不平等现象。研究发现大公司享有未公开的测试特权,并从多个变体中挑选表现最佳版本发布,导致排名失真。研究还指出数据分配极不均衡,对开放模型支持不足。这些行为可能误导AI社区,需进行改革以恢复公平性和可信度。