自动评估基准 | 基础概念
自动评估基准通常通过数据集和评估指标来测试模型的表现。文章介绍了基础概念、设计评估任务、选择合适的评估指标等方法，并指出了其优势与劣势，包括一致性、成本效益、易于理解以及高质量测试集的特性，但同时也提到复杂任务难以保证效果和数据污染的问题。
数学能力
Kimi版o1实装上线，这里是我们的一手测试↑
Kimi新模型k1发布即上线可用，视觉与推理能力出众。基于强化学习，k1能够深入理解图片信息并进行思维链推理，涵盖数学、物理及化学题。数理化实测中表现出色，超越OpenAI等模型。
OpenAI重夺竞技场第一，但这波靠的是4o
OpenAI开发者日新加坡站举行，新版ChatGPT发布。此版本更新了创意写作能力，并且在多项具体能力和综合排名中表现突出。新版本击败Gemini-Exp-1114和Claude 3.5 Sonnet等竞争者，总胜率达到72%以上。OpenAI还透露即将上线的o1满血版及其开源计划引发了网友们的关注与讨论。
对标o1，Kimi放出了最能打的国产模型
国内大模型初创公司月之暗面推出的新一代推理模型Kimi k0-math在数学能力上已实现对标OpenAI o1-mini和o1-preview，包括在中考、高考等基准测试中表现出色。该模型采用了强化学习和思维链推理技术，能够模拟人脑的思考过程，并能有效应对竞赛级别的数学题库。