斯坦福大学

斯坦福研究：ChatGPT性能，曾出现下降趋势

作者

专注于AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地。斯坦福大学与加州伯克利大学发布的《ChatGPT行为随时间变化》论文详细分析了GPT-3.5和GPT-4的性能波动及其原因，包括指令遵循度的变化、内容过滤能力的下降等问题。

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

作者

斯坦福大学研究表明，在更换数学题变量名称后，大模型的准确率直线下降。即使是表现最好的o1-preview模型，其准确率也从50%降至33.96%，表明它们可能更多依赖已存储的答案而非推理能力。团队提出Putnam-AXIOM。该基准解决了现有评估基准数据污染和饱和的问题，为自动化评估提供方法并生成变体数据集。