OpenAI 发布GPT-4.5:更大规模、更知识渊博的模型,预训练的巅峰之作,COT升级为COD

OpenAI 昨晚宣布推出其最新的预训练模型 GPT-4.5,这是一款在规模和知识水平上均达到新高度的产品,被OpenAI誉为其“迄今为止最大、知识最渊博的模型”,标志着无监督学习的又一次重大飞跃。 GPT-4.5 目前作为研究预览版,向 ChatGPT Pro 用户和开发者开放,预计下周将向 Plus 用户和其他用户开放。

核心更新与特点

  1. 预训练规模显著提升:GPT-4.5 的预训练计算规模大约是 GPT-4 的 10 倍,带来性能的全面提升。在性能甚至超过了一些推理模型,如gemini-2.0-flash-thinking,也同时超过了刚刚发布的claude-3.7非推理模式。

  2. 无推理能力:尽管 GPT-4.5 没有推理(逐步)能力,但它通常非常有用,并且本质上更聪明。

  3. 增强的上下文理解:GPT-4.5 在需要更深入知识和高级上下文理解的任务中表现出色,例如写作、编程和实际问题解决。

  4. 更人性化的对话:该模型通过使用来自较小模型的数据进行训练,更好地理解人类需求和意图,使对话感觉更温暖、更直观、情感更细腻。

  5. 降低幻觉率:与其它模型相比,GPT-4.5 的幻觉率更低。

  6. Chain-of-Draft(CoD):为了解决推理型大型语言模型(LLM)中的延迟问题,OpenAI 引入了 Chain-of-Draft,这是一种新的推理方法,相较于传统COT,它具有更低的token消耗、低延迟、高精度,灵活可解释等特点,这将引发新一轮的研究热点。

GPT-4.5 的知识截止日期为 2023 年 10 月,上下文窗口为 128,000 个 tokens,最大输出为 16,384 个 tokens。GPT-4.5 能够访问最新信息的能力,支持搜索,可以上传文件和图片,并可以使用画布进行写作和代码工作。 但目前在 ChatGPT 中不支持如语音模式、视频和屏幕共享等多模态功能。

OpenAI 同时公布了 GPT-4.5 的定价:

  • 输入:75 美元 / 1M tokens
  • 缓存输入:37.50 美元 / 1M tokens
  • 输出:150.00 美元 / 1M tokens

相比于 GPT-4o 系列,GPT-4.5 的定价显著提高,基于此,openai将继续提供gpt-4o长期支持。

Andrej Karpathy 在其社交媒体表示:“GPT-4.5 是一个令人兴奋的里程碑,它展示了仅仅通过预训练更大的模型就能获得的巨大能力提升。”同时他表示,从体验看目前很难以用具体的“杀手级”例子来展示其优势,但整体感觉是“一切都稍微好一点”。针对 GPT-4.5 在“情商”(EQ)相关任务上的表现,如世界知识、创造力、类比、理解力和幽默感,他设计了一系列有趣的提示,并在社交媒体上进行了“LM Arena Lite”实验,让用户比较 GPT-4 和 GPT-4.5 的回答。

小结

GPT-4.5 的发布表明Scaling Law仍然有效但收益见顶,需要指出的是,该模型不是推理模型,价格也非常贵,10倍于Claude 3.7的价格,当编程能力却不如Claude 3.7,实际使用或仍以4o为主,而它更将会作为一个过渡基座模型版本,在此基础上进行 RL 训练,提升推理能力,也就是deepseek v3和 r1的关系(从v3和r1发布间隔来预测,基于GPT-4.5的推理版本应该很快将会发布),到那时,这将是OpenAI 的真正下一代大版本发布。

公众号回复“进群”入群讨论。

(文:AI工程化)

欢迎分享

发表评论