Menlo Ventures：2024年企业生成式人工智能现状报告

企业AI领域正在经历一场巨大的变革，生成式AI在企业中的使用正从试点阶段迈向全面实施。

Menlo Venture对600名美国企业IT决策者进行了调研，揭示了生成式AI领域正在浮现的赢家与输家。越来越多的企业加大对AI的投资，这不仅反映了这项技术的潜力，也表明企业对AI的战略性依赖正在增强。

一、从小范围试点到全面实施

2024年是生成式AI成为企业关键任务的一年。数据显示，AI相关支出在这一年飙升至138亿美元，比2023年的23亿美元增长了6倍以上（2023年企业生成式人工智能现状报告）。这一显著增长表明，企业正从实验阶段迈向执行阶段，将AI深度融入核心业务战略。

72%的企业决策者预计生成式AI工具在未来将被更广泛采用。从程序员到医疗工作者，生成式AI工具已经深度嵌入各类专业人士的日常工作中。

目前，60%的企业生成式AI投资来自创新预算，这反映出这一技术仍处于早期采用阶段。然而，随着40%的支出被纳入固定预算（其中58%的资金从现有分配中重新调整），企业对AI转型的承诺日益增长。

所有这些传递了一个清晰的信号：生成式AI正从未来技术转变为企业的核心业务工具。

虽然企业的生成式AI支出仍然以基础模型投资为主，但应用层的增长速度更快。这得益于基础设施层逐步形成的统一设计模式，企业正在利用这些工具优化各行业的工作流程，从而释放出更大的创新潜力。

二、AI应用层

2024年，生成式AI的主要进展集中在应用层。随着许多架构设计模式的确立，应用层企业正利用大语言模型（LLMs）的能力，跨领域实现全新的效率提升和功能扩展。企业客户迅速抓住这一契机，仅2024年就向生成式AI应用投资46亿美元，较去年的6亿美元增长了近8倍。

企业不仅投入更多资金，还展现了更宏大的愿景。数据显示，平均每个组织已经识别出10种生成式AI的潜在应用场景。其中，约四分之一（24%）的场景被优先列入近期实施计划，反映出企业正在快速推进生成式AI的实际部署。

然而，多数公司仍处于生成式AI应用的早期阶段，仅有少数用例已进入生产环境。同时，仍有33%的用例处于原型开发和评估阶段。这表明，尽管生成式AI的潜力令人期待，但其大规模落地仍需时间。

（一）企业内部最具价值的生成式AI案例

尽管企业仍在不断试验生成式AI技术，但一些应用场景已经显现出显著的投资回报率（ROI），通过提升生产力和运营效率为企业带来了切实的价值。以下是最具价值的生成式AI用例及其应用趋势：

1. 代码助手（Code Copilots），采用率：51%

• 代码助手已成为生成式AI的首要应用场景，开发者是AI的最早“超级用户”。例如，GitHub Copilot快速成长为一个年收入达3亿美元的产品，证明了这一领域的强劲需求。
• 除了通用代码助手外，企业还在采购专注于特定任务的工具，如Harness的AI DevOps Engineer和QA Assistant，用于流水线生成和测试自动化。另有AI代理工具如All Hands，能够执行端到端的软件开发任务。 

2. 支持型聊天机器人（Support Chatbots），采用率：31%

• 支持型聊天机器人已经在企业内部和客户服务中广泛应用，可提供全天候的知识支持。
• 工具示例：Aisera、Decagon和Sierra的AI代理直接与终端用户互动，而Observe AI为呼叫中心提供实时指导。

3. 企业搜索与数据提取/转换，采用率：28%和27%

• 生成式AI正在帮助企业突破数据孤岛，挖掘隐藏的数据价值。
• Glean和Sana通过连接电子邮件、消息工具和文档库，实现跨系统的统一语义搜索和AI驱动的知识管理。

  
  

4. 会议摘要（Meeting Summarization），采用率：24%

• 会议摘要工具通过自动记录会议笔记和提炼关键内容，节省了大量时间并提升了效率。
• Fireflies.ai、Otter.ai和Sana用于在线会议内容总结；Fathom提炼视频中的关键点；Eleos Health将这一功能应用于医疗行业，直接集成至电子健康记录（EHR），帮助医护人员专注于患者护理。

前五大应用场景（代码生成、聊天机器人、企业搜索、数据转换、会议摘要）无一例外地聚焦于提升生产力和运营效率。这些用例表明，生成式AI正在成为企业日常运营中不可或缺的工具，其核心价值在于优化流程、释放生产潜能，并以技术创新驱动业务发展。

（二）代理与自动化：AI掌控全局

目前的生成式AI应用模式显示出企业更倾向于通过AI增强人类工作流程，而非完全自动化。然而，我们正逐步接近更高自主性的解决方案过渡阶段。一些行业的早期案例表明，AI驱动的代理工具正在开始独立管理复杂的端到端流程。例如：

• Forge和Sema4：在金融后台工作流中引入完全自主的AI系统，大幅提高效率。
• Clay：其面向市场推广的工具展示了AI如何在传统由人工主导的领域实现突破性变革。

这些自主生成式AI系统的成功案例表明，我们正迈向“服务即软件”（Services-as-Software）的新时代。

（三）自建还是采购策略：因情况而定

关于是构建内部AI解决方案还是采购第三方产品，企业的选择呈现出几乎均等的分布：47%的解决方案为企业内部开发，53%则来自外部供应商。

与2023年的数据相比，今年变化显著——当时80%的企业依赖第三方生成式AI软件。这一变化反映了企业对内部开发生成式AI工具的信心和能力显著提升。

这一转变不仅代表了企业技术能力的进步，也体现了其对生成式AI战略更深层次的掌控。企业在评估“自建”与“采购”时，需要结合具体需求、成本效益和实施速度来做出决策，这种灵活性将进一步推动生成式AI的落地和普及。

（四）企业在生成式AI应用中优先追求价值

在选择生成式AI工具时，企业的优先级十分明确：投资回报率（ROI） 和 行业特定定制化 是最重要的考量因素。令人意外的是，价格并不是关键因素，仅有1%的企业领导者将价格列为关注点。

企业正在采取长期视角，更注重能够提供可衡量价值（30%）和理解其工作独特背景（26%）的工具，而不是单纯选择价格最低的解决方案（1%）。

（五）增强式集成 vs. 突破性创新

去年，传统企业通过“增强式集成”（Bolt-on）策略主导了企业市场，将生成式AI功能附加到现有产品中。然而，我们预测初创企业将逐渐蚕食这一领域，今年的数据证实了这一趋势：尽管64%的客户仍倾向于选择传统供应商，主要因为对其信任及即开即用的功能依赖，但传统企业的主导地位已经开始出现裂痕。

• 客户失望增加：18%的决策者对现有供应商的产品表现出不满，认为其未能达到预期效果。
• 需求匹配质疑：40%的客户开始质疑现有解决方案是否真正满足其需求，这表明市场对更加创新、定制化的解决方案有了更高的期待。

（六）各部门的生成式AI转型

生成式AI的普及不仅体现在投入规模上，更体现在覆盖范围的广度。2024年，企业的生成式AI预算几乎流向了所有部门。根据调研数据，不同部门在生成式AI上的投资比例如下：

（七）垂直领域AI应用的兴起

最初的生成式AI应用主要集中在文本和图像生成等横向解决方案上，而2024年，更多应用开始利用大语言模型（LLM）的新功能深入到高度行业化的垂直工作流中。以下几个垂直领域正在引领生成式AI的应用浪潮：

1. 医疗行业

医疗行业一向对技术采纳较慢，但如今成为生成式AI的先行者。生成式AI在以下方面表现突出：

• 辅助记录：工具如Abridge、Ambience、Heidi和Eleos Health已经成为医生诊所的标配，帮助医生记录并整理病患资料。
• 自动化解决方案：从分诊和登记（如Notable）到医疗编码（如SmarterDx、Codametrix）以及收入周期管理（如Adonis、Rivet）等流程均在快速自动化。

2. 法律行业

虽然法律行业对技术接受度传统上较低，但生成式AI正在被广泛采用，以管理海量非结构化数据并自动化复杂、模式化的工作流程：

• 诉讼领域：Everlaw专注于法律保留、电子发现和庭审准备。
• 交易法律：Harvey和Spellbook为合同审查、法律研究和并购提供解决方案。
• 细分领域创新：
• EvenUp：聚焦于伤害法。
• Garden：专注专利与知识产权。
• Manifest：移民和就业法领域的AI工具。
• Eve：从客户接收至案件解决的整体性技术平台。

3. 金融服务

金融服务行业复杂的数据、严格的监管和关键的工作流程使其成为AI变革的理想领域：

• 会计创新：Numeric和Klarity正在革新会计流程。
• 财务研究：Arkifi和Rogo通过高级数据提取加速金融研究。
• 后台流程优化：Arch专注于RIA（注册投资顾问）和投资基金的后台处理流程。
• 合规与报告：Orby和Sema4从对账和报告入手，Greenlite和Norm AI则提供实时合规监控，以应对不断变化的法规要求。

4. 媒体与娱乐

生成式AI正从好莱坞的专业制作到普通创作者的日常创作中全面渗透：

• 专业级工具：Runway成为影视制作中的重要工具。
• 独立创作者支持：Captions和Descript帮助创作者轻松制作内容。
• 图像和视频创作前沿：Black Forest Labs、Higgsfield、Ideogram、Midjourney和Pika推动专业人士的创作边界。

三、AI技术栈

2023 年，Menlo Venture预测企业在现代人工智能堆栈上的支出超过 11 亿美元，使其成为生成式人工智能领域最大的新市场，并为初创企业带来巨大机遇。

经过一年的快速发展，2024年现代AI技术栈逐渐趋于稳定。企业在生成式AI生产系统的运行架构中，围绕核心构建模块达成了广泛共识，形成了一套相对标准化的技术体系。基础模型（Foundation Models）层面继续主导市场，然而，企业逐渐意识到，仅靠大语言模型（LLMs）无法完全满足生产需求，必须依赖数据支撑与集成能力来构建复杂且可靠的AI架构。

（一）LLM趋势：多模型策略盛行，Anthropic逐步蚕食OpenAI市场份额

企业在使用大语言模型（LLM）时正转向更加务实的多模型策略。调研显示，企业通常在其AI技术栈中部署三个或更多的基础模型，根据具体用例或需求选择最适合的模型。这种策略也体现在开源与闭源之争中，尽管业界对此争议不断，但企业的偏好仍然相对稳定。

1. 开源与闭源市场分布

• 闭源解决方案：占据81%的市场份额，是主流选择。
• 开源解决方案：以Meta的Llama 3为代表，市场份额保持在19%，比2023年仅下降了1个百分点。

2. OpenAI vs. Anthropic

• OpenAI尽管早期具有先发优势，其企业市场份额从2023年的50%下降到34%。
• Anthropic成为最大的受益者，其市场份额从12%翻倍至24%。特别是在2024年10月22日发布的Claude 3.5 Sonnet模型中，该模型的突破性能力进一步提升了Anthropic的市场吸引力。

3. 企业更换LLM的主要动因

当企业从一个LLM切换到另一个时，主要原因包括：

• 安全性与可靠性（46%）
• 价格因素（44%）
• 性能表现（42%）
• 功能扩展（41%）

（二）设计模式趋势：RAG崛起、微调罕见、代理架构突破

企业AI设计模式正在快速演变，这些模式为构建高效、可扩展的AI系统提供了标准化的架构方法。以下是2024年最值得关注的趋势：

1. RAG（检索增强生成）的强势崛起，采用率：51%

RAG的采用率从去年的31%大幅上升到今年的51%，成为企业生成式AI系统中最主流的架构方法。

RAG通过结合外部知识检索和生成式AI，能够显著提升生成质量和上下文准确性，在需要大量知识管理的场景中表现尤为突出。

2. 微调（Fine-Tuning）依然罕见，采用率：9%

尽管微调在许多应用提供商中被广泛宣传，但其在生产模型中的实际采用率仍然非常低。原因包括：

• 微调的成本较高，特别是需要大规模数据和计算资源。
• 预训练模型（如OpenAI和Anthropic的模型）在许多情况下已能满足需求，无需进一步优化。

3. 代理架构（Agentic Architectures）的突破性发展，采用率：12%

代理架构在2024年取得全新突破，已经在12%的AI系统中得到应用。这种架构允许AI自主管理复杂的任务链，例如端到端的业务流程或多步任务协调。优势包括：

• 提高了AI系统的自主性和扩展性。
• 在需要高度自动化的场景中表现出色，例如智能客服、任务执行和操作优化。

（三）RAG基础架构：矢量数据库、ETL与数据管道

要充分发挥检索增强生成（RAG）的优势，企业必须高效存储并访问与查询相关的知识。这对基础架构提出了新的要求，从数据库到数据处理工具，AI优先的解决方案正在快速崛起。

1. 矢量数据库：现代AI的关键存储

• 传统数据库的现状
• Postgres 和 MongoDB 仍然是常见选择，分别占市场份额的15%和14%。
• AI原生矢量数据库的崛起
• 专为高效存储和检索嵌入数据设计。
• 能够更好地支持生成式AI和自然语言处理的复杂查询需求。
• Pinecone 等AI原生解决方案因其对向量搜索的优化，快速赢得市场，现已占据18%的市场份额。

  
  

2. ETL与数据准备：从传统到AI优化

• 传统ETL平台仍占主导
• 如 Azure Document Intelligence 等传统工具占据了28%的部署份额，尤其适合结构化数据处理任务。
• 针对非结构化数据的专业工具崭露头角
• 能够更高效地提取和转化文档中的信息，为生成式AI提供更高质量的数据输入。
• Unstructured 等专注于处理PDF、HTML等非结构化数据的工具，已占市场的16%。

  
  

3. 技术堆栈的趋势与需求

随着RAG的普及，企业对专为现代AI设计的技术解决方案需求旺盛：

• 矢量数据库正逐渐替代传统数据库，成为知识存储和检索的核心。
• 专业化的数据准备工具弥补了传统ETL的不足，尤其是在处理非结构化数据时更具优势。
• 技术堆栈的整体转型表明，企业需要更高效、精准和智能化的基础架构来支持生成式AI的复杂需求。 

四、Menlo Venture的预测

（一）AI代理将推动下一波变革

代理型自动化（Agentic Automation）将成为AI变革的下一波浪潮，解决复杂的多步骤任务，超越当前以内容生成和知识检索为中心的系统能力。Clay和Forge展示了高级AI代理如何可能颠覆4000亿美元的软件市场，甚至影响10万亿美元的美国服务经济。

这一变革将催生对全新基础设施的需求，包括：

• 代理身份验证
• 工具集成平台
• AI浏览器框架
• AI生成代码的专用运行时

（二）更多传统巨头将被颠覆

ChatGPT对Chegg（市值蒸发85%）和Stack Overflow（网页流量减半）的冲击为行业敲响了警钟：

• IT外包公司（如Cognizant）和传统自动化企业（如UiPath）需警惕AI原生挑战者的崛起。
• 长期来看，即使是Salesforce和Autodesk这样的软件巨头也可能面临AI原生解决方案的威胁。

（三）AI人才短缺和竞争加剧

随着AI系统的普及和复杂化，科技行业将面临前所未有的人才短缺。不仅仅是数据科学家短缺，更严重的是缺乏能够将先进AI能力与行业专业知识结合的复合型人才。

• 人才供需严重失衡将导致AI技能企业架构师的薪资溢价普遍达到2-3倍。
• 即便大量投资于培训项目和AI卓越中心，也难以弥补这一缺口。
• 未来企业在AI人才争夺中将面临更激烈的竞争，这将成为推动下一波AI创新的瓶颈。

五、附录

硅谷科技评论（SVTR.AI），在ChatGPT问世之际，创立于美国硅谷，依托AI创投库、AI创投会和风险投资，为创始人提供人才、资金和咨询服务，打造全球前沿科技（AI）创新生态系统。目前覆盖全球10W+ AI从业者，包括AI创始人和AI投资人。最近孵化案例包括：AI超级工程师模本科技；AI教育咨询公司高考纸鸢。

联系凯瑞（pkcapital2023），加入我们创业工作室，成为导师、顾问、创业合伙人等。