企業AI格局正在迅速重塑。隨著實驗項目逐步落地投入生產，海外風險投資機構?Menlo Ventures最新發布的《2024年企業生成式AI現狀》報告對600名企業IT決策者展開了調研，深入分析了這場變革中正在浮現的新贏家與失利者。

（本文由OneFlow編譯發布，轉載請聯系授權。原文：https://menlovc.com/2024-the-state-of-generative-ai-in-the-enterprise/）

來源｜Menlo Ventures

OneFlow編譯

譯文及題圖由SiliconCloud平臺生成
?

2024年是生成式AI成為企業關鍵任務的轉折點。這些數字講述了一個戲劇性故事：今年AI支出激增至138億美元，是2023年AI支出（23億美元）的6倍多——這清楚地表明企業正在從實驗轉向生產階段，將AI嵌入其業務戰略的核心。

AI支出激增反映了組織層面的樂觀情緒；72%的決策者預計，生成式 AI 工具將在不久的將來得到更廣泛的應用。這種信心并非空穴來風——生成式AI工具已深深融入從程序員到醫療保健提供者的日常工作中。

盡管前景樂觀且投資不斷增加，許多決策者仍在摸索哪些策略適合他們的企業，哪些則不然。超過三分之一的受訪者表示，他們對于如何在企業內實施生成式AI缺乏清晰愿景，但這并不意味著他們在盲目投資，而反映了我們仍處于大變革的初期階段。企業領導者才剛剛開始理解生成式AI對其組織的深遠影響。

去年，我們的《2023年企業生成式AI現狀》報告描述了AI的早期試驗階段。今年，我們更新并拓展了2024年報告，其中包含600位企業領導者的見解，重點介紹了隨著組織從實驗項目轉向全面生產而出現的新興趨勢，這使得AI成為企業發展不可或缺的核心驅動力。

2

如今，60%的企業生成式AI投資來自創新預算，反映了生成式AI采納的初期階段。然而，40%的生成式AI支出來自更為長期的預算，其中58%的資金是從現有預算中重新調配，這表明企業在AI轉型方面的投入決心與日俱增。

盡管基礎模型投資仍主導著企業生成式 AI 支出，但應用層正以更快的速度增長，這得益于基礎設施層面的設計模式融合。企業正利用這些工具優化跨行業的業務流程，為更廣泛的創新鋪平道路，從而創造巨大價值。

在接下來的章節中，我們將探討企業采用生成式AI的兩個關鍵維度：

• 應用層，初創企業迎來首次突破，并開拓著新興的藍海市場；

• 現代AI技術棧，LLM的軍備競賽正在重塑競爭格局，同時特定基礎設施模式獲得廣泛采用。

3

2024年，應用層迎來了大量行業動態。隨著多種架構設計模式的成熟，企業廣泛采用大語言模型（LLM），充分發揮其在各領域的優勢，推動效率提升和功能創新。企業買家積極把握這一機遇，2024年在生成式AI應用領域的投資達到46億美元，相較于去年報告的6億美元，增長近8倍。

企業不僅加大了投入，而且設定了更為遠大的目標。平均而言，各組織已確定了10種潛在應用場景，體現了其廣泛而雄心勃勃的戰略規劃。近四分之一（24%）的應用場景被列為近期實施重點，顯示出向實際部署邁進的強勁勢頭。然而，這僅是一個開端。大多數公司仍處于采用初期階段，僅有少數應用場景投入生產，而三分之一（33%）的應用場景仍處于原型設計和評估階段。

4

盡管實驗仍在持續，但采用趨勢表明，部分用例已通過提升生產力或運營效率實現了顯著的投資回報：

• 代碼助手（Code Copilot）以51%的采用率引領潮流，成為開發者群體中AI最早且最強力的用戶。GitHub Copilot迅速突破3億美元年收入，驗證了這一趨勢，同時新興工具如Codeium和Cursor也在快速發展。除了通用的編碼助手，企業還開始購買針對特定任務的Copilot工具，例如Harness的AI DevOps工程師和QA助手，專用于流水線生成和測試自動化；此外，還有像All Hands這樣的AI智能體，能夠執行偏向端到端的軟件開發任務。

• 聊天機器人應用已獲得顯著普及，企業的采用率達到31%。這些應用為內部員工和外部客戶提供可靠的全天候服務支持。Aisera、Decagon和Sierra的智能體直接與終端客戶互動，而Observe AI則為聯絡中心的智能體提供實時通話指導，進一步提升客戶服務效率。

• 企業搜索、數據檢索與提取及轉換（分別占比28%和27%）反映了企業強烈希望解鎖并利用分散在組織各處數據孤島中的隱藏寶貴知識。解決方案如Glean和Sana能夠連接電子郵件、即時通訊工具及文檔存儲，實現跨異構系統的統一語義搜索，并提供由AI驅動的知識管理服務。

• 會議總結在用例中排名第五，采用率為24%，通過自動化筆記和要點提取，節省了時間并提升了生產力。像Fireflies.ai、Otter.ai和Sana這樣的工具能夠捕捉并總結在線會議內容，而Fathom則能從視頻中提煉關鍵點。Eleos Health將這一創新應用于醫療領域，自動化處理數小時的文檔工作，并與電子健康記錄系統（EHRs）直接集成，使醫療提供者能夠將更多精力專注于患者護理上。

當前的實施模式顯示出對增強人類工作流程的明顯偏好，而非追求完全自動化。然而，我們正逐步邁向更多自主解決方案的轉變。在各行業中，由 AI 驅動的智能體獨立管理復雜端到端流程的實例日益增多。例如，金融后臺工作流程中的先鋒企業Forge和Sema4，以及市場推廣工具Clay，均展示了完全自主生成式AI系統如何重塑傳統以人為核心的領域。這些案例預示著一個“軟件即服務（SaaS）”的新時代，其中AI驅動的解決方案不僅具備傳統服務提供商的能力，而且能夠完全通過軟件進行操作，顯著提升效率和靈活性。

6

在決定是自建還是外購時，企業的選擇幾乎呈現均衡分布：47%的解決方案由內部開發，53%則來自供應商。這一趨勢與2023年形成鮮明對比，當時，我們報告顯示，80%的企業依賴第三方生成式AI軟件。這表明，越來越多的企業正增強信心與能力，傾向于自主搭建內部AI工具，而非單純依賴外部供應商。

7

在選擇生成式AI應用時，企業有著明確的優先考量：投資回報率和行業定制化功能是挑選新工具時最關鍵的因素。

令人意外的是，價格并非主要考量因素；在我們調查的企業領導者中，僅有1%提及價格作為選擇因素。購買者更注重長遠利益：他們傾向于選擇能夠帶來可衡量價值（30%）和理解其特定行業背景（26%）的工具，而非僅提供最低價格的工具（1%）。

盡管企業在投資回報率（ROI）和定制化功能方面做了充分考慮，但在實施過程中仍可能忽視一些關鍵環節。許多組織往往在后知后覺，他們低估了技術整合、持續支持和可擴展性的重要性。這類似于僅根據燃油效率來選購汽車，結果后來才意識到，服務可用性和維護便捷性在長期運營中同樣至關重要。

當AI實驗項目出現卡頓或停滯時，通常是因為在選擇過程中未充分考慮的挑戰。盡管購買者通常不關注價格標簽，但實施成本（在26%的失敗實驗中提及）往往讓他們措手不及。數據隱私障礙（21%）和令人失望的投資回報率（18%）同樣使實驗項目偏離軌道。技術問題，尤其是“幻覺”現象（15%），也是導致項目失敗的主要原因。

8

去年，現有企業通過“附加（Bolt-on）”策略在企業市場中占據主導地位，將生成式AI能力疊加到現有產品中。然而，今年的數據驗證了我們之前的預測：盡管64%的客戶仍傾向于從知名供應商購買，其主要基于信任和即插即用的功能，但現有企業的統治地位開始下降。企業客戶的滿意度逐漸下滑，18%的決策者對現有企業的產品表示失望，40%的決策者則質疑當前解決方案是否真正滿足他們的需求。這一趨勢為創新型初創公司提供了進入市場并確立自身地位的寶貴機會，通過更靈活、更定制化的解決方案和更快創新周期，吸引對現有產品不滿的企業客戶。

9

生成式AI在當今的顯著之處不僅在于其規模，更在于其廣泛的應用領域。今年，生成式AI的預算已滲透到企業的各個部門，覆蓋了從研發到營銷的多個職能。

技術部門占據最大支出份額并不意外，其中IT（22%）、產品與工程（19%）以及數據科學（8%）合計占據了企業生成式AI投資的近半份額。剩余預算則被分配到面向客戶職能領域，如客戶支持（9%）、銷售（8%）和市場營銷（7%）。此外，后臺團隊如人力資源和財務（各占7%），設計（6%）和法律（3%）等較小部門也獲得了部分預算支持。

10

首批生成式AI應用主要集中在文本和圖像生成的橫向解決方案上。然而，到了2024年，越來越多的應用開始將大語言模型（LLM）的新能力應用于特定領域的垂直工作流程中，并取得了顯著進展。以下幾個垂直領域引領了這一趨勢：

• 醫療保健：傳統上對技術采用較為緩慢的醫療保健行業，如今在生成式AI領域引領潮流，企業支出已達到5億美元。像Abridge、Ambience、Heidi和Eleos Health這樣的自動化環境抄寫員正成為醫生辦公室的標配，同時，自動化解決方案也在整個臨床周期中涌現——從分診和登記（如Notable），到編碼（如SmarterDx、Codametrix），再到收入周期管理（如Adonis、Rivet*）。

• 法律行業：歷史上對科技持抵制態度的法律行業（企業AI支出達3.5億美元），如今正積極擁抱生成式AI，以管理海量非結構化數據并自動化復雜的基于模式的工作流程。該領域大致分為訴訟法和交易法兩大類，涵蓋多個細分專業。以訴訟為基礎的Everlaw*專注于訴訟保全、電子證據開示和庭審準備，而Harvey和Spellbook則在交易法領域推動AI發展，提供合同審查、法律研究和并購等解決方案。特定的執業領域也迎來了AI創新：EvenUp聚焦于人身傷害法，Garden專注于專利和知識產權，Manifest專注于移民和勞動法，Eve*則通過重塑從客戶接受到案件解決的完整工作流程，全面提升原告案件處理效率。

• 金融服務：憑借其復雜的數據結構、嚴格的法規要求以及關鍵的工作流程，金融服務行業（企業AI支出達1億美元）正準備迎接AI轉型。初創公司如Numeric*和Klarity正在革新會計領域，而Arkifi和Rogo通過先進的數據提取技術加速金融研究。Arch*則利用AI顛覆注冊投資顧問和投資基金的后臺流程。從對賬和報告開始，Orby和Sema4提供更廣泛的水平解決方案，而Greenlite和Norm AI則提供實時合規監控，幫助企業跟上不斷變化的法規。

• 媒體與娛樂：從好萊塢銀幕到創作者的智能手機，生成式AI正在深刻重塑媒體與娛樂行業（企業AI支出達1億美元）。像Runway這樣的工具已成為專業工作室標配，而Captions和Descript等應用則賦能獨立創作者。平臺如Black Forest Labs、Higgsfield、Ideogram、Midjourney和Pika正在推動專業人士在圖像和視頻創作領域不斷拓寬創作邊界。

11

經過一年的快速演進，現代AI技術棧在2024年趨于穩定，企業開始圍繞構成大多數生產AI系統運行架構的核心模塊進行整合。

基礎模型依然占據主導地位，LLM層級掌控著65億美元的企業投資。然而，隨著不斷試錯和探索，企業逐漸意識到數據支持與集成在構建復雜、復合型AI架構中的關鍵性作用，這些架構能夠在生產環境中穩定運行，而不僅僅是一次性的實驗。

12

企業并未依賴單一供應商，而是采取務實的多模型策略。我們的研究顯示，組織通常在AI技術棧中部署三個或更多基礎模型，根據不同的使用場景或需求選擇合適的模型。這一策略同樣延伸至開源與閉源的討論中，盡管業界爭議不斷，但企業偏好保持穩定。閉源解決方案占據了絕大部分市場份額，達到81%，而開源替代方案（以Meta的Llama 3為代表）則穩定在19%，較2023年僅下降了1個百分點。

在閉源模型中，OpenAI的先發優勢有所減弱，其企業市場份額從50%下降至34%。主要受益者是Anthropic，其企業市場份額從12%翻倍至24%，部分企業從GPT-4轉向Claude 3.5 Sonnet。在遷移至新的大語言模型（LLM）時，組織最常提及的動機包括安全性（46%）、價格（44%）、性能（42%）和擴展能力（41%）。

?

企業級AI設計模式——構建高效、可擴展AI系統的標準化架構——正在迅速演進。RAG（檢索增強生成）目前以51%的采用率占據主導地位，較去年的 31%有了大幅提升。與此同時，微調——尤其在領先應用提供商中常被推崇——采用率卻出人意料地少，僅有 9%的生產模型進行了微調。

今年最大的突破之一是智能體架構的首次亮相，它已成功支撐起12%的實施項目。

為了驅動RAG（檢索增強生成），企業需要高效地存儲和訪問相關查詢知識。雖然傳統數據庫如Postgres（占15%）和MongoDB（占14%）仍然常見，但AI優先的解決方案正在逐步獲得市場份額。例如，AI原生的向量數據庫Pinecone已經占據了18%的市場份額。在數據ETL（提取、轉換、加載）/準備領域也出現了類似的趨勢。

盡管傳統的ETL平臺（如Azure Document Intelligence）仍占28%的部署量，但像Unstructured這樣專門處理PDF和HTML等文檔中非結構化數據細微差異的工具，正在開辟自己的市場，已占有16%的份額。這些變化反映了企業對專為滿足現代AI需求而設計的技術的強烈需求。

15

2024年見證著從2023年盛行的炒作浪潮向實際應用的轉變與進化。基于今天分享的數據以及作為投資者所觀察到的趨勢，我們對未來做出以下三大預測：

1. 智能體架構將引領下一波變革

智能體自動化將引領下一波AI變革浪潮，解決復雜的多步驟任務，超越目前專注于內容生成和知識檢索系統的能力。像Clay和Forge這樣的平臺預示著，先進的智能體可能顛覆4000億美元的軟件市場，并滲透至10萬億美元的美國服務經濟。這一轉變將催生新的基礎設施需求，包括智能體認證、工具集成平臺、AI 瀏覽器框架，以及為AI生成代碼量身定制的運行時環境。

1. 大衛戰勝歌利亞: 更多現有企業將倒下

今年，ChatGPT對Chegg和Stack Overflow的沖擊猶如一記警鐘：Chegg市值蒸發85%，而Stack Overflow的網站流量減半。其他領域也面臨顛覆風險。IT外包公司如Cognizant以及傳統自動化企業如UiPath需要警惕AI原生競爭者的入侵。長遠來看，即便是Salesforce和Autodesk這樣的軟件巨頭，也將面臨來自AI原生挑戰者的威脅。

1. 人才荒：AI人才短缺加劇

我們正站在一場大規模人才短缺的邊緣。隨著AI系統的激增和日益復雜化，科技行業將面臨嚴峻的人才匱乏問題。這不僅僅是數據科學家的短缺，更是將先進AI能力與行業專業知識相結合的專家之間的關鍵缺口。人才儲備已處于危險期，隨著競爭的加劇，原本高薪的AI技能企業架構師薪酬溢價2-3倍將成為常態。盡管在培訓項目和AI卓越中心上有所投資，人才缺口依然會超越這些努力，加劇對推動下一波AI創新所需的有限人才的激烈爭奪。

16

AI正引領一場由前沿AI工具、賦能勞動力和變革性商業模式所驅動的新時代，這場變革將深刻重塑我們的經濟格局。我們將在我們的投資組合中親眼見證這一變革：

• AI助力諾貝爾獎得主、Vilya與Xaira Therapeutics聯合創始人David Baker，通過計算方法生成新型潛在藥物，并預測其結構與功能，從而加速為急需患者開發創新療法的進程。

• AI使Continental、米其林和雀巢等制造商能夠捕捉并傳承傳統知識，保持工廠作業的高標準。通過使用Squint，他們將操作指南轉化為沉浸式增強現實體驗，提供實時、分步驟的指導與驗證，從而提升安全性、減少操作失誤，并確保生產效率的穩定。

• AI使企業能夠更快、更可靠地識別頂尖工程人才。通過CodeSignal，企業能夠以更高的準確性和效率評估技術技能，借助自動化編碼評估、個性化問題難度設定以及抄襲檢測等功能，提升招聘流程的精確度和效率。

• AI使Abnormal Security能夠保護企業免受釣魚攻擊和商業電子郵件欺詐等復雜的電子郵件威脅。通過實時檢測異常并在攻擊造成損害之前加以阻止，他們每年可幫助企業預防高達400萬美元的潛在損失。

• AI賦能耐克、星巴克和LG電子等企業，借助TyTypeface大規模創作個性化且符合品牌調性的內容。通過TyTypeface，這些品牌的廣告產出能夠翻四倍，制作時間減半，每月節省數百小時，同時提供與客戶產生共鳴的引人入勝內容。

17

本報告總結了2020年9月24日至2024年10月8日期間對50名或以上員工的企業中的600名IT決策者進行的調研數據。基于這些數據，我們作為該領域的活躍投資者，融入了我們的視角與見解。

*由 Menlo VeVentures 支持

• 生成式AI的支出涵蓋了流向基礎模型、模型訓練與部署、AI專用數據基礎設施，以及來自初創企業和現有企業（如微軟Copilot、Salesforce Agentforce、Adobe Firefly）的新生成式AI應用的資金。請注意，此市場規模估算不包括芯片（如Nvidia）、計算資源（如AWS、GCP、Azure）或AI功能（如Intuit Assist）的收入。

（Menlo Ventures團隊非常榮幸能參與這場變革，支持那些正在推動 AI可能性邊界的創始人。我們的投資組合公司——包括 Abnormal Security、Anthropic、Cleanlab、Eleos、Genesis Therapeutics、Harness、Higgsfield、Neon、OpenSpace、Pinecone、Recursion、Sana、Squint、TyTypeface、Unstructured、Vilya 和 Xaira——展示了AI如何重塑行業，并創造出惠及數百萬人的全新工具和業務。我們正逐步實現智能企業的巨大潛力。如果你是一位準備大展身手的創始人，請與我們聯系。）

其他人都在看

• LLM長上下文RAG能力實測

• 推算LLM訓練的GPU內存需求

• 用初中數學理解LLM工作原理

• 從通才到專家：AI系統向復合AI的演變

• 10倍工程師編碼工具：Cursor x SiliconCloud

• 強化學習之父Rich Sutton：AGI研究下一個范式

• 大模型訓練秘方:1000次超參數優化實驗的發現

---

讓超級產品開發者實現“Token自由”

邀請好友體驗SiliconCloud，狂送2000萬Token/人

邀請越多，Token獎勵越多