文 | alter
站在2025年中，回顧半年來大模型的發(fā)展，以年初DeepSeek爆火為標(biāo)志，大模型快速蛻變角色，走出實(shí)驗室，真正融入企業(yè)核心業(yè)務(wù)系統(tǒng)，在政務(wù)、金融、醫(yī)療、能源等領(lǐng)域加速落地。
隨著大模型走向深度應(yīng)用，CTO從關(guān)注基礎(chǔ)模型轉(zhuǎn)向推理引擎，推理過程中的資源消耗，每一度電、每一塊錢、每一分鐘所能產(chǎn)出的Token數(shù)量，正在成為衡量一家公司在AI時代先進(jìn)性的關(guān)鍵指標(biāo)。
怎么用推理引擎提升推理效率、榨干每一塊算力的價值、盡可能降低推理成本，已經(jīng)成為CTO們必須解決的問題。
01 大模型跑不動，是因為推理引擎不給力
什么是推理引擎？
簡單來說就是一套專門負(fù)責(zé)讓大模型“跑”起來的系統(tǒng)，既負(fù)責(zé)“怎么算”，又負(fù)責(zé)“在哪算”和“算得多快”，盡可能提高大模型推理的響應(yīng)速度、并發(fā)能力和算力資源利用率。
如果說大模型是發(fā)動機(jī)，推理引擎就是動力總成，決定了發(fā)動機(jī)在不同道路、不同油品、不同氣候下是否能高效運(yùn)轉(zhuǎn)。調(diào)校得當(dāng)，就能低延遲、高吞吐、低成本；調(diào)校不佳，再強(qiáng)的模型也可能“燒油多、輸出低”。
大約從2023年開始，推理引擎開始作為一個獨(dú)立賽道興起，陸續(xù)出現(xiàn)了TGI、vLLM、TensorRT、SGLang等面向推理效率優(yōu)化的開源項目。彼時業(yè)界的注意力還停留在“大煉模型”上，對推理引擎的需要求不高——能用就行。
2025年初是一個分水嶺。
DeepSeek為代表的一批大模型開源后，企業(yè)對AI的態(tài)度由觀望轉(zhuǎn)向行動，紛紛采購算力、治理數(shù)據(jù)、微調(diào)模型，落地部署時卻發(fā)現(xiàn)：推理響應(yīng)慢、吞吐跟不上、成本高昂。
90%的算力花在了推理上，結(jié)果又貴又慢，連“謝謝”都不敢多說一句，幾乎談不上性價比。
大模型推理到底難在哪里呢？答案是效果、性能、成本的“不可能三角”。
想要效果好，就得用更大的模型、更高的精度、更長的上下文，但算力開銷就上去了；想要跑得快、響應(yīng)快，就要用緩存、做批處理、圖優(yōu)化，可能影響模型輸出的質(zhì)量；想要成本低，就要壓縮模型、降低顯存、用更便宜的算力，又可能會犧牲推理的性能或準(zhǔn)確率。
企業(yè)的CTO們在為大模型推理焦慮時，推理引擎賽道也“熱鬧”了起來，不少在AI應(yīng)用上“搶跑”的大廠，同樣意識到了推理引擎的短板，試圖將自己摸索出的經(jīng)驗，做成標(biāo)準(zhǔn)化產(chǎn)品和服務(wù)，幫企業(yè)壓下這筆越來越沉重的應(yīng)用賬。
比如英偉達(dá)發(fā)布了推理框架Dynamo；AWS的SageMaker提供了多項增強(qiáng)功能提高大模型推理的吞吐量、延遲和可用性；京東云推出了JoyBuilder推理引擎，可將推理成本降低90%……
一句話來總結(jié)：大模型能力再強(qiáng)，沒有高效的推理引擎，就像一輛發(fā)動機(jī)不行的跑車，只能原地轟油門。
02 為了推理快、省、穩(wěn)，大廠都在死磕工程創(chuàng)新
過去為了提高推理能力，思路主要放在模型上，通過剪枝、蒸餾、量化等技術(shù)給大模型“瘦身”。越來越多企業(yè)發(fā)現(xiàn)，如果推理過程上存在太多短板，模型再怎么輕，推理的效能也上不去，必須要優(yōu)化推理流程。
在理解工程創(chuàng)新的思路前，先把大模型的推理過程拆解一下：
第一階段（Prefill）：先聽懂你在說什么。
就像人聊天前要先把對方說的話聽清楚、理解透，大模型的第一步，就是認(rèn)真“讀題”，一字一句地“消化”，并在腦子里畫好一套“思考地圖”（KVCache）。
第二個階段（Decode）：一字一句地回答你。
不是一下子把答案全說完，而是一字一句地往下寫，每寫一個字，都會根據(jù)剛才的思路更新一下自己的“思路地圖”，確保后面寫的內(nèi)容更連貫、更合理。
AWS、京東云、英偉達(dá)、谷歌云等，都在“死磕”工程創(chuàng)新。
比如優(yōu)化“思考地圖”，如果“思考地圖”又大又亂，占了GPU大量空間還查得慢，就會成為性能瓶頸。
AWS SageMaker和谷歌云Vertex AI的做法是給“思考地圖”建了一個“緩存共享中心”，動態(tài)調(diào)度顯存資源：誰先用、誰能共用、誰暫時擱置，都安排得明明白白，盡可能讓GPU的價值“壓榨到極致”。
京東云JoyBuilder推理引擎和英偉達(dá)的Dynamo，則進(jìn)一步給出一種“以存代算”的解法：直接把“思考地圖”從GPU挪出去。其中京東云通過自研的云海AI存儲，支持PB級緩存擴(kuò)展，并配合高效檢索算法與負(fù)載感知調(diào)度，直接將多輪對話和長文本處理的響應(yīng)時延壓縮了60%。
再比如將“聽”和“說”分離，相當(dāng)于開會時讓“準(zhǔn)備”和“發(fā)言”同步進(jìn)行，避免出現(xiàn)“干等閑耗”的場景。
其中AWS不只實(shí)現(xiàn)了“聽”和“說”分離，還改變了大模型說話的方式，不再是“想到哪說到哪”，而是提前整理好了大綱，省下了大量來回思考的時間。
京東云JoyBuilder推理引擎的方案稍有不同：第一招和AWS相似，整體吞吐提升了30%以上；第二招是將“聽”和“說”交給不同的GPU處理，兩邊像流水線一樣并行工作，中間用“傳送帶”快速傳遞信息，大幅提升了推理吞吐量。
對CTO們而言，技術(shù)大廠的深度參與，不失為一個好消息，相當(dāng)于是把推理引擎打磨成了能直接用的高性能“電子電氣架構(gòu)”。
03 異構(gòu)算力是挑戰(zhàn)，也是低成本取勝的機(jī)會
我們在和幾位CTO溝通時，除了普遍焦慮的推理性能，還涉及到另一個問題——異構(gòu)算力。
隨著大模型應(yīng)用的深入，以CPU為中心的架構(gòu)在支持AI原生應(yīng)用上面臨挑戰(zhàn)，需要以GPU為中心重塑基礎(chǔ)設(shè)施；此外，面對激增的推理需求，計算資源持續(xù)增加，企業(yè)需要思考資源投入產(chǎn)出的問題，都指向需要一套AI Native的基礎(chǔ)設(shè)施。
而異構(gòu)算力，通俗來說就是將不同品牌的芯片“拼著用”。就像是一支臨時組成的軍隊，語言、指令、作戰(zhàn)邏輯全都不統(tǒng)一。以至于一位CTO打趣說：“我們要想打仗，得先發(fā)明統(tǒng)一的語言和作戰(zhàn)地圖。”
vLLM、SGLang等比較熱門的開源引擎，目前都還停留在同類型GPU之間高效調(diào)度，對“異構(gòu)”集群依然捉襟見肘。但國內(nèi)的研究機(jī)構(gòu)和科技大廠都已經(jīng)試圖解決：怎樣讓不同芯片“聽得懂一個指揮”，各司其職、取長補(bǔ)短。
一種主流思路是“把大鍋飯變自助餐”。
過去用GPU跑模型，就像是大鍋飯，一整張顯卡只能給一個任務(wù)用，哪怕只吃了一口，剩下的資源也不能被別人接著用。就像京東云JoyBuilder推理引擎的策略是把異構(gòu)算力資源統(tǒng)一管理，把一張GPU“切成很多小份”（1%），顯存也能按MB級別來分，按需分給多個模型、多個任務(wù)使用，誰需要多少就用多少，GPU利用率最高可提升70%。
還有一種思路是把“拼芯片”和“拆流程”結(jié)合起來。
比如在MoE模型的部署上，京東云JoyBuilder推理引擎可以將不同專家部署在不同GPU上，讓每個GPU干最擅長的活。甚至可以將“輸入”部署在擅長高吞吐的昇騰集群，將“輸出”部署在N卡上確保低延遲，充分利用不同算力的優(yōu)勢。
對于CTO們來說，在“推理成本決定最終勝利”的大模型競賽中，異構(gòu)算力是挑戰(zhàn)，同樣也是機(jī)會。
04 高性能低成本，大模型推理正在重塑AI生產(chǎn)力
經(jīng)歷了一段時間的高歌猛進(jìn)后，越來越多企業(yè)對大模型的訴求，正在從“不能沒有”轉(zhuǎn)向要落地、要價值、要增長。我們看到，大模型已經(jīng)在營銷推廣、協(xié)同辦公、客戶服務(wù)等場景深度應(yīng)用，成為新的增長引擎。
例如在零售場景，包括面向用戶的AI生成商品圖、AI營銷內(nèi)容生成、AI數(shù)字人，面向管理的AI客服與售后管理、AI經(jīng)營托管、AI倉配優(yōu)化，以及配送環(huán)節(jié)的自動分揀機(jī)器人、自動駕駛等需求。
京東透露了一組數(shù)據(jù)：目前推理框架已經(jīng)在內(nèi)部多個場景應(yīng)用，在可交互式導(dǎo)購、商品對比、商品總結(jié)、購物建議等環(huán)節(jié)，大幅提升了響應(yīng)速度，節(jié)省了計算成本，同時還有效助力了用戶的活躍度；在核心的商品理解環(huán)節(jié)，也有效提升了大模型的理解能力和信息處理能力，模型推理成本最高可節(jié)省70%。
除了服務(wù)于京東內(nèi)部，某新能源汽車頭部廠商、某全球新能源科技領(lǐng)導(dǎo)企業(yè)，也在打造覆蓋全集團(tuán)的智能計算底座，實(shí)現(xiàn)千卡級AI算力集群的精細(xì)化管理。技術(shù)上一方面創(chuàng)新多元算力調(diào)度，顯著提升GPU利用率，另一方面創(chuàng)建全生命周期AI開發(fā)環(huán)境，實(shí)現(xiàn)開箱即用，大幅提升研發(fā)效率。
目前，該平臺已支撐起企業(yè)智能駕駛研發(fā)、人形機(jī)器人等20余個核心場景，成為集團(tuán)的“數(shù)智發(fā)動機(jī)”。預(yù)計一年內(nèi)，兩家企業(yè)大模型訓(xùn)練周期將縮短40%，每年節(jié)省的算力成本相當(dāng)于新建兩座數(shù)據(jù)中心。
05 寫在最后
盡管推理引擎已經(jīng)在性能壓榨、資源調(diào)度和成本控制等方面取得了初步成果，但真正的競爭才剛剛開始。
尤其是在異構(gòu)能力方面，無論是多種芯片的適配整合，還是對不同模型結(jié)構(gòu)、大小、任務(wù)類型的統(tǒng)一支持，當(dāng)前的技術(shù)體系還遠(yuǎn)未成熟。同時也意味著，誰能率先構(gòu)建起靈活、高效、可持續(xù)的推理能力，誰就有可能在AI大規(guī)模落地的浪潮中占據(jù)先機(jī)。
這是一場跨硬件、跨模型、跨場景的系統(tǒng)性挑戰(zhàn)，也將是未來十年AI競賽的核心主戰(zhàn)場。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論