從“拼規(guī)?！钡健捌葱省保喝A為Flex：ai躍升算力利用效率，引領(lǐng)AI平民化新紀(jì)元

　　從機(jī)器人聊天到使能千行萬(wàn)業(yè)的專(zhuān)業(yè)模型+Agent，AI技術(shù)的每一門(mén)分支、每一次飛躍都離不開(kāi)算力的強(qiáng)有力支撐。

　　然而，隨著AI應(yīng)用的日益廣泛與深入，一個(gè)更為現(xiàn)實(shí)的問(wèn)題正在浮出水面——昂貴的GPU/NPU資源利用率普遍低于40%，大量算力在“空轉(zhuǎn)”中被浪費(fèi)；一些中小企業(yè)與科研機(jī)構(gòu)卻因算力門(mén)檻過(guò)高，難以充分受益于AI。長(zhǎng)此以往，無(wú)疑將極大地制約AI產(chǎn)業(yè)發(fā)展。

　　在這一背景下，容器技術(shù)這個(gè)發(fā)端于云計(jì)算領(lǐng)域的概念，以其輕量級(jí)、可移植、易部署等特性，正從“應(yīng)用封裝工具”演進(jìn)為“算力調(diào)度中樞”。就在最近，華為聯(lián)合上海交通大學(xué)、西安交通大學(xué)與廈門(mén)大學(xué)發(fā)布并開(kāi)源AI容器技術(shù)Flex：ai，旨在通過(guò)技術(shù)創(chuàng)新與生態(tài)共建，破解算力資源利用難題，進(jìn)而推動(dòng)AI技術(shù)的普惠。

　　“大家以前沒(méi)有聽(tīng)到一個(gè)詞，‘讓AI從此平民化’？AI平民化不是在臺(tái)式機(jī)里裝塊4090的游戲卡就作數(shù)，而是花更少的錢(qián)、讓更多人獲益，這就是我們今天所做的事情以及努力的方向?！比A為副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線(xiàn)總裁周躍峰博士告訴C114。發(fā)布會(huì)后，他攜手?jǐn)?shù)位華為技術(shù)專(zhuān)家出席媒體圓桌，對(duì)該公司在AI容器領(lǐng)域的前瞻視野與深遠(yuǎn)布局作出了詳盡解讀。

　　AI產(chǎn)業(yè)高歌猛進(jìn)下的效率困境

　　2025年，全球AI產(chǎn)業(yè)繼續(xù)高歌猛進(jìn)，大模型參數(shù)規(guī)模從千億邁向萬(wàn)億，AI在各行各業(yè)的應(yīng)用也開(kāi)始步入深水區(qū)，算力需求呈指數(shù)級(jí)增長(zhǎng)。但與之形成鮮明對(duì)比的是，算力資源的利用效率始終在低位徘徊。據(jù)統(tǒng)計(jì)，超過(guò)60%的頭部互聯(lián)網(wǎng)企業(yè)GPU利用率低于40%，在私有云化部署場(chǎng)景中甚至不足30%。

　　“小任務(wù)單卡算力用不完，大任務(wù)單機(jī)算力不夠用，多任務(wù)并發(fā)時(shí)調(diào)度無(wú)解?！敝苘S峰的發(fā)言一針見(jiàn)血。他以醫(yī)療場(chǎng)景舉例，一家頂級(jí)三甲醫(yī)院僅能負(fù)擔(dān)16張AI加速卡，但當(dāng)多名醫(yī)生同時(shí)使用AI輔助診斷時(shí)，推理任務(wù)排隊(duì)等待時(shí)間長(zhǎng)達(dá)數(shù)十分鐘，“這不是技術(shù)不行，是資源調(diào)度機(jī)制出了問(wèn)題”。

　　“在學(xué)校里面，GPU是非常關(guān)鍵的，大家都需要拿來(lái)做科研，發(fā)現(xiàn)資源利用率會(huì)比較低，一部分原因是卡被人占用后往往需要排隊(duì)，形成了非常大的資源浪費(fèi)。”上海交通大學(xué)戚正偉教授分享說(shuō)，“傳統(tǒng)虛擬化方案要么粒度粗放，要么開(kāi)銷(xiāo)過(guò)大，無(wú)法在異構(gòu)算力環(huán)境中實(shí)現(xiàn)細(xì)粒度資源隔離?！?/p>

　　面對(duì)算力資源利用的挑戰(zhàn)，容器技術(shù)以其獨(dú)特的優(yōu)勢(shì)成為優(yōu)化資源配置的重要手段。然而，傳統(tǒng)容器技術(shù)在面對(duì)AI應(yīng)用時(shí)，仍存在諸多不足。例如對(duì)GPU、NPU等異構(gòu)算力資源的支持不夠完善，難以實(shí)現(xiàn)算力的精細(xì)化管理；容器間的資源隔離與性能保障機(jī)制不夠健全，容易導(dǎo)致任務(wù)間的相互干擾；此外，容器在跨節(jié)點(diǎn)、跨集群的資源調(diào)度與協(xié)同方面也存在較大局限，難以滿(mǎn)足AI應(yīng)用對(duì)算力資源的高效利用需求。

　　更深層的問(wèn)題在于生態(tài)封閉。英偉達(dá)通過(guò)MIG技術(shù)實(shí)現(xiàn)GPU切分，但其固定粒度與硬件綁定的模式限制了靈活性；被其收購(gòu)的Run：ai雖在調(diào)度層有所突破，卻未徹底開(kāi)源，形成“技術(shù)黑盒”且硬件兼容性嚴(yán)重受限。

　　顯然，AI真正由“貴族游戲”走向“平民工具”，需要找到那塊關(guān)鍵的拼圖。

　　Flex：ai破局：從“資源切片”到“全局調(diào)度”

　　針對(duì)這一系列挑戰(zhàn)，華為此次發(fā)布并開(kāi)源的Flex：ai XPU池化與調(diào)度軟件提供了破局之道。從技術(shù)架構(gòu)看，F(xiàn)lex：ai基于Kubernetes構(gòu)建，通過(guò)對(duì)GPU、NPU等智能算力資源的精細(xì)化管理與智能調(diào)度，實(shí)現(xiàn)AI工作負(fù)載與算力資源的精準(zhǔn)匹配，從而做到算力資源的“按需取用”與“細(xì)水長(zhǎng)流”。其核心技術(shù)突破體現(xiàn)在三個(gè)方面：

　　突破一、XPU池化，讓一卡變多卡：針對(duì)“小任務(wù)占大卡”的浪費(fèi)現(xiàn)象，華為與上海交通大學(xué)聯(lián)合研發(fā)了XPU池化框架。該技術(shù)可將單張GPU或NPU算力卡切分為多份虛擬算力單元，服務(wù)多個(gè)AI工作負(fù)載，切分粒度精準(zhǔn)至10%。

　　“我們能不能把一張卡虛擬化成多張卡，讓我們以更小的算力單元進(jìn)行調(diào)度，讓每一張卡的算力能力能夠充分釋放出來(lái)。”周躍峰在演講中如此闡述設(shè)計(jì)初衷。在實(shí)際測(cè)試中，該技術(shù)使得小模型推理場(chǎng)景下的整體算力平均利用率提升30%，顯著提高了單卡服務(wù)能力。

　　相比芯片原生的MIG技術(shù)只能切固定的切片，F(xiàn)lex：ai的軟切分更加靈活，“用多少，切多少”。華為技術(shù)專(zhuān)家解釋說(shuō)：“我們的切片技術(shù)基于軟件，可以根據(jù)需求來(lái)切分，比如說(shuō)切三份，有的占40%、有的占30%、有的占20%，彈性也更好一點(diǎn)?！?/p>

　　突破二、跨節(jié)點(diǎn)聚合，打破“算力孤島”：針對(duì)大量通用服務(wù)器無(wú)法服務(wù)于AI工作負(fù)載的問(wèn)題，華為與廈門(mén)大學(xué)聯(lián)合研發(fā)了跨節(jié)點(diǎn)拉遠(yuǎn)虛擬化技術(shù)。該技術(shù)將集群內(nèi)各節(jié)點(diǎn)的空閑XPU算力聚合形成“共享算力池”，一方面為高算力需求的AI工作負(fù)載提供充足資源支撐；另一方面，可讓不具備智能計(jì)算能力的通用服務(wù)器通過(guò)高速網(wǎng)絡(luò)，可將AI工作負(fù)載轉(zhuǎn)發(fā)到遠(yuǎn)端“資源池”中的GPU/NPU算力卡中執(zhí)行。

　　“我們的關(guān)鍵思想是把XPU上下文從CPU的進(jìn)程里面分離出來(lái)，并且進(jìn)行抽象的組織和靈活映射?！睆B門(mén)大學(xué)張一鳴教授闡述道，通過(guò)“多對(duì)多”與“多對(duì)一”的靈活映射，該技術(shù)有效解決了外部碎片（跨節(jié)點(diǎn)XPU空閑）和內(nèi)部碎片（單卡算力未被充分利用）問(wèn)題。

　　實(shí)測(cè)數(shù)據(jù)顯示，該方案相比現(xiàn)有最佳技術(shù)Sota，在作業(yè)中提升了67%的高優(yōu)作業(yè)吞吐量，并有效利用17%的內(nèi)部碎片；在大規(guī)模仿真實(shí)驗(yàn)中，打破了XPU的服務(wù)范圍限制，減少了74%的外部碎片。

　　突破三、多級(jí)智能調(diào)度，為算力基建裝上“智慧大腦”：面對(duì)異構(gòu)算力統(tǒng)一調(diào)度的挑戰(zhàn)，華為與西安交通大學(xué)共同打造了Hi Scheduler智能調(diào)度器。該調(diào)度器可自動(dòng)感知集群負(fù)載與資源狀態(tài)，結(jié)合AI工作負(fù)載的優(yōu)先級(jí)、算力需求等多維參數(shù)，對(duì)本地及遠(yuǎn)端的虛擬化GPU、NPU資源進(jìn)行全局最優(yōu)調(diào)度，實(shí)現(xiàn)AI工作負(fù)載分時(shí)復(fù)用資源。

　　“做了分層調(diào)度后怎么把它用好，一層一層推一直到模型的服務(wù)系統(tǒng)里去，從上到下怎樣做有效調(diào)度？我們和華為一起進(jìn)行了各種嘗試?！蔽靼步煌ù髮W(xué)張興軍教授從體系結(jié)構(gòu)角度解讀說(shuō)，Hi Scheduler的創(chuàng)新之處在于，它通過(guò)控制命令緩沖區(qū)實(shí)現(xiàn)時(shí)間隔離，直接面向底層命令緩沖區(qū)進(jìn)行調(diào)度與控制，有效屏蔽了API層的差異性，在可移植性與長(zhǎng)期兼容性方面展現(xiàn)出顯著優(yōu)勢(shì)。

　　生態(tài)共建：推動(dòng)AI平民化加快實(shí)現(xiàn)

　　不止于技術(shù)突破，F(xiàn)lex：ai的價(jià)值更在于其開(kāi)創(chuàng)的開(kāi)源模式與生態(tài)定位。在Run：ai被英偉達(dá)收購(gòu)并逐步封閉的背景下，華為選擇了一條截然不同的道路——開(kāi)源開(kāi)放，共建生態(tài)。

　　“如果AI只能在擁有萬(wàn)張卡的企業(yè)中運(yùn)行，這個(gè)泡沫終將破滅?！敝苘S峰在分享中多次強(qiáng)調(diào)了“AI平民化”愿景，希望讓中小企業(yè)甚至家庭用戶(hù)也能以更低的成本享受到AI技術(shù)帶來(lái)的便利與高效，而要實(shí)現(xiàn)這個(gè)愿景就必須調(diào)動(dòng)起“產(chǎn)學(xué)研用”各方的力量。

　　“AI行業(yè)化落地是一件很難的事情，光靠華為公司的軟件工程師的力量是遠(yuǎn)遠(yuǎn)難以完成的?！彼寡裕拔覀兏嗟氖窍Ｍ軌虬堰@些軟件開(kāi)源開(kāi)放之后，有很多伙伴、有很多打造解決方案的公司或者集成商，他們能夠更加靈活地使用它?！?/p>

　　華為先前已經(jīng)向外界開(kāi)源開(kāi)放了DCS AI全流程工具鏈與UCM推理記憶數(shù)據(jù)管理器，F(xiàn)lex：ai亦是沿著這一思路發(fā)展。有所不同的是，F(xiàn)lex：ai從一開(kāi)始就是由華為與三家高?！肮矂?chuàng)”。而從更宏觀的角度，F(xiàn)lex：ai的開(kāi)源開(kāi)放也為國(guó)內(nèi)的AI產(chǎn)業(yè)提供了另一種選擇，降低了被卡脖子的風(fēng)險(xiǎn)。

　　華為技術(shù)專(zhuān)家亦談到，F(xiàn)lex：ai已向開(kāi)源社區(qū)開(kāi)源開(kāi)放了智能調(diào)度和算力虛擬化模塊，將提供標(biāo)準(zhǔn)化的通用API接口，希望后續(xù)有更多的開(kāi)發(fā)者一起參與進(jìn)來(lái)，共同推進(jìn)算法調(diào)度處理、異構(gòu)算力兼容等工作。這不僅有助于提升我國(guó)在全球AI產(chǎn)業(yè)中的競(jìng)爭(zhēng)力，也將為全球AI產(chǎn)業(yè)的高質(zhì)量發(fā)展注入強(qiáng)勁動(dòng)能。

　　Flex：ai的出現(xiàn)，標(biāo)志著AI基礎(chǔ)設(shè)施從“拼規(guī)模”進(jìn)入到“拼效率”的新階段。通過(guò)三大核心技術(shù)的突破，它破解了算力資源利用的難題、降低了AI應(yīng)用的門(mén)檻，讓AI真正從“炫技”走向“賦能”、從“情緒價(jià)值”走向“生產(chǎn)力價(jià)值”。而隨著技術(shù)的持續(xù)演進(jìn)與生態(tài)的不斷完善，F(xiàn)lex：ai這樣的容器技術(shù)，或許比任何一個(gè)萬(wàn)億參數(shù)的模型都更加值得期待。（蔣均牧）

　　轉(zhuǎn)自：C114通信網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀