聯(lián)想將單臺服務器運行大模型性能推向新高

　　3月17日，聯(lián)想宣布旗下首款AMD AI大模型訓練服務器聯(lián)想問天WA7785a G3在單機部署671B（滿血版） DeepSeek大模型時，可實現(xiàn)極限吞吐量6708token/s，將單臺服務器運行大模型的性能推向了新高。

　　據(jù)悉，依托聯(lián)想萬全異構智算平臺，聯(lián)想通過訪存優(yōu)化、顯存優(yōu)化、PCIe 5.0全互聯(lián)架構創(chuàng)新以及精選SGLang框架中性能最優(yōu)算子等諸多創(chuàng)新方式，對大模型從預訓練、后訓練到推理的全流程進行持續(xù)優(yōu)化，在單臺部署DeepSeek 671B大模型的聯(lián)想問天WA7785a G3上實測最高吞吐量達6708 token/s。

　　在模擬問題對話場景（上下文序列長度128/1K）時，最高可支持并發(fā)數(shù)158，TPOT 93毫秒， TTFT 2.01秒；而在模擬代碼生成（上下文序列長度512/4K ）時，并發(fā)數(shù)可達140，TPOT 100毫秒， TTFT 5.53秒。意味著單臺聯(lián)想問天WA7785a G3可以支撐1500人規(guī)模企業(yè)的正常使用，是繼聯(lián)想問天WA7780 G3服務器單機部署滿血版DeepSeek大模型總吞吐量突破2500 token/s之后，單機部署該大模型推理性能的又一次突破。

　　此次突破是聯(lián)想中國基礎設施業(yè)務群、聯(lián)想研究院ICI實驗室和AMD聯(lián)合設計、協(xié)同調優(yōu)、共同實現(xiàn)的。此結果也并非最終結果，聯(lián)想與AMD還在持續(xù)嘗試深度調優(yōu)新方法，實現(xiàn)更高調優(yōu)突破。（記者 李方）

　　轉自：中國經濟網(wǎng)

　　【版權及免責聲明】凡本網(wǎng)所屬版權作品，轉載時須獲得授權并注明來源“中國產業(yè)經濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系：010-65363056。

延伸閱讀