中國電信完成行業(yè)首個大模型多方協(xié)同隱私訓練試驗

　　近期，中國電信研究院成功完成行業(yè)首個大模型多方協(xié)同隱私訓練試驗。該試驗依托中國電信云網(wǎng)融合大科創(chuàng)裝置的智算資源，通過自主研發(fā)的大模型多方協(xié)同隱私訓練技術(shù)，在保障原始數(shù)據(jù)不出域的條件下，成功完成了多方協(xié)同的大模型訓練，為推動數(shù)據(jù)要素的安全流通與價值釋放提供了堅實的技術(shù)支撐。

　　本次試驗賦能大模型研發(fā)全流程的高智能、高安全與高可用?；谠撚柧毧蚣荛_展大模型多方協(xié)同隱私訓練得到的全局模型，能夠獲得接近集中訓練的模型的性能表現(xiàn)。本次試驗在大模型訓練領域?qū)崿F(xiàn)的重要突破主要體現(xiàn)在以下維度：

　　一是構(gòu)建多方管理控制、多機多卡訓練和一鍵啟動機制，實現(xiàn)多方參與下的高效協(xié)同訓練。多方管理控制負責協(xié)調(diào)多方之間的通信、存儲和任務管理；多機多卡訓練機制支持參與方內(nèi)部多機多卡訓練及靈活使用不同訓練資源；一鍵啟動機制通過配置文件統(tǒng)一啟動訓練，提升訓練的自動化水平。

　　二是構(gòu)建模型融合策略，實現(xiàn)全局模型的參數(shù)聚合，提升模型泛化能力。模型融合策略支持FedAvg、Fed-Prox、FedAdam、FedAdagrad等多種算法，可通過配置文件靈活選擇并調(diào)整融合策略及其參數(shù)。

　　三是構(gòu)建數(shù)據(jù)切分策略，實現(xiàn)訓練數(shù)據(jù)的靈活配置與高效利用。通過數(shù)據(jù)切分策略，方便調(diào)整每輪訓練的數(shù)據(jù)量，支持按固定大小、百分比、最大數(shù)據(jù)量、數(shù)據(jù)總量及可用顯存等多種方式進行切分，可通過配置文件便捷選擇并調(diào)整切分策略及其參數(shù)。

　　四是構(gòu)建數(shù)據(jù)保護機制，實現(xiàn)大模型多方訓練過程中的數(shù)據(jù)保護。通過引入差分隱私實現(xiàn)對訓練數(shù)據(jù)的隱私保護，支持多種隱私保護策略，包括服務器端裁剪與客戶端裁剪等，可通過配置文件靈活選擇差分隱私策略并調(diào)整參數(shù)配置。

　　未來，項目組將持續(xù)深化大模型多方協(xié)同隱私訓練的技術(shù)創(chuàng)新與場景應用落地，加快技術(shù)成果的生態(tài)共建。同時，聚焦金融、醫(yī)療、司法等重點行業(yè)需求，深化技術(shù)賦能與場景適配，為釋放數(shù)據(jù)要素潛能和加速人工智能產(chǎn)業(yè)升級提供堅實支撐。（翼研）

　　轉(zhuǎn)自：人民郵電報

　　【版權(quán)及免責聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關法律責任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀