大模型頻遭攻擊，安全治理迫在眉睫

　　一張朋友圈普普通通的照片，經(jīng)人工智能大模型處理后，個人身份、人際關(guān)系等敏感信息就可能被泄露——近日，大模型“讀心術(shù)”登上熱搜，再次引發(fā)有關(guān)網(wǎng)絡(luò)安全的討論。大模型正面臨著被詐騙分子利用的風(fēng)險，其安全漏洞令人心驚。

　　“‘讀心術(shù)’只是初級階段，竊密者借助攻擊工具監(jiān)測大模型回復(fù)時長的細(xì)微差異，就能猜到用戶私密指令。”一位網(wǎng)絡(luò)安全工程師告訴科技日報記者，利用孿生語言預(yù)測器，竊密者短時間內(nèi)就可以“刺探”其他人與大模型的“私人聊天”。

　　該安全工程師解釋說，大模型推理時為了節(jié)約算力，對于相似訴求往往會“合并同類項”，根據(jù)指令返回的時間差，就能計算出關(guān)鍵字節(jié)，并對其進行拼接，從而找到答案。這一原理和“十八猜”游戲相似，但大模型設(shè)計的短板和孿生語言預(yù)測器的效率讓竊密更容易。

　　事實上，孿生語言預(yù)測器只是大模型在網(wǎng)絡(luò)攻防領(lǐng)域遭受的新攻擊類型之一。從“提示詞植入”到“惡意代碼接管”再到“篡改基礎(chǔ)數(shù)據(jù)”，針對大模型、智能體的新攻擊、新武器、新策略從未停止。

　　10月28日，第十四屆全國人民代表大會常務(wù)委員會第十八次會議表決通過關(guān)于修改網(wǎng)絡(luò)安全法的決定。此次修改，特別將“完善人工智能倫理規(guī)范，加強風(fēng)險監(jiān)測評估和安全監(jiān)管，促進人工智能應(yīng)用和健康發(fā)展”寫入網(wǎng)絡(luò)安全法。

　　人工智能大模型在金融、醫(yī)療、政務(wù)等諸多關(guān)鍵領(lǐng)域深度滲透，大模型的安全性已經(jīng)超出了網(wǎng)絡(luò)安全范疇。采訪中，多位專家向記者表示，當(dāng)務(wù)之急是構(gòu)筑大模型安全屏障，通過技術(shù)創(chuàng)新、安全防控、行業(yè)共治等掌控方向，主導(dǎo)棋局。

　　從“污染”數(shù)據(jù)下手，攻擊方式花樣百出

　　在解答一道數(shù)學(xué)題的最后一步時，大模型寫道：“20+7+8+5+9=50”。這道心算也能秒出答案的簡單加法超級“智能”的生成式大模型卻做錯了？

　　“我們能夠讓大模型始終輸出‘1+1=3’的結(jié)果?！笔畎踩榛鹋_實驗室負(fù)責(zé)人何鵬程告訴記者，針對一個已經(jīng)成熟的模型，如果通過幾千個賬號給它輸出數(shù)百萬次相同的錯誤答案，后面再有人提問就會得到錯誤結(jié)果。

　　通過數(shù)據(jù)“投毒”，將錯誤的信息強行植入大模型，會輸出混淆視聽的內(nèi)容。有安全團隊的實驗表明，僅需250份惡意文檔，就能在130億參數(shù)模型中植入可隨時引爆的“投毒攻擊”。

　　“如果給大模型設(shè)置外太空的故事場景，你甚至可以獲得某一危險行為的指導(dǎo)?！焙矽i程說，在攻防演練中，其團隊通過一些簡單的方式就能讓大模型發(fā)布危險言論。

　　竊密是操控大模型的“后手”。“美國人工智能公司安思睿的生成式大模型就在‘合規(guī)’操作的情況下發(fā)生過泄密?！本G盟科技通用解決方案銷售部總監(jiān)司志凡說，用戶聊天記錄、文檔等保密數(shù)據(jù)往往儲存在有“安?！贝胧┑拇a解釋器沙盒中，但由于攻擊者使用了“間接提示注入”技術(shù)，這些被保護的數(shù)據(jù)竟然堂而皇之地從“大門”——官方應(yīng)用程序編程接口，直接上傳到攻擊者的賬戶中。

　　“大模型一旦被提示詞等技術(shù)‘策反’，就會成為竊取數(shù)據(jù)的‘幫兇’?！彼局痉哺嬖V記者，由于數(shù)據(jù)通過合法通道傳輸，這種竊取行為異常隱蔽，很難察覺。

　　更為嚴(yán)峻的是，隨著攻擊技術(shù)迭代升級，竊密只是開端，未知攻擊還將持續(xù)增加。

　　“現(xiàn)在大模型訓(xùn)練門檻不斷降低，攻擊者頻繁發(fā)送大量查詢，根據(jù)模型的輸出就可以訓(xùn)練出一個功能近似的‘山寨’模型?！崩顺痹粕綎|云御公司總經(jīng)理李聰說，這些“照貓畫虎”的模型學(xué)到了什么，會對正版模型產(chǎn)生哪些威脅，現(xiàn)在還不得而知。

　　此外，智能體間的“信任背叛”也是一種新興威脅。“惡意智能體可以利用相互間通信協(xié)議的信任機制，在已建立的對話中漸進式地注入隱蔽指令，控制受害者智能體、竊取敏感信息或執(zhí)行未授權(quán)操作，如擅自購買股票?！彼局痉脖硎?，這些交互對用戶完全不可見，防御和檢測難度極大。

　　在采訪中，多位專家不約而同強調(diào)大模型底層開源的威脅。“一旦開源底層有了漏洞，所有在此基礎(chǔ)上開發(fā)的行業(yè)專業(yè)模型，就會攜帶這個‘bug’?！笔畎踩?wù)產(chǎn)品線總經(jīng)理郝龍表示，如果底層漏洞被黑客利用，就不僅是一次網(wǎng)絡(luò)安全事件，而是跨行業(yè)安全問題。

　　“底層開源在促進技術(shù)進步的同時，也引入了新的攻擊面?！崩盥斦f，此前已發(fā)現(xiàn)的開源漏洞包括Ollama（一種開源跨平臺大模型工具）等開源工具的安全隱患，可導(dǎo)致任何未授權(quán)用戶具備模型和數(shù)據(jù)“管理員”權(quán)限，這相當(dāng)于對入侵者“大開城門”，毫不設(shè)防。

　　去年底，360數(shù)字安全集團發(fā)布的《大模型安全漏洞報告》顯示，近40個大模型存在相關(guān)安全漏洞，影響多個知名模型服務(wù)框架以及多款開源產(chǎn)品。

　　用AI對抗AI，設(shè)置陷阱主動防御

　　“國家支持創(chuàng)新網(wǎng)絡(luò)安全管理方式，運用人工智能等新技術(shù)，提升網(wǎng)絡(luò)安全保護水平?！毙滦薷牡木W(wǎng)絡(luò)安全法提出，應(yīng)對新出現(xiàn)的安全漏洞和危機，要創(chuàng)新手段。

　　網(wǎng)絡(luò)安全領(lǐng)域的科技創(chuàng)新從未停滯。在國家部委的支持下，盛邦安全開展了網(wǎng)絡(luò)空間測繪與反測繪相關(guān)的AI技術(shù)研究。郝龍解釋說：“網(wǎng)絡(luò)空間測繪如果被攻擊方利用，會繪制出不利于我們的‘網(wǎng)絡(luò)空間地圖’，而基于反測繪的AI引擎則可以阻斷攻擊方的探測和擾亂關(guān)聯(lián)分析?！碑?dāng)前，該研究相關(guān)成果已應(yīng)用在金融業(yè)，顯著減少了關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)接收到的佯攻、探測等威脅的攻擊次數(shù)，提升了安全防護效率。

　　在AI技術(shù)的加持下，網(wǎng)絡(luò)誘捕情報、預(yù)測攻擊的技術(shù)能力也大幅提升。

　　“在攻擊造成損毀前，提前預(yù)測發(fā)現(xiàn)攻擊，在技術(shù)層面是可行的?！睆V州大學(xué)副校長、粵港澳大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室專家委員會專家田志宏表示，國際權(quán)威咨詢機構(gòu)Gartner在相關(guān)報告中也提到前置安全，這一安防思路已成為未來的發(fā)展趨勢。

　　在大模型神經(jīng)元里設(shè)置誘捕的訪問點，即“蜜點”，捕獲攻擊前的“踩點”等行為，進而防范真正的攻擊，是前置安全的應(yīng)用之一。田志宏解釋：“‘蜜點’本來不是神經(jīng)網(wǎng)絡(luò)正常節(jié)點，一旦它被訪問了，就意味著大模型可能面臨風(fēng)險?！?/p>

　　“AI還可以讓‘蜜點’變得更加真實。比如誘捕郵箱里如果只有一兩封郵件，會被攻擊者識破。”何鵬程說，大模型能短時間內(nèi)“克隆”出業(yè)務(wù)郵箱，布防疑陣實現(xiàn)誘捕。

　　AI被業(yè)界視為彌補工業(yè)大模型網(wǎng)絡(luò)安全能力不足的關(guān)鍵。“網(wǎng)絡(luò)安全智能體，可以將復(fù)雜的安全工作集納起來，像一支專業(yè)團隊一樣協(xié)同工作?！本G盟科技伏影實驗室主任研究員吳鐵軍說，“順應(yīng)新形勢，網(wǎng)絡(luò)安全工程師需要擅用AI技術(shù)。比如，我們在‘風(fēng)云衛(wèi)’平臺內(nèi)置了20多個安全領(lǐng)域的AI智能體，即便非專業(yè)技術(shù)人員也能靈活組合，定制化地處理復(fù)雜安全任務(wù)。”

　　為了應(yīng)對大模型數(shù)量陡增的趨勢，浪潮云也開始探索以“工廠化”的方式，整合大模型訓(xùn)練、部署、推理、運營等階段的安全能力。例如，加入對抗訓(xùn)練，建立符合安全要求的大模型“生產(chǎn)流水線”。李聰說，以AI防護AI，有望更全面地抵御新型攻擊手段，進行全方位的檢測與防護。

　　田志宏認(rèn)為，讓攻擊者感受威脅才能“敲山震虎”?！耙恢币詠?，攻擊者沒有成本，就像壞人在黑暗里扔石頭，砸著了就賺了，砸不著就繼續(xù)扔?！彼f，主動防御要讓攻擊者有成本、被暴露，甚至損耗攻擊者的基礎(chǔ)設(shè)施。

　　讓AI學(xué)會“反詐”，需多方協(xié)同共治

　　“即便是當(dāng)前433個已經(jīng)備案的大模型中，仍有不少模型存在不受控的漏洞?！焙慢堈f，至于僅在單位內(nèi)部使用的大模型，其安全防護能力更加堪憂。

　　“企業(yè)對安全的關(guān)注總是落后于對業(yè)務(wù)的要求?！闭劶霸?，郝龍說，一方面應(yīng)用者對安全忽視懈怠，另一方面攻擊者被利益驅(qū)動實施攻擊。

　　此前曾曝出某國一能源企業(yè)曾因客服機器人回復(fù)頻繁提問，泄露了其勘探的油田分布情況及開采進度等信息。不僅如此，繞過大語言模型的安全策略，欺騙大模型還可以輸出不當(dāng)言論和作品。

　　利益驅(qū)動無疑會加速攻擊者的步伐，留給應(yīng)用者構(gòu)筑統(tǒng)一防線的時間并不多。

　　11月1日實施的國家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 生成式人工智能服務(wù)安全基本要求》明確生成式人工智能服務(wù)安全要求。例如，要求服務(wù)提供者采取有效措施提高訓(xùn)練數(shù)據(jù)質(zhì)量，增強數(shù)據(jù)的真實性、準(zhǔn)確性、客觀性、多樣性，并指導(dǎo)服務(wù)提供者做好數(shù)據(jù)處理、數(shù)據(jù)標(biāo)注等方面的安全管理工作。

　　“這一標(biāo)準(zhǔn)為統(tǒng)一防線的形成構(gòu)筑了關(guān)鍵‘基石’。但它并非強制標(biāo)準(zhǔn)，沒有懲罰條款?！焙慢堈f，要執(zhí)行大模型基礎(chǔ)設(shè)施的強制性“等級保護制度”，還有很長的路要走。

　　明年1月1日起，新修改的網(wǎng)絡(luò)安全法將實施，法律中新增相關(guān)條款被業(yè)內(nèi)視為對人工智能實施強制性安全防護的“前奏”。

　　“上位法的修改，將為后續(xù)細(xì)分領(lǐng)域的法律提供依據(jù)。”郝龍認(rèn)為，人工智能安全技術(shù)的細(xì)化、評估要點的落實仍亟待完善。例如，當(dāng)某個大模型采集數(shù)據(jù)時，如果數(shù)據(jù)抽樣安全評估發(fā)現(xiàn)其中不良違法信息比例超過5%，就不允許開展后續(xù)的訓(xùn)練?！爸贫ú⒙涞剡@樣的規(guī)則，離不開各部門和整個行業(yè)協(xié)同推進?！?/p>

　　賽迪研究院日前發(fā)布的《端側(cè)大模型安全風(fēng)險與治理研究》認(rèn)為，無論是個人居家助理還是工業(yè)互聯(lián)網(wǎng)中的大模型，均存在數(shù)據(jù)、模型、算法三個層面的安全風(fēng)險，數(shù)據(jù)泄露、模型竊取、算法對抗攻擊等都對大模型安全構(gòu)成嚴(yán)重威脅，尤其應(yīng)關(guān)注自動駕駛、醫(yī)療診斷、工業(yè)質(zhì)檢等高風(fēng)險領(lǐng)域。

　　吳鐵軍建議，對于可能影響個人權(quán)益、社會公共利益的重大算法應(yīng)用，要建立備案和審查制度，行業(yè)協(xié)會、學(xué)術(shù)機構(gòu)等專業(yè)力量也應(yīng)參與到算法倫理的研究和治理中，形成多方協(xié)同的治理格局。

　　郝龍表示，“模型在裸奔，安全后面追”的格局應(yīng)該有所轉(zhuǎn)變。第三方安全認(rèn)證與評估體系是大模型安全治理的“校準(zhǔn)器”和“試金石”。它通過對硬件、軟件、數(shù)據(jù)、算法和隱私的全面“體檢”，并借助權(quán)威的認(rèn)證標(biāo)識將安全性能透明化，是確保國家標(biāo)準(zhǔn)在實踐中“不變形、不走樣”的關(guān)鍵保障。

　　“隨著網(wǎng)絡(luò)安全法實施，大模型將逐步在創(chuàng)新與安全間找到平衡。”郝龍說，“既要鼓勵在金融、醫(yī)療、政務(wù)等領(lǐng)域的深度應(yīng)用，釋放技術(shù)價值，又避免其淪為風(fēng)險‘放大器’。AI大模型的進階勢不可擋，而安全治理是它行穩(wěn)致遠(yuǎn)的‘壓艙石’?！保ㄓ浾?張佳星）

　　轉(zhuǎn)自：科技日報

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀