文 | 中國(guó)兵器工業(yè)計(jì)算機(jī)應(yīng)用技術(shù)研究所 趙小川 樊迪

人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，正在對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)進(jìn)步等方面產(chǎn)生重大而深遠(yuǎn)的影響。在以人工智能推進(jìn)高質(zhì)量發(fā)展的進(jìn)程中，要吸取人類歷史上“先發(fā)展、后治理”的深刻教訓(xùn)，充分認(rèn)識(shí)和評(píng)估人工智能存在的風(fēng)險(xiǎn)，加強(qiáng)對(duì)人工智能的安全監(jiān)管，從而實(shí)現(xiàn)人工智能及其相關(guān)產(chǎn)業(yè)的高水平發(fā)展。習(xí)近平總書記高度重視統(tǒng)籌人工智能的發(fā)展和安全，圍繞二者的辯證統(tǒng)一關(guān)系、筑牢國(guó)家安全屏障等作出一系列重要指示，強(qiáng)調(diào)要加強(qiáng)對(duì)人工智能發(fā)展過(guò)程中潛在風(fēng)險(xiǎn)的研判和防范，維護(hù)人民利益和國(guó)家安全，確保人工智能安全、可靠、可控。

一、數(shù)據(jù)驅(qū)動(dòng)式人工智能的內(nèi)涵、特征及發(fā)展

人工智能的概念于1956年在美國(guó)達(dá)特茅斯會(huì)議上提出，目標(biāo)是讓計(jì)算機(jī)像人一樣思考與學(xué)習(xí)。從人工智能的主要驅(qū)動(dòng)機(jī)制來(lái)講，可以分為以下三類：第一類是經(jīng)驗(yàn)規(guī)則驅(qū)動(dòng)的人工智能，它模擬人類邏輯，用符號(hào)來(lái)表示知識(shí)和信息，并通過(guò)推理來(lái)處理信息，專家系統(tǒng)、知識(shí)圖譜、基于規(guī)則的推理系統(tǒng)均屬于經(jīng)驗(yàn)規(guī)則驅(qū)動(dòng)的人工智能；第二類是行為反饋驅(qū)動(dòng)的人工智能，其理論基礎(chǔ)是控制論和進(jìn)化論，通過(guò)外部刺激和反饋來(lái)實(shí)現(xiàn)智能行為，主要包括遺傳算法、蟻群算法、進(jìn)化算法等；第三類是數(shù)據(jù)驅(qū)動(dòng)式人工智能，是指利用大量數(shù)據(jù)來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型，使其能夠識(shí)別目標(biāo)、做出決策或預(yù)測(cè)趨勢(shì)，主要包括傳統(tǒng)機(jī)器學(xué)習(xí)中高度依賴數(shù)據(jù)訓(xùn)練的算法、深度學(xué)習(xí)、大語(yǔ)言模型、多模態(tài)大模型等，它是人工智能發(fā)展史上新的里程碑，在當(dāng)前的應(yīng)用最為廣泛。

數(shù)據(jù)驅(qū)動(dòng)式人工智能以大規(guī)模數(shù)據(jù)為核心驅(qū)動(dòng)力，是通過(guò)機(jī)器學(xué)習(xí)算法自動(dòng)從數(shù)據(jù)中提取模式、規(guī)律和知識(shí)，并基于這些學(xué)習(xí)成果進(jìn)行預(yù)測(cè)、分類、生成等智能任務(wù)的人工智能技術(shù)范式。數(shù)據(jù)驅(qū)動(dòng)式人工智能與前兩類人工智能的根本區(qū)別在于：經(jīng)驗(yàn)規(guī)則驅(qū)動(dòng)的人工智能依賴專家知識(shí)和手工構(gòu)建的規(guī)則庫(kù)；行為反饋驅(qū)動(dòng)的人工智能主要通過(guò)環(huán)境交互獲得反饋信號(hào)進(jìn)行優(yōu)化；而數(shù)據(jù)驅(qū)動(dòng)式人工智能則直接從大規(guī)模數(shù)據(jù)中學(xué)習(xí)，具有更強(qiáng)的泛化能力和適應(yīng)性，能夠處理更加復(fù)雜和多樣化的任務(wù)。

數(shù)據(jù)驅(qū)動(dòng)式人工智能的主要特征包括以下幾個(gè)方面：第一，它具有強(qiáng)大的數(shù)據(jù)處理能力，能夠處理和分析海量的數(shù)據(jù)，依賴于數(shù)據(jù)的數(shù)量和質(zhì)量來(lái)提升其分析、判斷、決策能力；第二，它能夠根據(jù)新數(shù)據(jù)不斷調(diào)整模型參數(shù)和優(yōu)化算法；第三，它能夠?qū)崟r(shí)或近實(shí)時(shí)地提供決策，為各種應(yīng)用場(chǎng)景提供快速響應(yīng)；第四，它高度依賴硬件平臺(tái)，對(duì)硬件平臺(tái)的架構(gòu)和算力要求較高。

數(shù)據(jù)驅(qū)動(dòng)式人工智能已廣泛應(yīng)用于圖像檢測(cè)、自動(dòng)駕駛、語(yǔ)言翻譯等領(lǐng)域。從OpenAI的GPT系列到Google的Gemini，從百度文心一言到近期備受關(guān)注的DeepSeek等大語(yǔ)言模型；部署在“蘿卜快跑”等無(wú)人駕駛車輛終端的深度神經(jīng)網(wǎng)絡(luò)小模型等都屬于數(shù)據(jù)驅(qū)動(dòng)式人工智能。當(dāng)前，它正在由“小模型+判別式”向“大模型+生成式”轉(zhuǎn)變，文本生成、程序編寫、語(yǔ)音生成、視頻生成、人機(jī)交互已成為數(shù)據(jù)驅(qū)動(dòng)式人工智能的應(yīng)用熱點(diǎn)。

數(shù)據(jù)驅(qū)動(dòng)式人工智能是一種先進(jìn)的技術(shù)，應(yīng)用前景廣闊，對(duì)社會(huì)的發(fā)展也會(huì)產(chǎn)生一定的影響。然而，技術(shù)的突飛猛進(jìn)也會(huì)伴隨著風(fēng)險(xiǎn)的陡然上升。著名物理學(xué)家霍金就曾表示，強(qiáng)大人工智能的崛起，對(duì)人類來(lái)說(shuō)，可能是最好的事情，也可能是最糟糕的事情。因此，我們?cè)趧?chuàng)新發(fā)展與廣泛應(yīng)用數(shù)據(jù)驅(qū)動(dòng)式人工智能之時(shí)，也應(yīng)加強(qiáng)安全性研判與前瞻性預(yù)防，最大限度地降低其所帶來(lái)的風(fēng)險(xiǎn)隱患。

二、數(shù)據(jù)驅(qū)動(dòng)式人工智能的安全風(fēng)險(xiǎn)分析

隨著人工智能大模型、生成式人工智能等技術(shù)在各領(lǐng)域廣泛應(yīng)用，數(shù)據(jù)偏見、隱私泄露等風(fēng)險(xiǎn)也隨之增加。2025年7月31日，國(guó)務(wù)院常務(wù)會(huì)議審議通過(guò)《關(guān)于深入實(shí)施“人工智能+”行動(dòng)的意見》，提出要提升安全能力水平，加快形成動(dòng)態(tài)敏捷、多元協(xié)同的人工智能治理格局。

（一）技術(shù)層面的風(fēng)險(xiǎn)

數(shù)據(jù)驅(qū)動(dòng)式人工智能在技術(shù)層面存在多種安全風(fēng)險(xiǎn)，主要包括訓(xùn)練數(shù)據(jù)投毒、提示注入攻擊、大模型幻覺、敏感信息泄露等，具體如下。

訓(xùn)練數(shù)據(jù)投毒主要是指在用于訓(xùn)練模型的數(shù)據(jù)中惡意加入錯(cuò)誤數(shù)據(jù)或篡改正確數(shù)據(jù)，影響模型的訓(xùn)練效果，生成有瑕疵的模型，從而使模型的準(zhǔn)確性大大降低。

提示注入攻擊是指攻擊者通過(guò)精心構(gòu)造的輸入（提示詞）來(lái)誘導(dǎo)大模型偏離預(yù)設(shè)行為，甚至繞過(guò)安全防護(hù)，已被開放式Web應(yīng)用程序安全項(xiàng)目（OWASP）列為2025年大語(yǔ)言模型應(yīng)用的頭號(hào)安全風(fēng)險(xiǎn)。

大模型幻覺是指大模型的生成結(jié)果中包含了無(wú)根據(jù)的或錯(cuò)誤的內(nèi)容，它不同于簡(jiǎn)單的知識(shí)性錯(cuò)誤，而是模型在編造與真實(shí)世界脫節(jié)的信息，具有隱蔽性強(qiáng)的特點(diǎn)。

敏感信息泄露主要由數(shù)據(jù)驅(qū)動(dòng)式人工智能的涌現(xiàn)性造成，這種涌現(xiàn)性意味著即使用于訓(xùn)練模型的數(shù)據(jù)本身并不包含敏感信息，但模型也可能通過(guò)自學(xué)能力展示出非敏感數(shù)據(jù)之間的聯(lián)系及規(guī)律等結(jié)論，而這些結(jié)論可能是敏感信息，輸出之后可能造成敏感信息泄露。

目前，數(shù)據(jù)驅(qū)動(dòng)式人工智能的核心架構(gòu)、調(diào)優(yōu)算法、訓(xùn)練框架等，大部分來(lái)自國(guó)外。主流大模型的核心架構(gòu)是美國(guó)谷歌公司設(shè)計(jì)的，調(diào)優(yōu)算法是美國(guó)的OpenAI公司提出的，訓(xùn)練框架是基于國(guó)外的開源框架，這些技術(shù)一旦被美國(guó)封控，對(duì)我國(guó)大模型的發(fā)展勢(shì)必會(huì)造成極其不利的影響。在自主可控方面，我國(guó)雖然取得了一些進(jìn)步，但其兼容性、工具鏈的完備性等方面與國(guó)際先進(jìn)水平還存在一定差距。

（二）應(yīng)用層面的風(fēng)險(xiǎn)

除上述技術(shù)層面的安全風(fēng)險(xiǎn)外，數(shù)據(jù)驅(qū)動(dòng)式人工智能在實(shí)際應(yīng)用過(guò)程中還面臨著一系列與社會(huì)生活深度融合所產(chǎn)生的風(fēng)險(xiǎn)。這些應(yīng)用層面的風(fēng)險(xiǎn)主要體現(xiàn)在對(duì)用戶行為、社會(huì)認(rèn)知和網(wǎng)絡(luò)安全等方面的負(fù)面影響。

一是過(guò)度的個(gè)性化推薦，易形成“信息繭房”。“信息繭房”產(chǎn)生的原因是智能推薦系統(tǒng)通?；谟脩舻臍v史行為和偏好來(lái)預(yù)測(cè)其未來(lái)的興趣點(diǎn)；用戶更傾向于點(diǎn)擊與自己興趣相符的內(nèi)容，這會(huì)導(dǎo)致智能推薦系統(tǒng)不斷強(qiáng)化這一偏好，從而形成一個(gè)反饋循環(huán)，使得用戶越來(lái)越難以接觸到不同的信息。人們陷入相對(duì)封閉的“信息繭房”困境而毫無(wú)覺察，導(dǎo)致對(duì)現(xiàn)實(shí)情況的誤解和誤判；長(zhǎng)此以往，會(huì)導(dǎo)致認(rèn)知扭曲。

二是“投喂式獲取”，影響探索、思考的能力。生成式大模型通過(guò)深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，可以快速理解人類語(yǔ)言并生成對(duì)應(yīng)的答案。一些使用者只需在生成式大模型對(duì)話框中輸入問(wèn)題便能獲取答案。這種“投喂式獲取”方式存在以下安全隱患：首先是主動(dòng)探索的興趣逐漸減弱，使用者可能會(huì)逐漸習(xí)慣于依賴模型來(lái)獲取答案，從而減少了自己查詢、探索和驗(yàn)證信息的耐心，逐漸失去探索問(wèn)題的好奇心和主動(dòng)性；其次是逐漸產(chǎn)生思維惰性，由于生成式大模型可以快速提供答案，使用者可能不再愿意投入時(shí)間和精力去深入理解、分析復(fù)雜的問(wèn)題。如果使用者，特別是青少年，總是依賴生成式大模型來(lái)提供解決方案，那么其創(chuàng)造性思維和解決問(wèn)題的能力就會(huì)受到抑制。

三是“以假亂真”，大模型會(huì)根據(jù)用戶的指令，生成虛擬的視頻、圖片和音頻。在低成本、規(guī)?；蓛?nèi)容的同時(shí)，也具備更強(qiáng)的輿論操控潛力，可精準(zhǔn)傳播特定信息，放大影響效應(yīng)。在社會(huì)熱點(diǎn)、災(zāi)情事故、偽科普等方面，已有多起利用人工智能生成技術(shù)制造和傳播虛假信息的案例。

四是“降低網(wǎng)絡(luò)犯罪門檻”。大模型可根據(jù)用戶要求自動(dòng)生成用于進(jìn)行網(wǎng)絡(luò)攻擊的程序代碼，給網(wǎng)絡(luò)安全帶來(lái)了極大的威脅。用戶僅需向大模型輸入簡(jiǎn)單的指令或需求，便可獲得釣魚軟件代碼、勒索程序代碼等，這極大地降低了網(wǎng)絡(luò)犯罪的難度。

三、進(jìn)一步加強(qiáng)風(fēng)險(xiǎn)防護(hù)的方法

針對(duì)上述各類安全風(fēng)險(xiǎn)，需要構(gòu)建多層次、全方位的防護(hù)體系。基于“預(yù)防為主、防治結(jié)合”的原則，從技術(shù)和應(yīng)用兩個(gè)維度制定相應(yīng)的風(fēng)險(xiǎn)防護(hù)策略。

（一）技術(shù)層面的風(fēng)險(xiǎn)防護(hù)

在數(shù)據(jù)安全問(wèn)題的風(fēng)險(xiǎn)防護(hù)方面，從技術(shù)角度來(lái)看，治理對(duì)策包括以下四點(diǎn)。一是加強(qiáng)甄別清洗效能，解決訓(xùn)練數(shù)據(jù)投毒問(wèn)題。在模型中添加一個(gè)自動(dòng)過(guò)濾預(yù)處理模塊，自動(dòng)剔除不合理數(shù)據(jù)；該模塊的功能與人腦對(duì)輸入的信息具有“去粗取精、去偽存真”的功能類似，從而快速提升輸入到模型訓(xùn)練中的數(shù)據(jù)質(zhì)量。二是加強(qiáng)對(duì)用戶輸入（提示詞）的過(guò)濾，檢測(cè)并攔截包含可疑關(guān)鍵詞或符號(hào)的輸入（提示詞）。三是采用檢索增強(qiáng)生成技術(shù)結(jié)合高質(zhì)量、經(jīng)過(guò)驗(yàn)證的外部知識(shí)庫(kù)來(lái)增強(qiáng)模型輸出的事實(shí)準(zhǔn)確性。四是加強(qiáng)對(duì)輸出信息的鑒別，解決敏感信息泄露問(wèn)題。在訓(xùn)練好的模型輸出端增加對(duì)輸出信息進(jìn)行鑒別的模塊，對(duì)模型輸出的疑似敏感信息進(jìn)行脫敏處理。

在自主可控問(wèn)題的風(fēng)險(xiǎn)防護(hù)方面，面向國(guó)家重大需求，針對(duì)數(shù)據(jù)驅(qū)動(dòng)式人工智能領(lǐng)域的“卡脖子”問(wèn)題，如高性能硬件平臺(tái)、模型算法架構(gòu)、軟件開發(fā)環(huán)境，開展企業(yè)、高校、科研院所聯(lián)合攻關(guān)、協(xié)同創(chuàng)新，以科技手段應(yīng)對(duì)風(fēng)險(xiǎn)挑戰(zhàn)；強(qiáng)化企業(yè)創(chuàng)新的主體地位，打造從底層技術(shù)、芯片到上層行業(yè)應(yīng)用的全鏈條產(chǎn)業(yè)生態(tài)體系；對(duì)未來(lái)發(fā)展方向提前布局，加大支持力度，實(shí)現(xiàn)由“國(guó)產(chǎn)化替代”向“國(guó)產(chǎn)化引領(lǐng)”的跨越式轉(zhuǎn)變。

（二）應(yīng)用層面的風(fēng)險(xiǎn)防護(hù)

在“信息繭房”問(wèn)題的風(fēng)險(xiǎn)防護(hù)方面，一是增加透明度，讓推薦系統(tǒng)注明為什么推薦某些內(nèi)容，提供更多的用戶控制選項(xiàng)，允許用戶調(diào)整系統(tǒng)的個(gè)性化推薦功能。二是鼓勵(lì)多樣性，在推薦算法中加入一定程度的隨機(jī)功能。三是提升關(guān)于“信息繭房”問(wèn)題的風(fēng)險(xiǎn)意識(shí)，制定相關(guān)政策和法規(guī)來(lái)減少其負(fù)面影響。

在“投喂式獲取”問(wèn)題的風(fēng)險(xiǎn)防護(hù)方面，一是通過(guò)科普宣傳及科學(xué)引導(dǎo)，使人們認(rèn)識(shí)到在使用生成式大模型帶來(lái)便捷性的同時(shí)，也存在一些局限性和負(fù)面影響。二是將生成式大模型作為輔助工具，而不是唯一的信息來(lái)源；主動(dòng)尋找多種資源來(lái)驗(yàn)證和擴(kuò)展知識(shí)。三是對(duì)接收到的生成式大模型提供的答案保持適度的懷疑態(tài)度，進(jìn)行批判性分析，而不是無(wú)條件接受；將生成式大模型的答案作為自己思考的補(bǔ)充材料，而不是替代品，立足自己的知識(shí)和經(jīng)驗(yàn)來(lái)進(jìn)行創(chuàng)新性思考。

在“以假亂真”“降低網(wǎng)絡(luò)犯罪門檻”問(wèn)題的風(fēng)險(xiǎn)防護(hù)方面，要加大智能系統(tǒng)生成內(nèi)容的合規(guī)性檢測(cè)力度。一是從政策、法規(guī)、道德、倫理等方面完善智能系統(tǒng)所生成內(nèi)容的合規(guī)性評(píng)判準(zhǔn)則，銜接《人工智能生成合成內(nèi)容標(biāo)識(shí)方法》《新一代人工智能倫理規(guī)范》等人工智能倫理規(guī)范的要求，將核心價(jià)值觀深度融入人工智能模型研發(fā)的全生命周期。二是組織高校、科研機(jī)構(gòu)針對(duì)“深度偽造”的檢測(cè)與防御、生成的惡意代碼的識(shí)別與攔截等關(guān)鍵技術(shù)進(jìn)行持續(xù)深入的科研攻關(guān)，綜合運(yùn)用多特征深度分析、多模態(tài)信息交叉驗(yàn)證等方法，快速、準(zhǔn)確地尋找偽造、篡改痕跡，并不斷進(jìn)行技術(shù)的升級(jí)迭代。三是完善視頻、音頻創(chuàng)建標(biāo)識(shí)制度，對(duì)“深度偽造”的視頻、音頻進(jìn)行標(biāo)識(shí)，避免引起公眾混淆或誤認(rèn)。

當(dāng)前，世界各國(guó)及地區(qū)普遍重視人工智能安全的相關(guān)立法工作。2019年，加拿大頒布了《自動(dòng)化決策指令》；2020年，新西蘭制定了《算法憲章》；2022年，美國(guó)發(fā)布了《人工智能權(quán)利法案藍(lán)圖》；2024年，歐洲議會(huì)通過(guò)了歐盟《人工智能法案》；2022年至2023年，我國(guó)先后發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等。然而，隨著數(shù)據(jù)驅(qū)動(dòng)式人工智能的快速發(fā)展，應(yīng)用領(lǐng)域的不斷拓展，使用人群數(shù)量的不斷增加，新的風(fēng)險(xiǎn)隱患也會(huì)不斷出現(xiàn)，需要進(jìn)一步完善相關(guān)法律法規(guī)。一是對(duì)新型隱私數(shù)據(jù)的保護(hù)。目前，人們的生活習(xí)慣、生理特征、社交行為、交通軌跡等也已成為訓(xùn)練數(shù)據(jù)，供大模型進(jìn)行學(xué)習(xí)、優(yōu)化，需要完善此類新型數(shù)據(jù)保護(hù)和隱私侵犯問(wèn)題的法律監(jiān)管制度。二是面向交叉領(lǐng)域的安全性法律法規(guī)。由于數(shù)據(jù)驅(qū)動(dòng)式人工智能在應(yīng)用的時(shí)候并不是孤立的，需要在不同的領(lǐng)域與不同的平臺(tái)進(jìn)行深度融合。這種融合會(huì)產(chǎn)生新的安全問(wèn)題，所以需要加快面向交叉領(lǐng)域的安全相關(guān)法律法規(guī)的確立。

四、結(jié) 語(yǔ)

當(dāng)前，新一輪科技革命和產(chǎn)業(yè)變革迅猛發(fā)展，人工智能等新技術(shù)方興未艾，大幅提升了人類認(rèn)識(shí)世界和改造世界的能力，同時(shí)也帶來(lái)一系列難以預(yù)知的風(fēng)險(xiǎn)挑戰(zhàn)。

數(shù)據(jù)驅(qū)動(dòng)式人工智能作為新質(zhì)生產(chǎn)力的重要推動(dòng)力量，正在蓬勃發(fā)展。其獨(dú)特的數(shù)據(jù)依賴性、學(xué)習(xí)適應(yīng)性和生成創(chuàng)造性，既為經(jīng)濟(jì)社會(huì)發(fā)展注入強(qiáng)勁動(dòng)能，也衍生出一系列技術(shù)、應(yīng)用層面的風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)具有隱蔽性強(qiáng)、傳播速度快、影響范圍廣的特點(diǎn)，對(duì)傳統(tǒng)的安全治理模式提出了新的考驗(yàn)。面向未來(lái)，我們要秉承“邊預(yù)防、邊發(fā)展、邊治理”的理念應(yīng)對(duì)風(fēng)險(xiǎn)挑戰(zhàn)。在技術(shù)維度，要突破核心算法、框架平臺(tái)等關(guān)鍵環(huán)節(jié)的“卡脖子”問(wèn)題；在應(yīng)用維度，要強(qiáng)化全生命周期風(fēng)險(xiǎn)管控，對(duì)潛在的風(fēng)險(xiǎn)進(jìn)行前瞻性預(yù)判，對(duì)暴露出的問(wèn)題進(jìn)行有效整治；在治理維度，要加快完善相關(guān)法律法規(guī)，形成政府監(jiān)管、行業(yè)自律、社會(huì)監(jiān)督的協(xié)同治理格局。唯有堅(jiān)持發(fā)展與安全并重，創(chuàng)新與規(guī)范同行，才能確保數(shù)據(jù)驅(qū)動(dòng)式人工智能在推動(dòng)高質(zhì)量發(fā)展的進(jìn)程中行穩(wěn)致遠(yuǎn)。

（本文刊登于《中國(guó)信息安全》雜志2025年第9期）