如今，人工智能技術(shù)的迅猛發(fā)展給各個(gè)領(lǐng)域都帶來(lái)了前所未有的變革和進(jìn)步。其中當(dāng)屬2023年上半年的“頂流選手”——生成式AI和ChatGPT了。

ChatGPT的火爆出圈，讓人們看到了AI驚艷表現(xiàn)的光彩一面，但同時(shí)黑暗的一面也正在暗自發(fā)力，野蠻生長(zhǎng)。

AI技術(shù)不僅可用于維護(hù)網(wǎng)絡(luò)安全，還可能為有心之人用以AI網(wǎng)絡(luò)攻擊。AI網(wǎng)絡(luò)攻擊引發(fā)了人們對(duì)隱私、安全和倫理問(wèn)題的日益關(guān)注。AI攻擊不僅僅是黑客利用AI技術(shù)進(jìn)行犯罪活動(dòng)，還包括其他潛在的威脅，如誤導(dǎo)性信息、社會(huì)工程等。

(資料圖片)

下面我們來(lái)盤(pán)點(diǎn)一下，目前最火熱的十大AI新型網(wǎng)絡(luò)攻擊方式。

AI投毒攻擊

在加速傳統(tǒng)數(shù)據(jù)安全問(wèn)題的同時(shí)，人工智能大規(guī)模的運(yùn)用使得過(guò)度采集數(shù)據(jù)安全問(wèn)題進(jìn)一步加劇，甚至產(chǎn)生“數(shù)據(jù)投毒”等新型數(shù)據(jù)安全問(wèn)題。

一般來(lái)說(shuō)，AI投毒指的是攻擊者通過(guò)在訓(xùn)練數(shù)據(jù)中加入精心構(gòu)造的異常數(shù)據(jù)，破壞原有的訓(xùn)練數(shù)據(jù)概率分布，導(dǎo)致模型在某些條件下產(chǎn)生分類(lèi)或聚類(lèi)錯(cuò)誤，以破壞其訓(xùn)練數(shù)據(jù)集和準(zhǔn)確性。

其中，最常見(jiàn)的投毒形式是后門(mén)投毒，即使極少一部分訓(xùn)練數(shù)據(jù)受到影響。在很長(zhǎng)時(shí)間里，AI模型仍然可以繼續(xù)給出高度準(zhǔn)確的結(jié)果，直到它在接觸特定的觸發(fā)器時(shí)被“激活”而功能失靈。

適應(yīng)場(chǎng)景

由于數(shù)據(jù)投毒攻擊需要攻擊者接觸訓(xùn)練數(shù)據(jù)，通常針對(duì)在線學(xué)習(xí)場(chǎng)景或者需要定期重新訓(xùn)練進(jìn)行模型更新的系統(tǒng)，這類(lèi)攻擊比較有效，典型場(chǎng)景如推薦系統(tǒng)、自適應(yīng)生物識(shí)別系統(tǒng)、垃圾郵件檢測(cè)系統(tǒng)等數(shù)據(jù)投毒攻擊流程可以分為三個(gè)階段：

1690873921_64c8b0410b757e9741fcc.png!small

1.根據(jù)被攻擊模型的輸出特征，選擇替代的訓(xùn)練集，訓(xùn)練在同樣的輸入下，具有相同輸出的模型。例如對(duì)貓狗類(lèi)別的分類(lèi)。

2.初始化惡意樣本集(無(wú)論來(lái)源)，使用梯度更新(根據(jù)需要構(gòu)建損失函數(shù)，例如梯度上升策略)惡意樣本，直至達(dá)到理想效果。

3.將惡意樣本集投入被攻擊模型的訓(xùn)練集

“AI模型投毒”會(huì)嚴(yán)重威脅到AI應(yīng)用的完整性和安全性。因此，大型語(yǔ)言模型（LLM）需要接受風(fēng)險(xiǎn)和安全研究人員的嚴(yán)格審查，以探索反饋循環(huán)和AI偏見(jiàn)等問(wèn)題如何使AI輸出不可靠。

AI生成惡意軟件

在網(wǎng)絡(luò)安全領(lǐng)域，威脅行為者手中的人工智能的潛在威脅不斷敲響警鐘。特別是如今利用AI工具創(chuàng)建惡意軟件已經(jīng)成為現(xiàn)實(shí)。

研究人員發(fā)現(xiàn)，利用生成式AI可以幫助黑客制作惡意軟件，并快速發(fā)現(xiàn)目標(biāo)系統(tǒng)中的漏洞，從而加速和擴(kuò)大攻擊規(guī)模，甚至比他們使用其他自動(dòng)化技術(shù)所做的還要多。

這也是SANS列舉的“2023年最危險(xiǎn)的5大網(wǎng)絡(luò)攻擊”中的另一大威脅。在RSAC 2023大會(huì)上，SANS漏洞研究人員Steven Sims展示了即使是非專(zhuān)業(yè)性的犯罪分子也開(kāi)始嘗試?yán)肅hatGPT生成勒索軟件代碼，并已經(jīng)在特定代碼段中發(fā)現(xiàn)了由ChatGPT自動(dòng)生成的零日漏洞。

AI數(shù)據(jù)隱私攻擊

在AI應(yīng)用中，數(shù)據(jù)隱私和信息安全是首要關(guān)注的問(wèn)題之一。隨著大規(guī)模數(shù)據(jù)的收集和存儲(chǔ)，個(gè)人信息的泄露和黑客攻擊的風(fēng)險(xiǎn)也日益增加。數(shù)據(jù)偏見(jiàn)和算法不公平性可能導(dǎo)致不公正的決策和影響，因此AI算法中的偏見(jiàn)和歧視問(wèn)題引發(fā)了廣泛關(guān)注。

同時(shí)，社交工程和欺詐行為也成為AI應(yīng)用中的挑戰(zhàn)，虛假信息和網(wǎng)絡(luò)欺詐的增加對(duì)社會(huì)產(chǎn)生了負(fù)面影響。

如果AI模型沒(méi)有建立足夠的隱私措施，攻擊者就有可能破壞用于訓(xùn)練這些模型數(shù)據(jù)的機(jī)密性。那么對(duì)于個(gè)人來(lái)說(shuō)，了解企業(yè)如何使用人工智能及其對(duì)數(shù)據(jù)的影響將變得非常重要。同時(shí)，攻擊者可能還會(huì)試圖使用惡意軟件竊取包含信用卡號(hào)碼或社會(huì)安全號(hào)碼等個(gè)人信息的敏感數(shù)據(jù)集。隱私風(fēng)險(xiǎn)可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。

武器化模型

武器化模型指的是將人工智能模型或機(jī)器學(xué)習(xí)模型應(yīng)用于惡意目的或攻擊性行為的過(guò)程。通常情況下，這種行為是非法且具有破壞性的，旨在侵犯隱私、破壞系統(tǒng)、欺騙用戶或其他惡意活動(dòng)。

武器化模型可以被用于各種攻擊場(chǎng)景，如網(wǎng)絡(luò)攻擊、隱私侵犯、社交工程等。

在釣魚(yú)攻擊中，可使用自然語(yǔ)言處理模型生成欺騙性的電子郵件或社交媒體消息，以誘騙用戶提供個(gè)人信息或執(zhí)行惡意操作。

在使用機(jī)器學(xué)習(xí)模型欺詐對(duì)抗其他系統(tǒng)的檢測(cè)機(jī)制，例如在金融交易中規(guī)避反欺詐系統(tǒng)。以及在使用機(jī)器學(xué)習(xí)模型對(duì)惡意軟件進(jìn)行分類(lèi)和識(shí)別，以侵入系統(tǒng)、竊取信息或造成損害。

此外，此種方式還多用于自動(dòng)化網(wǎng)絡(luò)攻擊，比如使用機(jī)器學(xué)習(xí)和自適應(yīng)算法自動(dòng)查找和利用系統(tǒng)或應(yīng)用程序的漏洞來(lái)進(jìn)行攻擊，如自動(dòng)化漏洞掃描和利用。

武器化模型還常用于假新聞和虛假信息傳播，通過(guò)利用自然語(yǔ)言處理模型生成虛假的新聞文章、社交媒體帖子或評(píng)論，以操縱輿論或引發(fā)混亂。

武器化模型的存在引發(fā)了對(duì)人工智能和機(jī)器學(xué)習(xí)技術(shù)合理使用的關(guān)注。為了應(yīng)對(duì)這種威脅，研究人員和業(yè)界應(yīng)從加強(qiáng)安全性分析、加強(qiáng)監(jiān)管控制和提高用戶意識(shí)等方面入手，以降低武器化模型的風(fēng)險(xiǎn)和濫用。

海綿攻擊

2023年RSAC會(huì)議有一個(gè)專(zhuān)家小組討論了CISO將在未來(lái)幾年面對(duì)的即將到來(lái)的AI風(fēng)險(xiǎn)和彈性問(wèn)題。討論最引人矚目的一個(gè)話題是一種新興攻擊——海綿攻擊。

在海綿攻擊中，攻擊者通過(guò)針對(duì)海綿結(jié)構(gòu)的弱點(diǎn)來(lái)破壞其安全性。攻擊的目標(biāo)是從給定的輸入中生成具有特定性質(zhì)的輸出。攻擊者通過(guò)選擇恰當(dāng)?shù)妮斎霐?shù)據(jù)和進(jìn)行特定的修改來(lái)實(shí)現(xiàn)這一目標(biāo)，以及通過(guò)觀察輸出數(shù)據(jù)的反饋信息來(lái)指導(dǎo)修改進(jìn)程。

在這種攻擊類(lèi)型中，對(duì)手可通過(guò)特制輸入來(lái)消耗模型的硬件資源，從而對(duì)AI模型進(jìn)行拒絕服務(wù)攻擊。

CalypsoAI的首席執(zhí)行官Neil Serebryany稱(chēng)，該攻擊試圖讓神經(jīng)網(wǎng)絡(luò)使用更多的計(jì)算，以達(dá)到可能超過(guò)系統(tǒng)可用計(jì)算資源的程度，并導(dǎo)致系統(tǒng)崩潰。

AI大模型竊取攻擊

AI大模型竊取攻擊是一種針對(duì)人工智能領(lǐng)域的安全威脅，攻擊者試圖通過(guò)獲取訓(xùn)練好的大型AI模型的權(quán)重和參數(shù)來(lái)獲取模型的知識(shí)和能力，而不必從頭開(kāi)始訓(xùn)練自己的模型。

這種攻擊主要基于兩種主要方式進(jìn)行：

模型抽取攻擊：攻擊者可以通過(guò)訪問(wèn)目標(biāo)模型的接口或者黑盒攻擊的方式，將一些輸入數(shù)據(jù)提供給模型，并收集模型的輸出結(jié)果。通過(guò)收集大量的輸入-輸出對(duì)，可以逐漸恢復(fù)出模型的結(jié)構(gòu)、權(quán)重和參數(shù)信息，最終獲得與原模型相似的模型。模型復(fù)制攻擊：攻擊者可以獲取到目標(biāo)模型的訓(xùn)練數(shù)據(jù)集或者中間結(jié)果，然后使用這些數(shù)據(jù)重新訓(xùn)練一個(gè)與原模型相似的模型。這種攻擊方式通常需要大量的計(jì)算資源和時(shí)間，但可以在一定程度上復(fù)制出原有模型的功能和性能。

攻擊者從AI技術(shù)的應(yīng)用部署中竊取的不僅僅是數(shù)據(jù)，還可以通過(guò)各種類(lèi)型的攻擊手段破解AI模型的運(yùn)行原理。AI大模型竊取攻擊可以讓攻擊者獲得模型的知識(shí)和能力，包括模型所學(xué)習(xí)到的數(shù)據(jù)特征和模式。這可能造成原模型的商業(yè)機(jī)密的泄露，也可能導(dǎo)致在競(jìng)爭(zhēng)中失去技術(shù)優(yōu)勢(shì)。

此外，如果攻擊者能夠獲取到一個(gè)公司或組織的核心AI模型，他們可以利用此模型在競(jìng)爭(zhēng)市場(chǎng)中獲得不公平的優(yōu)勢(shì)，或者濫用模型造成惡意行為從而導(dǎo)致該組織競(jìng)爭(zhēng)優(yōu)勢(shì)被削弱。

為了防止AI大模型竊取攻擊，開(kāi)發(fā)人員和研究人員可以采取一些安全措施，包括但不限于加密訓(xùn)練數(shù)據(jù)和模型權(quán)重、限制訪問(wèn)模型接口、使用模型水印技術(shù)等。此外，研究者還在探索更為安全的AI模型設(shè)計(jì)和訓(xùn)練方法，以降低模型竊取的風(fēng)險(xiǎn)。

AI技術(shù)的研究與創(chuàng)新需要高度的團(tuán)隊(duì)協(xié)作和迭代開(kāi)發(fā)，因此會(huì)涉及大量的共享，包括數(shù)據(jù)共享和模型共享，這可能會(huì)給AI供應(yīng)鏈帶來(lái)重大風(fēng)險(xiǎn)。研究人員最新發(fā)現(xiàn)了一種AI攻擊的新模式，攻擊者首先劫持了公共代碼庫(kù)上的合法AI模型，再將惡意代碼嵌入到這些預(yù)訓(xùn)練的AI模型中，對(duì)其進(jìn)行惡意制作，一旦用戶重新加載了這些被修改的AI模型，攻擊者就可以實(shí)施勒索攻擊等非法活動(dòng)。

提示注入攻擊：

提示注入（Prompt injection，Pi）攻擊是AIGC大語(yǔ)言模型引發(fā)內(nèi)容安全、數(shù)據(jù)安全及其他風(fēng)險(xiǎn)的重要誘因之一。

提示注入是一種新型漏洞，它會(huì)影響某些AI/ML模型。本質(zhì)上是通過(guò)訓(xùn)練聽(tīng)從人類(lèi)指令的機(jī)器學(xué)習(xí)模型，來(lái)遵循惡意用戶提供的指令，從而突破模型本身實(shí)施的內(nèi)容生產(chǎn)規(guī)則限制，也就是劫持模型輸出的過(guò)程。

當(dāng)開(kāi)發(fā)人員將ChatGPT和其他大型語(yǔ)言模型（LLM）整合到他們的應(yīng)用程序中時(shí)，這些惡意的提示就會(huì)被AI模型處理，并觸發(fā)一些不安全的行為動(dòng)作，比如向網(wǎng)站發(fā)布欺詐內(nèi)容，或者制作可能包含非法的或煽動(dòng)性信息的電子郵件。

逃逸攻擊

逃逸攻擊（Evasion attack）是目前最典型的對(duì)抗性AI攻擊之一。攻擊者試圖從受限的環(huán)境中逃離，獲得更高的權(quán)限或更廣泛的訪問(wèn)權(quán)限，從而獲取敏感信息或執(zhí)行未經(jīng)授權(quán)的操作。

攻擊者為實(shí)施逃逸攻擊而特意構(gòu)造的樣本通常被稱(chēng)為“對(duì)抗樣本。只要一個(gè)AI模型在判別機(jī)制方面存在不足，攻擊者就有可能構(gòu)造對(duì)抗樣本用以欺騙AI模型。

研究者一直試圖在計(jì)算機(jī)上模仿人類(lèi)視覺(jué)功能，但由于人類(lèi)視覺(jué)機(jī)理過(guò)于復(fù)雜，兩個(gè)系統(tǒng)在判別物體時(shí)依賴(lài)的規(guī)則存在一定差異。

1690964022_64ca103698a32f569865a.png!small?1690964023360

這種逃逸攻擊可以發(fā)生在各種系統(tǒng)和應(yīng)用程序中，包括操作系統(tǒng)、虛擬化平臺(tái)、容器、瀏覽器和移動(dòng)設(shè)備等。攻擊者利用系統(tǒng)中的漏洞、錯(cuò)誤配置或缺陷的控制機(jī)制，通過(guò)注入惡意代碼、提權(quán)、繞過(guò)安全限制等方式，成功將自己從一個(gè)受限環(huán)境“逃離”，獲取對(duì)系統(tǒng)或其他資源的完全控制權(quán)限。

逃逸攻擊的危害性非常高，因?yàn)楣粽呷〉昧烁叩臋?quán)限，可以繞過(guò)各種安全機(jī)制和訪問(wèn)限制。一旦攻擊者逃逸成功，他們可能可以執(zhí)行惡意操作，如訪問(wèn)敏感數(shù)據(jù)、篡改系統(tǒng)配置、攔截通信、安裝惡意軟件等，從而對(duì)系統(tǒng)和用戶造成嚴(yán)重的損害。

人工智能生成的網(wǎng)絡(luò)釣魚(yú)和BEC誘餌

人工智能生成的網(wǎng)絡(luò)釣魚(yú)和BEC（商業(yè)電子郵件欺詐）誘餌指的就是利用人工智能技術(shù)生成的虛假電子郵件、信息或其他通信形式，然后偽裝成信譽(yù)良好的機(jī)構(gòu)、公司、服務(wù)提供商或個(gè)人，誘使用戶相信其真實(shí)性，并通過(guò)點(diǎn)擊鏈接、下載附件、提供敏感信息、填寫(xiě)表單等方式欺騙員工來(lái)獲取機(jī)密業(yè)務(wù)信息、敏感財(cái)務(wù)數(shù)據(jù)、進(jìn)行非法轉(zhuǎn)賬等行為。

由于冒充者使用了高度逼真的欺騙手法，使得員工很難發(fā)覺(jué)欺騙，并誤以為這些請(qǐng)求是合法和合理的。

人工智能技術(shù)的應(yīng)用使得網(wǎng)絡(luò)釣魚(yú)和BEC誘餌的攻擊更具迷惑性和隱蔽性，使用戶更難辨別真?zhèn)巍?/p>

這種由AI生成的網(wǎng)絡(luò)釣魚(yú)和BEC誘餌往往具備以下“優(yōu)勢(shì)”：

無(wú)語(yǔ)法錯(cuò)誤：生成式人工智能技術(shù)生成的郵件一般沒(méi)有語(yǔ)法錯(cuò)誤，看起來(lái)像是合法的，減少了被標(biāo)記為垃圾郵件的可能性。降低準(zhǔn)入門(mén)檻：使用生成式人工智能技術(shù)降低了發(fā)起復(fù)雜BEC攻擊的準(zhǔn)入門(mén)檻。即使攻擊者能力不足也可以使用生成式人工智能技術(shù)生成垃圾郵件，并發(fā)起攻擊。

針對(duì)此攻擊方式，企業(yè)需加強(qiáng)員工教育、實(shí)施有效的安全控制和監(jiān)測(cè)，以及建立內(nèi)部報(bào)告機(jī)制是防范BEC誘餌攻擊的關(guān)鍵措施。

Deepfake 深度偽造騙局

Deepfake是一種將個(gè)人的聲音、面部表情及身體動(dòng)作拼接合成虛假內(nèi)容的人工智能技術(shù)。主要是將生成式對(duì)抗網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型將圖片或視頻合并疊加到源圖片或視頻上，借助神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行大樣本學(xué)習(xí)從而實(shí)現(xiàn)偽造的目的。

深度偽造最常見(jiàn)方式是AI換臉技術(shù)，此外還包括語(yǔ)音模擬、人臉合成、視頻生成等。它的出現(xiàn)使得篡改或生成高度逼真且難以甄別的音視頻內(nèi)容成為可能，觀察者最終無(wú)法通過(guò)肉眼明辨真?zhèn)巍?/p>

如今，ChatGPT已經(jīng)將deepfake（深度偽造）攻擊從理論變成了現(xiàn)實(shí)威脅。

如果不法分子借助這種深度偽造技術(shù)，對(duì)企業(yè)或個(gè)人進(jìn)行攻擊，不僅會(huì)威脅國(guó)家安全和公共安全，還可能借此散布虛假視頻，激化社會(huì)矛盾，煽動(dòng)暴力和恐怖行動(dòng)，也可能用于干擾競(jìng)爭(zhēng)國(guó)家的情報(bào)機(jī)構(gòu)，甚至因此設(shè)定限制其行動(dòng)范圍的條件。同時(shí)，該技術(shù)也讓視頻換臉技術(shù)門(mén)檻降低，別有用心之人利用深度偽造技術(shù)可以輕易綁架或盜用他人身份，甚至可以說(shuō)深度偽造技術(shù)有可能成為實(shí)施色情報(bào)復(fù)、商業(yè)詆毀、敲詐勒索、網(wǎng)絡(luò)攻擊和犯罪等非法行為的新工具。

結(jié)語(yǔ)

如今，AI帶來(lái)的威脅已經(jīng)是“兵臨城下”。隨著人工智能的應(yīng)用范圍不斷擴(kuò)大，新型攻擊技術(shù)正在不斷涌現(xiàn)。AI新型攻擊給個(gè)人、企業(yè)和整個(gè)社會(huì)帶來(lái)了巨大的風(fēng)險(xiǎn)和危害。

一方面，AI可以成為網(wǎng)絡(luò)可見(jiàn)性、異常檢測(cè)和威脅自動(dòng)化的有力工具。另一方面，AI也可以是黑客闖入系統(tǒng)竊取數(shù)據(jù)的邪惡力量。

對(duì)于網(wǎng)絡(luò)安全的攻防博弈來(lái)說(shuō)，AI既是“天使”，也是“惡魔”，究竟如何張弛有度地把控AI至關(guān)重要。

AI與網(wǎng)絡(luò)安全本就是兩個(gè)緊密相關(guān)且互相影響的領(lǐng)域。通過(guò)使用AI技術(shù)，可以提升網(wǎng)絡(luò)安全水平，保護(hù)數(shù)據(jù)和設(shè)備不受攻擊或破壞；但同時(shí)也要注意AI本身所帶來(lái)的一些挑戰(zhàn)和風(fēng)險(xiǎn)，并采取相應(yīng)的措施來(lái)應(yīng)對(duì)。

AI的發(fā)展給我們帶來(lái)了前所未有的可能性，但也需要人們保持警惕，認(rèn)識(shí)到技術(shù)本身的局限性，只有綜合運(yùn)用技術(shù)、法律、教育等多種手段，才能夠構(gòu)建一個(gè)安全可靠的網(wǎng)絡(luò)環(huán)境。

關(guān)鍵詞：