在數(shù)字化浪潮奔涌的當(dāng)下，人工智能（AI）已如毛細(xì)血管般滲透進(jìn)生活各處，革新著人們的交互、工作與決策模式。然而，這份技術(shù)紅利背后，暗藏著洶涌的網(wǎng)絡(luò)安全危機(jī)。當(dāng) AI 邂逅惡意提示詞，猶如脫韁野馬，自主發(fā)動(dòng)復(fù)雜且隱蔽的攻擊，給個(gè)人隱私、企業(yè)運(yùn)營(yíng)乃至國(guó)家安全的網(wǎng)絡(luò)防線帶來(lái)前所未有的沖擊。
從ChatGPT到DeepSeek，再到Manus，人工智能浪潮席卷各行各業(yè)，技術(shù)發(fā)展日新月異。如今，人工智能已從通用模型OpenAI進(jìn)階為具備自主決策能力的任務(wù)導(dǎo)向型智能體AI Agent，這一轉(zhuǎn)變正深刻重塑銀行業(yè)的發(fā)展格局。當(dāng)前，銀行業(yè)正面臨網(wǎng)絡(luò)復(fù)雜性激增、用戶需求多元化與成本效率失衡的挑戰(zhàn)，而AI Agent憑借其自主決策、實(shí)時(shí)響應(yīng)與深度定制化能力，正重塑銀行業(yè)的業(yè)務(wù)模式。隨著國(guó)家“人工智能+”戰(zhàn)略深化，銀行紛紛搶灘布局，AI Agent有望成為銀行業(yè)降本增效的全新引擎。
AI 系統(tǒng)依賴大量數(shù)據(jù)與算法模型運(yùn)作，而提示詞就像是與它溝通的 “密碼”。在正常應(yīng)用場(chǎng)景中，提示詞引導(dǎo) AI 生成符合用戶需求的文本、圖像等內(nèi)容。但惡意攻擊者利用 AI 對(duì)提示詞的 “理解” 機(jī)制，精心設(shè)計(jì)特殊指令，迫使 AI 執(zhí)行惡意任務(wù)。
OWASP LLM 應(yīng)用十大威脅報(bào)告提示詞是安全問(wèn)題之首
以自然語(yǔ)言處理模型為例，這些模型基于海量文本訓(xùn)練，學(xué)習(xí)到語(yǔ)言結(jié)構(gòu)與語(yǔ)義關(guān)聯(lián)。攻擊者利用模型對(duì)語(yǔ)義的理解，構(gòu)造看似正常卻暗藏玄機(jī)的提示詞。比如，在與聊天機(jī)器人交互時(shí)，輸入特定組合的詞匯、語(yǔ)法結(jié)構(gòu)，誘導(dǎo)其泄露敏感信息，或利用模型生成惡意代碼、釣魚(yú)郵件內(nèi)容。這一過(guò)程中，AI 如同被惡意 “編程”，在攻擊者幾乎零干預(yù)下，自主完成從信息收集、內(nèi)容生成到攻擊部署的一系列動(dòng)作，整個(gè)攻擊流程高效且隱蔽。
高級(jí)網(wǎng)絡(luò)釣魚(yú)新形態(tài)
網(wǎng)絡(luò)釣魚(yú)借 AI 提示詞 “進(jìn)化” 為更致命的攻擊手段。攻擊者借助生成式 AI 工具，如 ChatGPT，輸入詳細(xì)的目標(biāo)特征提示詞，像目標(biāo)公司的業(yè)務(wù)領(lǐng)域、員工常用溝通話術(shù)、內(nèi)部郵件格式特點(diǎn)等。AI 據(jù)此生成高度逼真的釣魚(yú)郵件，從郵件主題、正文內(nèi)容到發(fā)件人信息，全方位模仿目標(biāo)公司的真實(shí)郵件。收件人往往因郵件的 “真實(shí)性” 放松警惕，點(diǎn)擊惡意鏈接或回復(fù)包含敏感信息的郵件，使攻擊者輕松達(dá)成竊取數(shù)據(jù)或植入惡意軟件的目的。
在社會(huì)工程學(xué)攻擊范疇，AI 配合提示詞更是如虎添翼。攻擊者向 AI 輸入目標(biāo)人物的社交媒體活動(dòng)信息、興趣愛(ài)好、職業(yè)背景等提示詞，AI 能夠生成極具針對(duì)性的詐騙場(chǎng)景或話術(shù)。例如，模擬目標(biāo)熟悉的朋友、同事聲音，通過(guò)語(yǔ)音合成技術(shù)撥打詐騙電話，以緊急事件為由誘導(dǎo)目標(biāo)轉(zhuǎn)賬。或者創(chuàng)建與目標(biāo)興趣高度契合的虛假社交媒體賬號(hào)，借互動(dòng)之名套取敏感信息，整個(gè)過(guò)程由 AI 依據(jù)提示詞自主策劃、執(zhí)行，讓受害者防不勝防。
AI 在惡意軟件領(lǐng)域的應(yīng)用同樣令人擔(dān)憂。攻擊者輸入特定的攻擊目標(biāo)網(wǎng)絡(luò)架構(gòu)、防護(hù)機(jī)制等提示詞，AI 可以生成專門繞過(guò)目標(biāo)防御的惡意軟件代碼。這些惡意軟件具備自我復(fù)制、傳播能力，依據(jù)環(huán)境反饋?zhàn)灾髡{(diào)整攻擊策略。比如，針對(duì)企業(yè)網(wǎng)絡(luò)，惡意軟件在感染一臺(tái)設(shè)備后，通過(guò)分析網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)提示詞，自動(dòng)尋找網(wǎng)絡(luò)中其他薄弱環(huán)節(jié)，自主橫向傳播，對(duì)企業(yè)數(shù)據(jù)安全構(gòu)成毀滅性打擊。
OpenAI Agent首次自主完成釣魚(yú)攻擊3 月 14 日，賽門鐵克展示利用 OpenAI 的 Operator Agent 實(shí)施網(wǎng)絡(luò)攻擊的案例。以往攻擊者多被動(dòng)使用大模型，而生成式 AI 代理的興起讓主動(dòng)攻擊成為可能。實(shí)驗(yàn)中，研究人員讓 Operator Agent 對(duì)賽門鐵克首席情報(bào)分析師 Dick O'Brien 執(zhí)行攻擊任務(wù)，初始提示被拒，調(diào)整為類似授權(quán)請(qǐng)求后，AI 代理接受任務(wù)。它先推測(cè)出 O'Brien 未公開(kāi)的郵箱，又通過(guò)訪問(wèn)網(wǎng)頁(yè)編寫(xiě) PowerShell 腳本，用于安裝偽裝的 Google Drive 插件。最后，AI 代理生成釣魚(yú)郵件，誘導(dǎo) O'Brien 運(yùn)行腳本，并自動(dòng)完成發(fā)送，凸顯 AI 用于網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。
圖：用于生成概念驗(yàn)證釣魚(yú)攻擊的OpenAI Operator提示詞
圖：最終發(fā)送的釣魚(yú)郵件內(nèi)容
以色列理工學(xué)院、康奈爾科技和 Intuit 的研究揭示了 PromptWare 攻擊的危害。攻擊者向 GenAI 應(yīng)用程序輸入特殊提示詞，這些提示詞如同 “越獄指令”，迫使 GenAI 引擎突破自身防護(hù)機(jī)制。在一項(xiàng)模擬攻擊中，攻擊者利用提示詞讓 GenAI 應(yīng)用程序?qū)谟?jì)劃和執(zhí)行的應(yīng)用執(zhí)行拒絕服務(wù)（DoS）攻擊。通過(guò)精心構(gòu)造的提示詞，GenAI 助手向用戶發(fā)送電子郵件，誘導(dǎo)應(yīng)用程序進(jìn)入無(wú)限循環(huán)任務(wù)，不斷查詢?nèi)諝v API、執(zhí)行重新措辭任務(wù)等，直至系統(tǒng)資源耗盡，癱瘓應(yīng)用程序，而這一系列攻擊完全由 AI 依據(jù)提示詞自主完成。高級(jí) PromptWare 威脅（APwT）APwT 攻擊是 PromptWare 的進(jìn)階版，更為復(fù)雜隱蔽。攻擊者即便不了解目標(biāo) GenAI 應(yīng)用程序邏輯，也能憑借提示詞發(fā)起攻擊。他們向 GenAI 引擎輸入自我復(fù)制提示詞，實(shí)現(xiàn)特權(quán)升級(jí)，繞過(guò)防護(hù)；再輸入偵察提示詞，查詢應(yīng)用程序上下文與資產(chǎn)信息；接著通過(guò)推理?yè)p害、決定損害提示詞，讓 AI 自主規(guī)劃惡意活動(dòng)，最后執(zhí)行諸如修改 SQL 表數(shù)據(jù)等操作。例如，在某電商應(yīng)用中，攻擊者利用 APwT 攻擊，通過(guò)提示詞操控 GenAI 引擎，改變用戶購(gòu)買商品價(jià)格，嚴(yán)重?cái)_亂企業(yè)運(yùn)營(yíng)秩序與用戶權(quán)益，且整個(gè)攻擊過(guò)程自動(dòng)化程度極高，傳統(tǒng)安全檢測(cè)手段難以察覺(jué)。
京北方在近期投資者調(diào)研中談到銀行對(duì)于AI應(yīng)用需求的變化，認(rèn)為隨著銀行私有化部署門檻的逐漸降低，銀行對(duì)于AI應(yīng)用的探索力度不斷提升，帶動(dòng)相關(guān)業(yè)務(wù)需求持續(xù)增長(zhǎng)。同時(shí)，應(yīng)用場(chǎng)景不斷豐富。此前AI應(yīng)用主要集中于后端的內(nèi)部使用場(chǎng)景，包括知識(shí)助手、智能檢索、代碼注釋生成等，目前已逐步延伸至前端，比如AI營(yíng)銷、AI信貸、智能交易風(fēng)控等業(yè)務(wù)場(chǎng)景。
天暢信息安全專家提示道，風(fēng)險(xiǎn)主要包括數(shù)據(jù)安全與隱私泄漏風(fēng)險(xiǎn)、模型偏差與決策不可解釋性，以及技術(shù)可靠性與系統(tǒng)脆弱性模型誤判。
應(yīng)對(duì)策略：多管齊下，筑牢防線
1、強(qiáng)化安全設(shè)計(jì)理念：開(kāi)發(fā)團(tuán)隊(duì)?wèi)?yīng)摒棄 “功能優(yōu)先、安全滯后” 的觀念，將安全考量融入到 AI 模型開(kāi)發(fā)的全生命周期。在設(shè)計(jì)初期，就構(gòu)建完善的安全防護(hù)機(jī)制，避免因過(guò)度追求研發(fā)速度而忽視安全問(wèn)題，確保模型從底層架構(gòu)到應(yīng)用層面都具備抵御提示詞攻擊的能力。
2、深入漏洞研究與修復(fù)：針對(duì)大模型在開(kāi)發(fā)、部署和使用階段存在的各類漏洞，如模型推理優(yōu)化部署、訓(xùn)練微調(diào)、應(yīng)用框架以及提示詞注入等方面的漏洞，進(jìn)行持續(xù)深入的研究。及時(shí)跟蹤安全情報(bào)，一旦發(fā)現(xiàn)與提示詞攻擊相關(guān)的漏洞，迅速進(jìn)行修復(fù)，防止攻擊者利用已知漏洞實(shí)施攻擊。
3、利用開(kāi)源促進(jìn)安全：積極倡導(dǎo)模型開(kāi)源，通過(guò)開(kāi)源吸引更多研究者參與到防御技術(shù)的開(kāi)發(fā)與優(yōu)化中。例如清華團(tuán)隊(duì)推出的 “安全增強(qiáng)版 DeepSeek”，開(kāi)源能夠提高技術(shù)的透明性，讓更多人發(fā)現(xiàn)并解決潛在的安全問(wèn)題，共同應(yīng)對(duì)提示詞攻擊等安全威脅。
4、構(gòu)建提示詞過(guò)濾與審核機(jī)制：開(kāi)發(fā)智能提示詞過(guò)濾系統(tǒng)，運(yùn)用自然語(yǔ)言處理技術(shù)，對(duì)輸入 AI 系統(tǒng)的提示詞進(jìn)行實(shí)時(shí)篩查。一方面，建立龐大的惡意提示詞特征庫(kù)，涵蓋已知的敏感詞匯組合、特殊語(yǔ)法結(jié)構(gòu)等，一旦提示詞與庫(kù)內(nèi)特征匹配，立即予以攔截。另一方面，引入人工審核環(huán)節(jié)，針對(duì)疑似惡意但難以精準(zhǔn)判斷的提示詞，由專業(yè)安全人員進(jìn)行二次甄別，確保過(guò)濾的準(zhǔn)確性，從源頭阻斷攻擊指令進(jìn)入 AI 系統(tǒng)。
5、強(qiáng)化 AI 模型的安全加固：對(duì) AI 模型的算法架構(gòu)進(jìn)行優(yōu)化，增強(qiáng)其對(duì)異常輸入的魯棒性。采用加密技術(shù)對(duì)模型參數(shù)進(jìn)行加密存儲(chǔ)，防止攻擊者通過(guò)逆向工程獲取模型關(guān)鍵信息，進(jìn)而推測(cè)出有效的攻擊提示詞。同時(shí)，為模型添加動(dòng)態(tài)水印，當(dāng)模型生成內(nèi)容時(shí)，水印信息隨之嵌入，一旦發(fā)現(xiàn)模型被惡意利用生成有害內(nèi)容，可憑借水印快速溯源，定位攻擊源頭。
6、部署實(shí)時(shí)監(jiān)測(cè)與自適應(yīng)防御系統(tǒng)：搭建全方位的網(wǎng)絡(luò)監(jiān)測(cè)體系，實(shí)時(shí)跟蹤 AI 系統(tǒng)的運(yùn)行狀態(tài)、網(wǎng)絡(luò)流量以及用戶與 AI 的交互行為。運(yùn)用機(jī)器學(xué)習(xí)算法對(duì)收集到的數(shù)據(jù)進(jìn)行深度分析，識(shí)別出異常的提示詞請(qǐng)求模式、AI 生成內(nèi)容的異常傳播路徑等攻擊跡象。一旦檢測(cè)到攻擊行為，防御系統(tǒng)立即啟動(dòng)自適應(yīng)策略，自動(dòng)調(diào)整網(wǎng)絡(luò)訪問(wèn)權(quán)限、阻斷異常連接，并根據(jù)攻擊特征迅速更新防護(hù)規(guī)則，以應(yīng)對(duì)不斷變化的攻擊手段。
1、開(kāi)展針對(duì)性安全培訓(xùn)：針對(duì)不同行業(yè)、不同崗位的人員，設(shè)計(jì)定制化的 AI 安全培訓(xùn)課程。對(duì)于普通員工，重點(diǎn)培訓(xùn)如何識(shí)別常見(jiàn)的 AI 提示詞攻擊場(chǎng)景，如可疑的釣魚(yú)郵件、誘導(dǎo)性的 AI 對(duì)話等，教授他們簡(jiǎn)單有效的防范措施，如不隨意點(diǎn)擊陌生鏈接、不向不明來(lái)源的 AI 應(yīng)用提供敏感信息。對(duì)于技術(shù)人員和安全從業(yè)者，則深入講解 AI 攻擊原理、提示詞構(gòu)造技巧以及應(yīng)急處置方法，提升他們應(yīng)對(duì)復(fù)雜攻擊的專業(yè)能力。培訓(xùn)形式多樣化，包括線上視頻課程、線下實(shí)操演練以及定期的安全知識(shí)考核，確保培訓(xùn)效果的持久性。
2、培育全員安全文化：在企業(yè)和組織內(nèi)部，通過(guò)各種渠道宣傳 AI 安全的重要性，營(yíng)造濃厚的安全文化氛圍。制定明確的 AI 使用安全規(guī)范，將安全責(zé)任落實(shí)到每一位員工身上，鼓勵(lì)員工積極參與安全防護(hù)工作，發(fā)現(xiàn)安全隱患及時(shí)報(bào)告。設(shè)立安全獎(jiǎng)勵(lì)制度，對(duì)在防范 AI 提示詞攻擊方面表現(xiàn)突出的員工給予表彰和獎(jiǎng)勵(lì)，激發(fā)員工的安全意識(shí)和主動(dòng)性，形成全員參與、共同維護(hù)網(wǎng)絡(luò)安全的良好局面。
1、推動(dòng)行業(yè)自律與標(biāo)準(zhǔn)制定：行業(yè)協(xié)會(huì)發(fā)揮主導(dǎo)作用，組織企業(yè)、科研機(jī)構(gòu)等各方力量，共同制定 AI 安全行業(yè)標(biāo)準(zhǔn)。明確 AI 提示詞的使用規(guī)范、安全評(píng)估流程以及企業(yè)在 AI 應(yīng)用開(kāi)發(fā)、部署過(guò)程中的安全責(zé)任。建立行業(yè)安全信息共享平臺(tái)，及時(shí)發(fā)布最新的 AI 安全威脅情報(bào)、攻擊案例以及應(yīng)對(duì)策略，促進(jìn)企業(yè)之間的經(jīng)驗(yàn)交流與合作。同時(shí)，加強(qiáng)對(duì)企業(yè)的安全監(jiān)督，定期對(duì)企業(yè)的 AI 系統(tǒng)進(jìn)行安全審計(jì)，對(duì)不符合安全標(biāo)準(zhǔn)的企業(yè)進(jìn)行督促整改，提升整個(gè)行業(yè)的安全防護(hù)水平。
2、完善政府監(jiān)管與法律保障：政府加大對(duì) AI 技術(shù)應(yīng)用的監(jiān)管力度，建立健全 AI 安全監(jiān)管機(jī)制。對(duì)涉及 AI 的產(chǎn)品和服務(wù)進(jìn)行嚴(yán)格的市場(chǎng)準(zhǔn)入審查，確保其具備基本的安全防護(hù)能力。加強(qiáng)對(duì)網(wǎng)絡(luò)空間的監(jiān)測(cè)和執(zhí)法力度，嚴(yán)厲打擊利用 AI 提示詞實(shí)施網(wǎng)絡(luò)攻擊的違法犯罪行為。推動(dòng)相關(guān)法律法規(guī)的制定和完善，明確 AI 提示詞攻擊的法律定義、責(zé)任認(rèn)定以及處罰標(biāo)準(zhǔn)，為打擊網(wǎng)絡(luò)犯罪提供有力的法律依據(jù)。此外，政府還應(yīng)加大對(duì) AI 安全技術(shù)研發(fā)的支持力度，鼓勵(lì)科研機(jī)構(gòu)和企業(yè)開(kāi)展相關(guān)技術(shù)研究，提升國(guó)家整體的 AI 安全防護(hù)能力。
隨著 AI 技術(shù)持續(xù)迭代，其與網(wǎng)絡(luò)安全的博弈將愈發(fā)激烈。AI 自主攻擊手段會(huì)不斷演變、升級(jí)，但這也將倒逼安全技術(shù)革新。未來(lái)，或許會(huì)誕生更為智能、高效的 AI 安全防護(hù)體系，能夠?qū)崟r(shí)對(duì)抗各類復(fù)雜攻擊。同時(shí)，隨著全社會(huì)對(duì) AI 安全意識(shí)的提升，以及行業(yè)、政府協(xié)同合作的深入，有望在 AI 創(chuàng)新應(yīng)用與安全防護(hù)間找到平衡，讓 AI 技術(shù)真正成為推動(dòng)社會(huì)進(jìn)步的良性力量，而非威脅網(wǎng)絡(luò)安全的 “潘多拉魔盒”。
面對(duì) AI 借提示詞發(fā)動(dòng)的自主攻擊，唯有以技術(shù)為刃、意識(shí)為盾，協(xié)同各方力量，方能在這場(chǎng)網(wǎng)絡(luò)安全保衛(wèi)戰(zhàn)中贏得主動(dòng)，守護(hù)數(shù)字世界的和平與安寧。