葉文潔打開(kāi)結(jié)果文件，人類(lèi)第一次讀到了來(lái)自宇宙中另一個(gè)世界的信息，其內(nèi)容出乎所有人的想象，它是三條重復(fù)的警告：這是《三體》一切故事的開(kāi)端。三體文明以「不要回答」回應(yīng)葉文潔向宇宙發(fā)出的信號(hào)，試圖阻止兩個(gè)文明之間進(jìn)一步的互動(dòng)和交流。現(xiàn)在「1379號(hào)監(jiān)聽(tīng)員」已經(jīng)開(kāi)始幫助人類(lèi)監(jiān)聽(tīng) LLM 的動(dòng)向，幫助人類(lèi)評(píng)估 LLM 的安全機(jī)制，Ta 已化身為開(kāi)源數(shù)據(jù)集 Do-Not-Answer。顯然，我們?cè)诓粩嗵岣吣Ｐ湍芰Φ耐瑫r(shí)，也需要時(shí)刻警惕其潛藏的，未知的風(fēng)險(xiǎn)， Do-Not-Answer 就能夠低成本幫助我們發(fā)現(xiàn)更多潛在風(fēng)險(xiǎn)。LLM（Large Language Models，大型語(yǔ)言模型）如OpenAI的GPT-3、Google的BERT等，近年來(lái)在自然語(yǔ)言處理（NLP）領(lǐng)域取得了顯著的進(jìn)展。然而，隨著這些模型的廣泛應(yīng)用，它們的安全性和隱私問(wèn)題也逐漸受到關(guān)注。
誤導(dǎo)性?xún)?nèi)容生成：LLM有能力生成看似真實(shí)的虛假信息，這可能被用于制造假新聞、網(wǎng)絡(luò)釣魚(yú)攻擊等。
模型濫用：LLM可能被用于生成有害內(nèi)容，如仇恨言論、暴力或色情內(nèi)容等。
自動(dòng)化攻擊：黑客可以利用LLM自動(dòng)生成針對(duì)特定個(gè)人或組織的釣魚(yú)郵件，提高攻擊的成功率。
編程代碼生成：LLM能夠生成編程代碼，可能被用于自動(dòng)化創(chuàng)建惡意軟件或漏洞利用腳本。
社交工程攻擊：LLM可以用于生成針對(duì)性的社交工程攻擊內(nèi)容，如通過(guò)模仿信任的個(gè)體來(lái)誘騙用戶(hù)泄露敏感信息。
數(shù)據(jù)泄露風(fēng)險(xiǎn)：LLM的訓(xùn)練需要大量的數(shù)據(jù)，如果訓(xùn)練數(shù)據(jù)中包含敏感信息，模型可能在生成文本時(shí)無(wú)意中泄露這些信息。
模型逆向工程：攻擊者可能?chē)L試逆向工程模型以提取訓(xùn)練數(shù)據(jù)，特別是如果模型過(guò)度擬合了某些數(shù)據(jù)點(diǎn)。
成見(jiàn)與偏見(jiàn)：如果訓(xùn)練數(shù)據(jù)包含偏見(jiàn)，模型生成的內(nèi)容可能會(huì)體現(xiàn)出這些成見(jiàn)，從而加劇社會(huì)不平等和歧視問(wèn)題。
個(gè)人化攻擊：LLM可以根據(jù)公開(kāi)信息定制個(gè)人化的攻擊內(nèi)容，從而侵犯目標(biāo)個(gè)體的隱私。
數(shù)據(jù)保護(hù)法規(guī)遵從性：LLM的使用必須符合GDPR等數(shù)據(jù)保護(hù)法規(guī)，確保個(gè)人數(shù)據(jù)的合法、公正和透明處理。
近些年，LLMs在安全領(lǐng)域也火了起來(lái)。它們?nèi)蝿?wù)中大顯身手。近期，德雷塞爾的安全團(tuán)隊(duì)就深入入LLMs和安全、隱私之間的關(guān)系。它們還可以找出網(wǎng)站和應(yīng)用的安全漏洞，還可以在網(wǎng)絡(luò)安全中大顯身手。
研究團(tuán)隊(duì)從頭到腳分析了這個(gè)問(wèn)題，發(fā)現(xiàn)LLMs在網(wǎng)絡(luò)安全方面可謂是雙刃劍。一方面，它們可以加強(qiáng)代碼和數(shù)據(jù)的安全性，比傳統(tǒng)方法更強(qiáng)大。另一方面，由于它們擁有類(lèi)似人類(lèi)的思維能力，有些壞人也能利用它們來(lái)進(jìn)行各種攻擊。比如說(shuō)，對(duì)用戶(hù)的隱私進(jìn)行人肉開(kāi)盒。
研究團(tuán)隊(duì)還找出了一些迫切需要更多研究的領(lǐng)域。比如，關(guān)于如何防止人家從LLMs那里“偷”模型和參數(shù)的研究還不夠多，有些只是理論的，而且因?yàn)長(zhǎng)LM的參數(shù)規(guī)模和機(jī)密性問(wèn)題，很難進(jìn)行。還有最近出現(xiàn)的一項(xiàng)技術(shù)叫做“安全指令調(diào)整”(聽(tīng)名字就高大上)，也需要更多的研究。
不少企業(yè)早已感受到了大模型驚艷四座的“陽(yáng)面”能力，將其作為提升工作效率的工具，但對(duì)于大模型安全保護(hù)的“陰面”疑慮也是記憶猶新。
3月份ChatGPT發(fā)生了用戶(hù)隱私數(shù)據(jù)泄露事件，OpenAI聲明由于開(kāi)源代碼庫(kù)中存在一個(gè)漏洞，使得部分用戶(hù)能夠看到另一個(gè)用戶(hù)的聊天標(biāo)題記錄，并把ChatGPT短暫下線(xiàn)緊急修補(bǔ)了此漏洞。此事件，讓大家認(rèn)識(shí)到大模型并不是“大安全”。
試想如果不加限制地使用LLM，隨著更多敏感數(shù)據(jù)被傳輸LLM服務(wù)器，并被用作模型訓(xùn)練數(shù)據(jù)集，也就意味著競(jìng)爭(zhēng)對(duì)手通過(guò)隨意的聊天對(duì)話(huà)就能獲悉了你的核心數(shù)據(jù)。如果競(jìng)對(duì)用這些數(shù)據(jù)建模對(duì)你進(jìn)行降維打擊，會(huì)對(duì)企業(yè)會(huì)造成多大風(fēng)險(xiǎn)要點(diǎn)？
使用LLM大語(yǔ)言模型十大安全風(fēng)險(xiǎn)要點(diǎn)
專(zhuān)注于 Web 應(yīng)用安全的組織 OWASP 最近針對(duì) LLM 發(fā)布了十大安全風(fēng)險(xiǎn)要點(diǎn)。不管你是開(kāi)發(fā)人員、設(shè)計(jì)師、架構(gòu)師、經(jīng)理，只要有使用大型語(yǔ)言模型（LLMs），都應(yīng)該了解一下可能的安全風(fēng)險(xiǎn)：
提示信息注入 Prompt Injection：攻擊者透過(guò)精心設(shè)計(jì)的輸入操控大型語(yǔ)言模型（LLM），可能導(dǎo)致后端系統(tǒng)被利用甚或使用者互動(dòng)被控制。
不安全的輸出處理 Insecure Output Handling：當(dāng) LLM 輸出未經(jīng)審查就被接受時(shí)，可能暴露后端系統(tǒng)。濫用可能導(dǎo)致嚴(yán)重的后果，例如跨站腳本攻擊（XSS）、跨站請(qǐng)求偽造（CSRF）、伺服器端請(qǐng)求偽造（SSRF）、不當(dāng)?shù)臋?quán)限或遠(yuǎn)端程式碼執(zhí)行。
訓(xùn)練數(shù)據(jù)投毒 Training Data Poisoning：當(dāng) LLM 訓(xùn)練數(shù)據(jù)被篡改時(shí)發(fā)生，導(dǎo)致威脅安全、效能或不道德行為的漏洞或偏見(jiàn)。
模型拒絕服務(wù) Model Denial of Service：攻擊者在 LLM 上執(zhí)行資源密集型操作，導(dǎo)致服務(wù)降級(jí)或墊高成本。由于 LLM 的資源密集型特性和用戶(hù)輸入的不可預(yù)測(cè)性，此漏洞嚴(yán)重性提高許多。
供應(yīng)鏈漏洞 Supply Chain Vulnerabilities：LLM 應(yīng)用流程中可能因易受攻擊的組件或服務(wù)產(chǎn)生漏洞，導(dǎo)致安全性降低。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件都增加了攻擊點(diǎn)。
敏感信息泄露 Sensitive Information Disclosure：LLM 可能在其回應(yīng)中無(wú)意透露機(jī)密數(shù)據(jù)，導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)、隱私違規(guī)和安全漏洞。實(shí)施數(shù)據(jù)清理和嚴(yán)格的用戶(hù)政策來(lái)減輕此問(wèn)題。
不安全的插件設(shè)計(jì) Insecure Plugin Design：由于缺乏應(yīng)用程式控制，LLM 插件可能具有不安全的輸入和不足的權(quán)限控制。攻擊者可以利用這些漏洞，導(dǎo)致嚴(yán)重后果，例如遠(yuǎn)端程式碼執(zhí)行。
過(guò)度授權(quán) Excessive Agency：授予 LLM 的系統(tǒng)過(guò)多的功能、權(quán)限或自主權(quán)，有可能導(dǎo)致 LLM 系統(tǒng)執(zhí)行沒(méi)有預(yù)期之外的行動(dòng)與產(chǎn)生超過(guò)權(quán)限的產(chǎn)出。
過(guò)度依賴(lài) Overreliance：LLM 生成內(nèi)容不保證 100% 正確或合適，若系統(tǒng)或人員過(guò)度依賴(lài) LLM 而沒(méi)有監(jiān)管查證，可能會(huì)面臨錯(cuò)誤信息、誤傳、法律問(wèn)題和安全漏洞。
模型盜竊 Model Theft：未經(jīng)授權(quán)地訪問(wèn)、復(fù)制或外流專(zhuān)有 LLM 模型，可能導(dǎo)致經(jīng)濟(jì)損失、削弱競(jìng)爭(zhēng)優(yōu)勢(shì)和敏感信息的泄露。
數(shù)據(jù)脫敏：在訓(xùn)練LLM之前，對(duì)數(shù)據(jù)進(jìn)行脫敏處理，以減少敏感信息的泄露風(fēng)險(xiǎn)。
差分隱私：采用差分隱私技術(shù)來(lái)保護(hù)訓(xùn)練數(shù)據(jù)中的個(gè)人信息，避免通過(guò)模型輸出推斷個(gè)人數(shù)據(jù)。
內(nèi)容過(guò)濾和監(jiān)控：對(duì)LLM生成的內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控和過(guò)濾，以防止有害內(nèi)容的產(chǎn)生和傳播。
透明度和解釋性：提高模型的透明度和解釋性，讓用戶(hù)了解模型的工作原理和生成內(nèi)容的依據(jù)。
法律和倫理指導(dǎo)：制定相應(yīng)的法律和倫理指導(dǎo)原則，以指導(dǎo)LLM的開(kāi)發(fā)和使用，確保它們不被用于不當(dāng)目的。
用戶(hù)教育：提高用戶(hù)對(duì)LLM潛在風(fēng)險(xiǎn)的認(rèn)識(shí)，教育他們?nèi)绾巫R(shí)別和防范這些風(fēng)險(xiǎn)。
安全性評(píng)估：定期對(duì)LLM進(jìn)行安全性評(píng)估和審計(jì)，以發(fā)現(xiàn)和修復(fù)可能的安全漏洞。
大型語(yǔ)言模型（LLM）的普及帶來(lái)了前所未有的便利，但隨之而來(lái)的安全隱私問(wèn)題也不容忽視。今年3月，ChatGPT的用戶(hù)隱私數(shù)據(jù)泄露事件就是一個(gè)警示。由于開(kāi)源代碼庫(kù)的漏洞，用戶(hù)的對(duì)話(huà)記錄被意外曝光，盡管OpenAI迅速下線(xiàn)并修補(bǔ)了此問(wèn)題，但這一事件暴露了即便是尖端技術(shù)也存在潛在風(fēng)險(xiǎn)。
LLM的核心問(wèn)題在于它們處理的數(shù)據(jù)常含有敏感信息。如果這些數(shù)據(jù)未經(jīng)適當(dāng)保護(hù)就被用于模型訓(xùn)練，可能會(huì)導(dǎo)致重要信息泄露，甚至被競(jìng)爭(zhēng)對(duì)手利用，對(duì)企業(yè)造成嚴(yán)重?fù)p失。因此，使用LLM時(shí)，企業(yè)和開(kāi)發(fā)者必須嚴(yán)格遵守?cái)?shù)據(jù)保護(hù)原則，確保敏感信息得到加密和匿名處理，防止通過(guò)模型泄露。
同時(shí)，開(kāi)發(fā)者應(yīng)持續(xù)監(jiān)控模型的輸出，確保不會(huì)意外泄露用戶(hù)數(shù)據(jù)。此外，透明的隱私政策和用戶(hù)教育同樣重要，讓用戶(hù)明白他們的數(shù)據(jù)如何被處理和保護(hù)?？傊?，LLM的安全隱私措施需要與其技術(shù)能力相匹配，才能確保用戶(hù)和企業(yè)的利益不受損害。
當(dāng)前的大模型發(fā)展得尚不成熟，面臨著諸多安全隱患與風(fēng)險(xiǎn)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展和研究的深入，未來(lái)大模型的攻防將在動(dòng)態(tài)抗衡中不斷升級(jí)，大模型需要應(yīng)對(duì)的新型安全威脅將不斷涌現(xiàn)和升級(jí)，建立完善統(tǒng)一的大模型安全評(píng)估框架、探索有效的防御機(jī)制、實(shí)現(xiàn) AI 大模型安全監(jiān)管和可控生成，以及促進(jìn)大模型安全生態(tài)的建設(shè)等任務(wù)迫在眉睫。LLM的安全隱私問(wèn)題是多方面的，涉及技術(shù)、法律和倫理等多個(gè)層面。隨著這些模型的應(yīng)用越來(lái)越廣泛，需要行業(yè)、研究者和政策制定者共同努力，確保LLM的安全可靠和對(duì)社會(huì)的積極影響。