AI系統(tǒng)遭遇新型"視覺偽裝"攻擊：高分辨率圖片暗藏惡意指令！
ice 隨著人工智能尤其是大語言模型（LLM）在各個領域的廣泛應用，其安全性問題也日益受到關注。近日，知名科技媒體 BleepingComputer報道稱，美國網(wǎng)絡安全公司 ??Trail of Bits?? 的研究人員發(fā)現(xiàn)了一種??新型的AI攻擊手法?。?
攻擊者通過將??惡意提示詞（prompt）隱藏在高分辨率圖片中??，利用AI系統(tǒng)在接收圖像時進行的??自動降采樣（downsampling）處理??，使原本不可見的指令在處理后“顯現(xiàn)”出來，并被大語言模型誤認為是用戶輸入的正常指令加以執(zhí)行，進而可能造成??用戶數(shù)據(jù)泄露、隱私侵犯甚至更嚴重的安全后果??。
攻擊原理：從“看不見”到“被執(zhí)行”
這一攻擊手法的??核心在于利用圖像處理過程中的信息損失與重構機制??。具體而言：
?惡意指令的隱藏??
攻擊者首先在一幅高分辨率的圖片中，以極其微小或特殊編碼的方式，??嵌入一段人類肉眼無法察覺的文本指令??。這些指令可能是用于誘導AI泄露敏感信息、執(zhí)行非授權操作，或進一步下載惡意內容。
降采樣處理觸發(fā)“顯現(xiàn)”??
當這張圖片被上傳至某些AI系統(tǒng)（例如集成圖像識別與文本理解的多模態(tài)大模型）時，系統(tǒng)通常會對其進行??降采樣處理??，即將高分辨率圖像壓縮為較低分辨率以節(jié)省計算資源或加快處理速度。
在這一過程中，圖像的部分高頻細節(jié)被丟棄，但??嵌入的特定指令在降采樣后的圖像中可能以某種方式“重新顯現(xiàn)”或形成可被模型識別的文本模式??。
大語言模型的誤讀與執(zhí)行??
經(jīng)過降采樣后的圖像被送入大語言模型或多模態(tài)模型進行解析，模型可能將圖像中“浮現(xiàn)”的那段指令誤認為是用戶輸入的文本提示，進而??按照該指令執(zhí)行相應操作??，比如輸出隱私數(shù)據(jù)、調用敏感API、訪問用戶文件等。
這一攻擊的成功實施，依賴于對圖像處理流程與AI模型輸入機制的深入理解，以及對模型“視覺-語言”交互過程中潛在漏洞的精準利用。
據(jù)報道，此次攻擊方法的提出者——Trail of Bits的兩位研究人員 ??Kikimora Morozova 與 Suha Sabi Hussain??，其設計思路受到了??2020年德國布倫瑞克工業(yè)大學（Technische Universit?t Braunschweig）一項關于圖像縮放攻擊的理論研究啟發(fā)??。
在原研究中，學者們揭示了在圖像從高分辨率縮放到低分辨率的過程中，由于插值算法與像素重組的機制，某些原本不可見或極難察覺的信息可能在縮放后以某種形式保留或重構，從而被特定算法或系統(tǒng)“讀取”。
這一理論最初多用于圖像取證與隱寫術研究，而如今，卻被安全專家“逆向思維”地應用于??對抗AI系統(tǒng)的安全防線??。
潛在威脅：數(shù)據(jù)泄露與模型濫用風險加劇
此類攻擊一旦被大規(guī)模利用，其帶來的安全風險不容小覷：
- ??數(shù)據(jù)泄露??：如果大語言模型在誤執(zhí)行惡意提示后，將用戶的私人信息、對話記錄、賬戶憑證等內容輸出，將直接導致用戶隱私的嚴重泄露。
- 模型濫用與越權操作??：攻擊者可通過構造特定指令，誘導模型執(zhí)行本應受限制的操作，如訪問系統(tǒng)文件、調用外部API、發(fā)起網(wǎng)絡請求等，從而進一步危害整個應用生態(tài)的安全。
- ?隱蔽性強，檢測困難??：由于惡意指令隱藏于圖像之中，且僅在特定處理流程下才“顯現(xiàn)”，傳統(tǒng)的文本審查、圖像審核與輸入過濾機制很可能無法有效識別此類攻擊，使得防御變得更加棘手。
- ??多模態(tài)AI系統(tǒng)成為重災區(qū)??：隨著圖像、視頻、音頻與文本的多模態(tài)融合技術快速發(fā)展，越來越多的AI系統(tǒng)開始同時處理多種類型的數(shù)據(jù)輸入。
AI技術的迅猛發(fā)展，讓圖像、文本、語音等多種信息形態(tài)的融合成為可能，也賦予了人工智能更強大的能力。
然而，能力越強，責任與風險也越大。
此次由Trail of Bits研究人員揭露的新型AI攻擊手法，不僅是對大語言模型安全機制的一次警示，更是對整個AI行業(yè)在多模態(tài)時代所面臨安全挑戰(zhàn)的生動寫照。
【記者注】?? 目前，Trail of Bits尚未公開該攻擊手法的具體技術細節(jié)，以避免被惡意利用。相關研究成果可能會在后續(xù)學術會議或安全論壇上進一步披露。用戶在使用集成圖像與文本功能的AI服務時，也應提高警惕，避免上傳來源不明或可疑的圖像內容。
免責聲明：本文部分文字、圖片、音視頻來源于網(wǎng)絡、AI，不代表本站觀點，版權歸版權所有人所有。本文無意侵犯媒體或個人知識產權，如有異議請與我們聯(lián)系。
