◎ 科技日報記者 謝開飛 通訊員 許曉鳳 王憶希
只要穿上一件印有特殊圖案的T恤，就能騙過AI人體檢測系統，從而達到“隱身”效果？最近，這一場景真實上演。
近日，美國東北大學和麻省理工學院等研究機構，共同提出了基於對抗樣本的T恤衫。據研究人員介紹，這是全球首個在非剛性物體(如T恤)上，進行的物理對抗性實例。在AI人體檢測攝影頭下，無法準確地檢測出穿著該T恤的行人，同時無論衣服發生任何褶皺或變形，都能達到“隱身”效果。
這件特殊的T恤背後基於什麽原理？AI目標檢測技術的這種缺陷會不會導致安全問題的產生，要如何解決？就此，科技日報記者採訪了有關專家。
特殊圖案便能“騙過”AI的“眼睛”
在本次實驗中，從遠處走來一位穿著白T恤的男性和一位穿著黑T恤的女性，在AI人體識別攝影頭下，只能看到黑T恤女性的身影。
這是如何做到的？仔細觀察，白T恤上印有千變萬化的色塊，原來，研究人員使用了一種稱為對抗攻擊的方法來欺騙 AI。這些色塊在人眼看來與普通圖案無異，但對於機器來說，將造成一定干擾。
中國科學院自動化研究所王金橋研究員解釋說，這背後的原理主要在於，科研人員對原T恤上的內容進行修改，通過技術手段生成具有較強干擾性的圖案替換原有內容，從而改變T恤原有的視覺外觀，使得AI模型對數據標簽的預測發生混淆和錯誤，從而到達攻擊的目的。
“攻擊者通過構造微不足道的擾動來干擾源數據，可以使得基於深度神經網絡的人工智能算法輸出攻擊者想要的任何錯誤結果。而這類被干擾之後的輸入樣本被稱之為對抗樣本。”王金橋說。
對抗樣本在實際中主要用來檢驗一些安全系數較高的系統，通過對抗的方式來打磨AI模型的安全，抵禦可能面臨的安全風險。比如刷臉支付，它必須具有一定地抗攻擊能力，攻擊者不能簡單地利用照片或者定向修改原輸入從而破解用戶支付系統，否則將帶來災難性的後果。
圖片來源：視覺中國
曾有實驗表明，對於一個正確分類的熊貓圖像，在加入特定對抗樣本的干擾之後，人眼看來仍然是熊貓，但是AI圖像識別模型卻將其分類為長臂猿，且置信度高達99%。
不過，將對抗性圖案印在衣服上這種欺騙 AI 的方式有一個缺陷，只要圖案的角度和形狀發生變化，就會輕易被識破。過去在設計對抗樣本時，通常採用一些簡單的變換，比如縮放、平移、旋轉、亮度對比度調整以及添加自適應的噪聲等。
王金橋解釋說，這些簡單的變換，在產生靜態目標的對抗樣本時往往比較有效，但是針對行人這樣一種非剛體的動態目標則容易失效。動態目標由於運動以及姿態變化，將導致這些簡單變換發生較大的改變，從而使得對抗樣本喪失原有的性質。
“相比過去設計的對抗性樣本，本次攻擊的成功率更高。”福州大學數學與計算機科學學院、福建新媒體行業技術開發基地副主任柯逍博士指出，為應對人體移動造成的T恤形變，科研人員採用“薄板樣條插值”的方法來建模行人可能發生的各種形變。同時，在訓練階段使用T恤上棋盤圖案的格子來學習形變控制點位置變化關係，使得產生的對抗樣本更加真實，對人體形變的貼合度更高。
AI“視覺系統”受到多方因素干擾
除了對抗攻擊之外，在實際應用中也存在很多環境因素和人為因素，都可能導致AI人體檢測出現失誤。
如在自動駕駛場景下，由於氣象條件惡劣（如大雪、大霧等）或者光線及路況複雜，導致前方人員成像模糊等，會極大影響前方目標檢測性能。在監控場景下，可疑人員可能通過衣物、雨傘等的遮擋來干擾人工智能算法等。
“排除本身緊急製動功能問題，具備行人檢測功能的汽車也存在著小目標人體檢測失誤、檢測實時性等問題。”柯逍舉例說，美國汽車協會曾對具備行人檢測功能的多個品牌車輛做過一個測試，測試中用到的被撞目標包括成人假人與兒童假人。當車前出現兒童或車速達到48km/h時，僅一個品牌有一定概率檢測出行人，其余三家品牌在兩個場景下均未檢測到行人或最終撞到行人。
為何在AI視覺識別技術下的目標檢測模型如此脆弱？
圖片來源：視覺中國
“在人類眼中，輕微的圖像干擾並不會影響最終的判斷，但對於AI模型來說卻不是如此。”柯逍舉例說，有相關實驗表明，一個測試結果表現良好的圖像檢測與識別分類器，並沒有像人類一樣學習與理解到目標圖像真正底層的表示，而只是在訓練樣本上構建了一個表現良好的機器學習模型。
據了解，現有的AI視覺識別技術通常採用深度神經網絡，本質上是一種特徵深層映射，只是學習數據的統計特徵或數據之間的關聯關係，對數據量以及數據本身的豐富程度依賴較高，數據越多越豐富，則學習出來的特徵越具有判別力，也越能反映關聯關係。
王金橋表示，但真實情況是，數據往往非常有限，使得神經網絡學習到的模式也比較有限，難以讓神經網絡模型“見多識廣”，導致其對從未見過的數據往往表現不如人意。另一方面，這種統計特徵分布以及關聯關係，一旦被攻擊者獲知或者破解，就有可能針對性地修改輸入樣本，從而改變模型的輸出，達到攻擊的目的。
AI“視覺失靈”易誘發安全問題
穿上特殊T恤，達到所謂的“隱身”效果，其實就是“混淆”AI的“視覺系統”。AI目標檢測技術的這種缺陷是否會導致安全問題的發生？
柯逍表示，美國汽車協會的汽車輔助駕駛案例中，行人被漏檢或者未能及時被檢測到，都可能導致交通事故的產生。此外，安防監控下危險人物與物品的漏檢也可能導致安全隱患，不法分子可以利用對抗攻擊來發現目標檢測系統的漏洞，並進行攻擊。
“安全問題的產生可能有模型本身缺陷問題，如泛化性能不足，訓練數據單一，存在過擬合等現象。此時，應當盡可能地豐富訓練數據，並在模型訓練過程中加入防止過擬合的技術手段等來提升模型的實戰能力。”王金橋認為，另一方面，實際系統中往往也需要融合模型安全的考慮來增強結果可信度和模型的健壯性，加入攻擊模型的預判，提高對抗樣本的判別能力，從而降低安全風險。
當前，科研人員正不斷提出精度更高、速度更快的AI目標檢測模型，用於解決目標檢測技術中存在的漏檢、誤檢、實時性與魯棒性等問題。對於未來技術安全的構建，還需要做哪些努力？
王金橋認為，人工智能目前總體還處於起步階段，現有的人工智能算法本質上還是學習簡單的映射關係，並未真正地理解數據背後內容及潛在的因果關係。因此，其理論創新和產業應用還面臨著諸多的技術難點，需要科研人員持續突破，實現真正意義上的“智能”以降低應用的風險。
“其次，科研人員在進行技術研究以及新技術的應用中，應當盡可能的考慮各種安全問題，加入對抗樣本防攻擊模型，並做好相應的處理措施。”王金橋建議，從社會層面也應當建立和完善人工智能相關的法律法規，對技術的應用範圍加以引導，對可能出現的安全問題作出相應的指導和規範，營造更加全面和成熟的科技創新環境。
來源：科技日報
編輯：張爽
審核：管晶晶
終審：冷文生
香港九龍灣馬來街興發大廈15樓D室