每日最新頭條.有趣資訊

一張貼紙欺騙Face ID!華為破解全球最厲害的人臉識別系統

新智元報導

來源:arxiv、Reddit

編輯:小芹,大明

【新智元導讀】只需要列印一張彩色貼紙,然後將其粘貼到帽子上,頂級Face ID系統瞬間“懵逼”了。來自華為莫斯科研究中心的新研究,破解了當前最好的公共Face ID系統。

一張貼紙能讓你在面部識別軟體面前 “隱身”!

今天,Reddit 上一條帖子火了:

我們使用對抗攻擊技術攻破了目前最好的公共 Face ID 系統 ——ArcFace

攻擊一個 AI 系統不是什麽新鮮事,但我們成功地在現實世界中做到了:只需要列印一張彩色貼紙,然後將其粘貼到帽子上,就能使人臉與真值的相似性顯著下降!甚至這種攻擊方法還可以遷移去攻擊其他頂級的 Face ID 模型。

這個研究的兩位作者 Stepan Komkov 和 Aleksandr Petiushko,來自莫斯科國立大學和華為莫斯科研究中心,他們公開了 demo,並開源了他們的方法。

正常使用的情況下,ArcFace 系統輕易識別出人臉:Person_1

接著,把一張普通的列印出來的彩色貼紙,貼到腦門上,看看會怎樣?

出人意料的是,ArcFace 系統識別不出這是一張 “人臉” 了。一個先進的人臉識別模型如此輕易就被 “攻破” 了!

只需一張貼紙,人臉識別系統瞬間“失靈”

不僅如此,研究人員嘗試了不同光照方向對系統的影響,包括關燈、側面打光和正面打光,ArcFace 系統均識別不出人臉。

關燈:認不出

側面打光:認不出

正面打光:認不出

直到把 “貼紙” 摘下,人臉識別系統馬上恢復了正常。

摘下貼紙,人臉識別系統恢復正常

看到這裡,很容易想起另一個近期的 “欺騙 AI 系統” 的研究:來自比利時魯汶大學幾位研究人員借助一張簡單列印出來的圖案,完美欺騙了 YOLO (v2) 開源對象識別系統。

如上圖所示,AI 系統成功檢測到左邊的人,而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板,在論文中被稱為 “對抗性補丁”(adversarial patch),正是這塊補丁 “欺騙” 了 AI 系統,讓系統無法發現畫面中還有一個人。

研究人員表示,他們設計的圖像可以將整個人隱藏起來,不會讓計算機視覺系統發現。但這個 “補丁” 並非萬無一失,即使它的角度發生了變化,AI 系統也能迅速 “發現” 畫面中的人類。

相比之下,莫斯科兩位研究人員的方法更 “穩健”,他們稱這種對抗攻擊為AdvHat,相比其他方法的優勢有:

利用帽子上的貼紙,對最先進的公共人臉識別系統進行了現實世界的對抗性攻擊。

這種攻擊很容易重現,只需列印一張彩色貼紙;

攻擊可以在不同的光照條件下工作;

提出了一種新穎的粘貼投影技術,使攻擊過程中的圖像具有真實感;

此外,同樣的攻擊還可以轉移到其他面部識別模型。

請看完整視頻demo:

看了演示,Reddit 網友紛紛表示 “很酷”、“非常有趣”,有人說:“感謝你們花時間和精力把這個已知概念從數字空間帶到現實世界。該領域內的大多數人都知道這是可以做到的,我已經知道並嘗試用對抗方法‘愚弄’AI 系統 4 年了,但這可能是我看到的第一個有人在現實世界對抗 Face ID 的視頻!”

接下來,新智元帶來對 AdvHat 方法的詳細解讀,以及實驗和結果數據。

四步攻擊,兩種轉換,誘導 Face ID 系統決策失靈

圖 1:一種攻擊人臉識別系統的新方法。帽子上的貼紙顯著降低了與 ground truth 類的相似性。左邊的對中,與 ground truth 的相似度下降了 0.592,右邊對下降了 0.429。

在 Face ID 系統的實際使用場景中,並不是每個被捕獲的人都是已知的。這就是為什麽與 top-1 class 的預測相似性應該超過某個預定義的閾值,才能認為面孔被識別出來了。

我們目標是創建一個可以粘貼在帽子上的矩形圖像,並誘導 Face ID 系統將人臉與ground truth 類的相似性降低到決策閾值以下

為了達到這個目的,我們使用了一個攻擊 pipeline,它的描述如下:

1) 我們對矩形圖像應用一個新的平面外變換(off-plane transformation),從而在貼在帽子上之後模仿矩形圖像的樣子。

2) 我們將得到的圖像投影到高質量的人臉圖像上,投影參數的擾動較小,使我們的攻擊更加穩健。

3) 將得到的圖像轉換為 ArcFace 輸入的標準模板

4) 減少了兩個參數的和:初始矩形圖像的 TV loss,得到的圖像的嵌入與 ArcFace 計算的錨點嵌入之間的餘弦相似度。

整個的 pipeline 如圖 2 所示。

圖 2:攻擊的整個流程架構。首先,我們將貼紙改造成真實的形狀。其次,我們把它投射到面部圖像上。第三,我們使用稍微不同的參數將圖像轉換為 ArcFace 輸入模板。最後,我們將模板輸入 ArcFace,評估餘弦相似度和 TV loss。這樣,我們可以得到梯度信號,用於修改貼紙圖像。

非平面貼紙轉換:

我們將在帽子上放置貼紙時發生的轉換分為兩個步驟:貼紙的平面外彎曲和貼紙的俯仰旋轉。圖 3 顯示了這兩個轉換。

圖 3:當在帽子上放一個矩形貼紙時,它會發生彎曲和旋轉。

實驗和結果

我們在實驗中使用 400×900 像素的圖像作為貼紙圖像。然後,將貼紙圖像投影到600x600 像素的人臉圖像上,然後將其轉換為 112x112 的圖像。

攻擊方法

如前所述,我們在將圖像輸入 ArcFace 之前隨機修改了圖像。我們構建了一批生成的圖像,並使用整個 pipeline 計算初始貼紙的平均梯度。我們可以直接計算梯度,因為每個變換都是可微的。

我們把攻擊分為兩個階段。在第一階段,我們使用的 step value 等於,動量等於0.9。在第二階段,我們使用 step value 等於,動量等於 0.995。TV loss 總是等於 1e - 4。

對抗性貼紙

圖4:兩個對抗貼紙的示例

典型的對抗貼紙的示例在圖 4,看起來貼紙上畫了一個凸起的眉毛。根據前人研究,眉毛是人類識別人臉的最重要特徵。

固定條件下的實驗

所有照片和真實世界的測試都在相同的條件下進行。我們評估了 10 個不同年齡和性別的人:年齡分別為 40 歲,23 歲,16 歲,5 歲(男性)和 36 歲,32 歲,29 歲,24 歲,24 歲,8 歲(女性)。每個人使用 3 張照片創建攻擊:我們需要計算真實的嵌入圖像中的簡單照片,計算基線相似度並獲得對抗性的圖像貼紙。我們要找到這個人的貼紙轉換參數。然後列印每個人的對抗貼紙,並用這些貼紙製作第四張照片以獲得最終結果。

我們使用 boxplot 來顯示所獲得值的分布(參見圖 5)。可以看出,對抗性貼紙明顯降低了與實際圖像的相似性。值得注意的是,在大多數情況下,對抗性貼紙在 0.5 以上時會降低與基礎事實的相似性。兩次降低相似度小於 0.5 的攻擊都與 10 歲以下的兒童有關。兒童的基線相似度初始值較低。

圖 6:我們為一些人額外製作了 11 張照片,以檢測多種條件下貼紙攻擊的威力

圖 7:各種拍攝條件的基線結果和最終相似度。不同的人以不同的顏色表示

變化條件下的實驗

為了檢驗我們針對不同拍攝條件的方法的穩健性,我們從前 10 張照片中選出 4 個人,又為他們製作了 22 張照片。這些照片分為 11 對。每對都是在相同的條件下照的。每對中的第一張照片是戴帽子的照片,用於評估基線相似度。第二張是帶有對抗性貼紙的戴帽子的照片,用於評估最終的相似度。8 對照片對應於頭部傾斜的不同組合和形式(向前傾,向後傾,向左轉,向右轉),3 對照片對應於不同的照明條件。拍攝條件示例如圖 6 所示。值得注意的是,我們繼續使用之前的貼紙,而不進行新的攻擊。

結果如圖 7 所示。儘管最終的相似性增加,但攻擊仍然有效。這裡不想給出什麽結論,因為測試裝置非常小,但我們認為,實驗結果對於頭部的不同旋轉形式和組合是穩健的。

我們發現照片上貼紙的較大區域會導致相似性較低。當頭部向前傾斜時,最終的相似性仍然小於 0.2。當頭部逐步抬起,相似度會逐漸增加。使用更好的投射和渲染技術以及更大的對抗配飾(比如使用帽子部分的全部區域進行攻擊)可以讓監控攝影機完全無法識別。

圖 8:不同模型上一次攻擊的基線和最終相似性之間的差異

可轉移性的實驗

最後,我們檢查了對其他 Face ID 模型的攻擊的穩健性。這些模型取自 InsightFace Model Zoo 。這些網絡具有不同的體系結構,與 LResNet100E-IR,ArcFace @ ms1m-refine-v2 相比,這些網絡使用不同的損失函數和數據集進行訓練。

我們使用第一個實驗中的照片來評估相似度:全臉照片,戴帽子的照片,帽子上帶有對抗貼紙的照片。我們計算了 10 個人中每個人的基線結果和最終相似度。使用箱線圖在圖 8 中描繪了每種模型的基線和最終相似度之間的差異。

結果顯示,我們的真實世界的攻擊行為就像數字域中的常見對抗性攻擊一樣。儘管攻擊的強度降低,但人仍然很難識別出來。

論文:

https://arxiv.org/pdf/1908.08705.pdf

開源地址:

https://github.com/papermsucode/advhat

獲得更多的PTT最新消息
按讚加入粉絲團