Deepfakes給電影換臉 AI也看不出來：95％萌混過關

車栗子發自凹非寺

量子位出品 | 公眾號 QbitAI

就算已經被全網封殺，給無數小電影換臉的Deepfakes也不會淡出人們的視線。

來自差評：十元小姐姐的合成小電影

畢竟，它就像冬日裡的陽光，給萬千少年送去女神的溫暖。

人類嘛，明知是換了臉，但只要看上去夠自然，不影響視聽享受，就不會有再多要求。

但是，AI看影片可不是為了痛快：比如在安防領域工作的人臉識別系統。

那麽，人臉識別AI能看出哪些影片是Deepfakes生成的麽？

用GAN換了臉

瑞士Idiap研究所的科學家，用GAN給300多段影片換臉，然後測試了兩套先進的人臉識別系統：一個基於VGG，一個基於Facenet。

結果發現，兩隻AI都分不清，哪些影片被換了臉。

換臉要自然

要考驗人臉識別系統是否目光如炬，先要有一個優秀的數據集。

研究人員加工了公開的VidTIMIT影片數據集。VidTIMIT裡面，每個主人公都有10段影片。

左為A，右為B，兩者皆為原始影片

從數據集裡選出了16對(32位) 長相接近的主人公，把一個人 (A) 的臉部特徵，用GAN換給同組的另一個人 (B) 。

就這樣，生成了320段換臉影片。

左為B (原始) ，右為A的臉給了B

然後，按照影片的分辨率分為高清 (HQ，128x128) 和低清 (LQ，64x64) ，就有了620段換臉影片 (不知為何少了20段)。

現在，換臉數據集已經可以下載了，叫DeepfakeTIMIT，傳送門在文底。

人臉識別已陣亡

數據集有了，就要選擇測試對象。

研究人員決定讓兩個開源的預訓練模型接受測試：一個基於VGG，一個基於Facenet。

兩個模型都是如今人臉識別領域的前沿。

a的臉給了b，就得到c

95%分不清

考核標準是誤識率(FAR) ，指的是兩段影片裡的人物不同、卻被AI判斷為同人的概率 (越低越好) 。

第一步，給AI看沒有換過臉的原始影片，計算出一個判別用的閾值(Threshold) 。後面的測試裡，如果置信分高於閾值，AI就判斷為同人。

第二步，給AI看換臉影片，得出各自的誤識率：

VGG (LQ) ：88.75%

VGG (HQ) ：85.62%

Facenet (LQ) ：94.38%

Facenet (HQ) ：95.00%

誤識率高，表示VGG和FaceNet都沒有敏感地察覺影片被換了臉，還以為是同樣的人。

對比一下，隻投喂天然影片的時候，兩個模型的誤識率分別是0.00%和0.03%。可在投喂換臉影片之後，AI就被嚴重迷惑了。

脆弱的人臉識別

所以團隊覺得，在人臉識別系統之外，還需要另外的檢測方法，來分辨Deepfake換臉影片。

另外的打假技巧

研究人員用的第一種方法是讀唇(Lip-Sync) ：

把嘴唇動作和影片裡的原始音頻做對比，如果發現明顯不同步，就判斷為換過臉。

但讀唇法並沒有明顯的效果：

FRR是同人被誤判為非同人的概率，越小越好，EER為FRR=FAR的點，亦越小越好

其他方法，就是單純基於影像的了。

其中，表現最好的是把影像品質測量法 (Image Quality Measures) 和支持向量機(Support Machine Vector) 結合在一起的方法：

IQM+SVM，高清測試的EER只有8.97%，低清測試的EER只有3.33%。這樣看來，奏效的依然是基於影像的算法。

影片換臉過後，畫質會受到影響

而為高清影片換臉，通常比低清影片更難識別。而換臉技術日新月異，今後的Deepfake影片，AI可能就更難察覺了。

輝煌與憂傷

讓人類飄飄欲仙，也讓人臉識別AI無動於衷，影片換臉果然是一門得天獨厚的技能。

去年12月，一位用戶名為deepfakes的偉人，把一段AI加工的小電影傳上Reddit，原本動作片的女主角，換成了神奇女俠。沒過多久，同名算法也開源了。

如今又到年關，世界各地的人類也在這技術的恩澤之下，幸福了一年。

雖然，Reddit討論版不在了，GitHub開源代碼沒有了，PornHub也全面清除了用Deepfakes算法做的影片；

但那些已經用上了算法、或是用上了FakeApp傻瓜應用的人們，依然可以繼續享用，也可能用自己的方式繼續傳播Deepfakes。或者，乾脆開發新的換臉技能。

來自CMU：換臉也不是獨門絕技

肖像權當然不容侵犯，但如果類似的技術只是自用而不傳播，有Deepfakes的世界也可以很美好。

論文傳送門：

https://arxiv.org/pdf/1812.08685.pdf

數據集下載：

https://www.idiap.ch/dataset/deepfaketimit

—完—

年度評選報名

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字“交流群”，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字“專業群”，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

喜歡就點「好看」吧 !