每日最新頭條.有趣資訊

從奧巴馬假視頻到ZAO,換臉和人臉檢測技術發生了什麽?

選自Medium

作者:Ajinkya Khalwadekar

機器之心編譯

參與:Panda、蛋醬

這是一篇不錯的人臉操縱和檢測技術綜述文章,結構和邏輯清晰。機器之心進行了摘要編譯,希望能夠幫助大家一覽該領域的發展過程。

論文地址:https://arxiv.org/pdf/2001.00179v1.pdf

大規模公共數據集的免費獲取和深度學習技術(尤其是 GAN)的快速發展,導致以假亂真的內容大量出現。在假新聞時代,這些偽造內容對社會產生了一定的影響。

本文對人臉圖像操縱技術進行了全面的綜述,包括 DeepFake 方法以及檢測此類操縱技術的方法。具體而言,本文綜述了四種人臉操縱類型:整張人臉的合成、換臉(DeepFake)、人臉屬性操縱和人臉表情操縱。

對於每種人臉操縱類型,本文詳細介紹了其相關的人臉操縱技術、現有的公共數據庫,以及用於評估人臉操縱檢測方法的重要基準,包括對這些評估結果的總結。

在本文提及的多個可用數據庫中,FaceForensics++是最常用於檢測人臉身份轉換(即「換臉」)和人臉表情操縱的數據庫之一,基於該數據集的操縱檢測準確率在 90-100% 範圍內。

此外,本文還討論了該領域的發展趨勢,並對正在進行的工作進行了展望,如近期宣布的 DeepFake 檢測挑戰賽(DFDC)。

引言

近期,通過數字操縱(尤其是 DeepFake 方法)生成包含人臉信息的假圖像和假視頻,已成為公眾關注焦點。

「DeepFake」是一項基於深度學習的技術,通過把圖像或視頻中的人臉換成另一個人的臉,來創建假圖像/視頻。

該詞最早出現於 2017 年底,一位名為「deepfakes」的 Reddit 用戶開發了一種機器學習算法,該算法可將名人的人臉換到色情視頻中。除了偽造的色情作品以外,還有一些殺傷力更強的假內容應用方式,比如假新聞、金融詐騙等。

因此,原本專注於通用假圖像和假視頻檢測的研究領域重新煥發了生機,轉而將更多的精力放在如何檢測圖像和視頻中的人臉操縱上。研究者對人臉操縱檢測領域的諸多努力是基於有關生物特徵識別反欺騙的先前研究和數據驅動的現代深度學習技術展開的。學術頂會上相關研討會的數量越來越多,NIST 和 Facebook 又分別主辦了 MFC2018 和 DFDC 等競賽,這些都表明社區對假人臉檢測的興趣不斷增長。

之前,因缺乏複雜編輯工具和領域專業知識、操作過程複雜且耗時,人臉操縱的數量和逼真度受到了局限。例如,該領域的早期研究《Video Rewrite: Driving Visual Speech with Audio》利用不同的音軌修改說話人的嘴唇運動(具體是通過將音軌的聲音和說話人的人臉形狀連接起來實現的)。

而現在,自動合成並不存在的人臉或者操縱圖像或視頻中的真實人臉變得更加容易,這取決於以下幾個因素:1)大型公共數據的可獲取;2)深度學習技術的進化(這免除了人工編輯步驟)。

《Synthesizing Obama: Learning Lip Sync From Audio》展示了之前技術的進化版,該研究生成了高質量的奧巴馬演講視頻,目標視頻中奧巴馬原本的發言已被改變。

現在,最逼真的人臉操縱技術已經取代了上述研究所使用的方法,它們將 CNN 與 GAN 結合起來。因此,ZAO和 FaceApp 等開源移動應用的發布,使得任何人都可以創建假圖像和假視頻。研究社區對這些日益複雜和逼真的操縱內容作出了回應,目前他們正付出巨大努力來改進人臉操縱檢測方法。

本文對人臉操縱及檢測技術進行了綜述,首先我們來看人臉操縱的類型。

人臉操縱的類型

根據操縱的級別,人臉操縱技術可分為四類:人臉合成、換臉、人臉屬性操縱和人臉表情操縱,參見下圖 1:

圖 1:每個人臉操縱類別的真假圖像示例。

接下來我們按照從高級到低級的順序,介紹這四種人臉操縱類型:

人臉合成:通常利用強大的 GAN(如近期的 StyleGAN 方法)創建完全不存在的人臉。這些技術獲得了驚人的結果,其生成的高質量人臉圖像栩栩如生。圖 1 展示的人臉合成樣本即通過 StyleGAN 生成;

換臉:即將一個人的臉換成另一個人的臉。該領域通常採用兩種不同的方法:1)經典的計算機圖形學技術,如 FaceSwap;2)新型深度學習技術 DeepFake,如近期的移動應用 ZAO;

人臉屬性操縱:即修改人臉的某些屬性,如發色、膚色、性別、年齡、是否戴眼鏡等。該操縱過程通常使用 GAN 完成,如 StarGAN。該類型的典型示例是流行的移動應用 FaceApp;

人臉表情操縱:即修改人臉表情,如將一個人的面部表情遷移到另一個臉上。最流行的技術之一是 Face2Face,該技術可實時進行。近期方法展現出巨大潛力,可以生成高質量的視頻,上述視頻中人物(如奧巴馬)的發言已被改變。

人臉合成

相關的操縱技術和公共數據庫

下表 1 總結了人臉合成研究中主要使用的公共數據庫。必須強調的是這些數據庫中不包含真實人臉圖像樣本。該領域研究者通常使用常見公共數據庫中的真實人臉圖像來訓練系統,如 CelebA [23]、FFHQ [19]、CASIA-WebFace [24] 和 VGGFace2 [25]。

表 1:人臉合成領域的公共可用數據庫。

獲得更多的PTT最新消息
按讚加入粉絲團