還敢吹“毫無PS痕跡”？小心被Adobe官方AI打臉

編者按：本文來自微信公眾號“量子位”（ID：QbitAI），作者郭一璞。36氪經授權轉載。原標題“還敢吹「毫無PS痕跡」？小心被Adobe官方AI打臉”。

自從有了PS，“有圖有真相”就成了一句笑話。

比如朋友圈那些忽悠人的微商：?

?馬爸爸為微商月台？

假的吧？

當阿里公關吃素的呀？?

?“貌美”的微商小姐姐和思聰他爸一起出席會議？

思聰呀，你爸爸糊成這樣了你知道麽？

不過，現在，馬裡蘭大學與開發出PS的那家逗比公司（Adobe）合作，開發了一項新技術：

一個能找出PS痕跡的AI。

這些P圖騙人黨徹底被打臉了。

火眼金睛：拚貼、複製、刪除一招搞定

關於這個火眼金睛的AI技術的論文發表在了CVPR上。

這項技術能檢測出多種P圖手法，包括拚貼、複製和刪除的元素。

拚接

這項技術可以找出那些後期加上去的元素。

比如，這張巨石前的向日葵：

?其實是P的，原圖長這樣：?

?根本沒有向日葵，只有光禿禿的岩石和海鳥，向日葵是後期P上去的。

複製

為了顯得沒有違和感，許多人喜歡把原圖中的素材扣下來，複製一份，縮小一下再粘回原圖的另一個位置。

比如，2008年的時候，伊朗為了嚇唬人，發布了一張發射四枚飛彈的照片：

?然後被眼尖的吃瓜群眾發現，從左至右第三枚飛彈跟第二枚飛彈長的一毛一樣，甚至飛彈煙霧尾巴上的漸變顏色都一樣。

而且，發射飛彈的地面上，中間那片雲和右邊那片雲也一模一樣，連空中飄的部分都不放過！

刪除

看到不想出現在照片上的東西，那就把它抹掉，用周圍的顏色材質蓋住它。

比如這張照片，看起來……算了，看不出來是啥。?

?但它的中間被塗抹了一部分，原圖長這樣：?

?冒出了一條小魚的頭，大概是被設計師拿出來做剁椒魚頭了吧。

Adobe的新AI技術就可以識別出這3種P過的圖，是否被添加了什麽額外的東西、是否有複製的元素、是否被刪除抹掉了什麽東西。

找茬秘技の修煉法則

首先，需要準備一個Faster R-CNN網絡，來執行端到端的訓練，這個網絡在檢測語義對象時表現出了良好的性能。

現在，我們按照這樣一個原理來偵破圖片中的造假區域：

?和普通的圖片檢測不同，Adobe家的這個技術用了雙流檢測的方法，即：

一個RGB流

RGB流用來尋找PS痕跡，比如，向日葵圖中，向日葵邊緣和背景的岩石之間明顯不自然，對比度過高。

??

這就是RGB流需要尋找的“PS痕跡”。

同時，還需要用到區域提議網絡（Region Proposal Network, RPN），它是Faster R-CNN的一部分，用來找那些看起來很可疑的部分。

一個噪聲流

圖片是有“噪聲”的。

當一張圖上的元素被扣下來放到另一張圖上時，就會出現一個明顯的噪聲不同的區域。

當然，肉眼是無法看到的，但是機器可以判斷出來。

比如這張圖片上，格子地板上放了一個紅色正方體。

?這張圖片看起來仿佛很正常，色調和諧，光影方向正常，沒有什麽異樣的明暗對比。

但是，它的噪聲流圖片異常詭異：?

?正方體的前面出現了一個圓洞！

雖然在正方體和淺藍色（本圖為深色）地板上看不出什麽問題，但是在黑色（本圖為淺色）地板上格外明顯。

有一個圓形的東西，在正方體的前方，憑空消失了。

所以，很明顯，這片區域有鬼。

實際上，原圖是這樣的：?

?紅色正方體前本來有一個黃球，在交給噪聲流監測的圖片上，黃球被P掉了。

池化&對比結合

在可疑圖片經過RGB流和噪聲流兩條線索的監測之後，結果被放進了一個池化層進行池化。

分別對可疑區域得到不同的結果後，兩種方法的結果加以對比，被P過的區域就可以明顯找出來了。

實戰演練

在實際應用中，雙流效果的確不錯。

比如這張圖，看起來大概是日本的某個廠房旁邊的停車場：?

?RGB流發現，左邊藍色的牌子上，兩塊牌子相鄰處的上半部分（紅框部分）實在是太詭異了。

放大看，是這樣：

?而噪聲流則監測出了更多的bug：

?一片黑漆漆！

整張圖上的一個半藍色廣告牌，都不對勁。

一定是有人為了掩藏什麽內容，把最左邊的廣告牌和第二個廣告牌的上半部分塗成了藍色。

所以真實的效果是下圖，廣告牌區域的確被P過。

?再來看下一個例子，貨架上的手包：

?一眼看上去好像沒什麽毛病，就是同一款式深色淺色的兩個包包而已。

但是，RGB流表示，兩個包包都有問題：?

?而噪聲流的結果有些不一樣，右邊的深色包包和它上面的標簽都有問題：?

?既然你們意見不一樣，那取個交集吧，右邊的深色包包造假是石錘了：

?來，公布正確答案：?

?找對了，本AI經驗值+1。

可以看的出，相比此前的研究，馬裡蘭大學和Adobe研發出的這個新型雙流操作檢測框架，不僅通過RGB流對視覺篡改偽像建模，而且能發現可疑區域噪聲特徵的差異。

作者在論文中寫到，新研究的方法與此前最先進的方法相比，可以提高四個影像處理數據集的性能。

利空P圖黨

雖然，目前這項技術只是一篇論文，Adobe公司還沒有將其產品化。不過Adobe官方對國外科技媒體THE VERGE說，他們準備繼續推進該項技術，用來監測數字媒體中的虛假圖片資訊。

(*σ??`)σ 希望逗比家快點做出來，接入微信朋友圈，戳穿微商和蛇精臉們的真相。

最後，附論文傳送門~

Learning Rich Features for Image Manipulation Detection

作者：Peng Zhou，Xintong Han，Vlad I. Morariu，Larry S. Davis

發表於CVPR 2018

arXiv：https://arxiv.org/abs/1805.04953

數據集：https://www.nist.gov/itl/iad/mig/nimble-challenge-2017-evaluation