林青霞舊照換新顏，AI圖像修複術神助攻

新智元推薦

來源：圖靈TOPIA(ID：turingtopia)

作者：千鳥

編輯：李爾克

【新智元導讀】前不久，AI換臉楊冪，“復活”哥哥都火了一把。近幾日，氣質美女林青霞也被AI舊照換新顏，猝不及防的上了熱搜。快來一睹林青霞的傾國容顏吧！

AI修複的林青霞猝不及防上了熱搜。

網友們紛紛感歎好美好有氣質，甚至還有人起哄說道：“趕緊把7080年代的時候的港台男女明星都修複一下，那時候顏值基本上個個都賞心悅目。”

先給大家上一波福利。

上圖中既有林青霞拍電影時的劇照，也有日常生活的照片。經過AI修複後，原本模糊，噪點極大照片變得相對較為清晰。用網友的話說，大方立體的五官，富有線條感的臉部輪廓，AI修複的林青霞，真的美到讓人驚歎！

圖像修複術與一鍵磨皮不同

在一片拜倒、讚美的聲浪中，也有網友提出了疑問：“這就是一鍵磨皮”？

儘管修複老照片，一鍵磨皮，都利用了卷積神經網絡，但二者並不一樣。

修複老照片是利用AI算法替代圖像數據中缺失或者損壞的部分。而一鍵磨皮是在保護頭髮、眼睛等細節部位外，其它部位進行模糊處理，相當於是一種粗糙的去噪聲的方式，並不能很好的去除模糊和提升清晰度。

常用的磨皮算法包括均值模糊、高斯模糊、中值濾波等，它們的去噪效果很好，但視覺效果太差。效果比較好的去噪算法是雙邊濾波算法。

一位接受採訪的圖像識別專家告訴我們，AI修複的林青霞照片採用的算法包括，人物區域監測，任務區域去噪音，去模糊等算法。

通常來說，圖像修複包括多種任務：降噪/去噪、超分辨率重建、圖像填充、圖像去模糊、JPEG去塊等。

傳統上，圖像修複可以使用基於擴散方法來處理，這種方法將局部結構傳播到位置部分，或者基於示例的方法，每一次構建缺失部分的一個像素點（塊）同時保持和周圍像素點的一致性。

當缺失部分很大時，這些方法會失效，因此需要一個額外的部件提供合理的想象力（來自機器的幻覺）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經網絡計算的那些。

依賴預訓練神經網絡的幻覺來填補圖像中的大洞。深度神經網絡使用監督圖像分類。在監督圖像分類中，每個圖像都有一個特定的標簽，並且神經網絡通過一連串的基本操作運算來學習圖像到標簽之間的映射。

當在巨大的數據集（數百萬張帶有成千個的標簽的圖像）上被訓練後，神經網絡具有卓越的分類表現並且偶爾可以超越人類的準確率。實施一個判別式預訓練的神經網絡來指導圖像重建，其中神經網絡的最後一層在圖像修複問題中被直接運用。

在圖像修複過程中，最值得關注的信息有哪些呢？上述接受採訪的圖像識別專家告訴我們，“圖像修複過程中，人物區域的識別信息，相關圖片的噪聲強度，模糊程度信息很關鍵。”

結合深度學習的圖像修複是如何實現的？知乎答主QZhang 為大家整理了13篇論文，供學習參考：

CVPR 2016的Context-Encoders（CNN+GAN，鼻祖級的 NN修複方法）。

鏈接：

https://arxiv.org/abs/1604.07379

CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，結合了風格遷移的思路。

鏈接：

https://arxiv.org/abs/1611.09969

ICCV 2017的on demanding learning(本質上還是Context-Encoders的衍生版)。

鏈接：

http://vision.cs.utexas.edu/projects/on_demand_learning/

SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local兩個判別器的改進)。

Github代碼：

https://github.com/satoshiiizuka/siggraph2017_inpainting

ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷積，能夠修複任意非中心、不規則區域）。

鏈接：https://arxiv.org/abs/1804.07723

CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 後續還有個工作: Free-Form Image Inpainting with Gated Convolution。

Github代碼：

https://github.com/JiahuiYu/generative_inpainting

ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大左旺孟教授組的工作）效果也不錯。

Github代碼：

https://github.com/Zhaoyi-Yan/Shift-Net_pytorch

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。

鏈接：

https://arxiv.org/pdf/1711.08590.pdf

ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡稱PGN，採用了由外至內的步進式修補策略。

Github代碼：

https://github.com/crashmoon/Progressive-Generative-Networks

NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。

Github代碼：

https://github.com/shepnerd/inpainting_gmcnn

ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 採用邊緣推斷信息的思路進行重建。

Github代碼：

https://github.com/knazeri/edge-connect

CVPR 2019的Foreground-aware Image Inpainting, 思路類似於上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區域進行修複。

鏈接：https://arxiv.org/abs/1901.05945

CVPR 2019的Pluralistic Image Completion。

鏈接：https://arxiv.org/abs/1903.04227