每日最新頭條.有趣資訊

GitHub給老照片上色項目曝光: 用AI修複母親的舊照片

大數據文摘出品

作者:宋欣儀

出門在外,是不是才覺得媽媽的嘮叨分外可愛又令人懷念。母親節到了,翻箱倒櫃想找出一張媽媽的老照片,卻因為早已泛黃褪色而觸碰不到回憶的信號,記不得哪年哪月哪天,找不回那條曾經以為可以一直走都走不到盡頭的童年街巷。彎彎的月亮,搖在手裡的蒲扇,是回不去的流逝光陰,但能不能至少將這些回憶鐫刻在相片,然後緊緊攥在手裡?

最近圖像修複大火,從網友們用小程序“你我當年”一鍵修複老照片到GitHub上的熱門項目“用機器學習給黑白照片上色”,我們似乎找到一個保存記憶的良方。

GitHub上給老照片上色的一個項目:DeOldify

歲月從牆上剝落,小時候牽著媽媽的手哭著鬧著要買的那根冰棒,你還記得它的顏色嗎?用DeOldify給黑白照片上色,嘗試拚湊出曾經的家庭生活的歡樂色彩,也找回曾經的家庭時光的溫度。

假如母愛有顏色,假如思念有形狀,它不應該是黑白而模糊的。回憶應該是在明朗的月光下,沿著夏夜的風爬上家門口的梧桐,然後輕輕敲打我的窗台。

《黑暗中的舞者》講述一個母親來到美國為了治愈失明的13歲兒子,甘願自己被捕入獄,並且最後被判死刑。當死亡就在眼前時,巨大的恐懼和強烈的求生欲讓她嘶叫嚎哭,只有朋友告訴她兒子手術成功,不會失明時,才讓她鎮定下來,驚恐無助的女孩又回歸成為了從容的母親。是非常適合母親節觀看的一部影片。

這是影片最後行刑前比約克對兒子說的話:

親愛的兒子俊,別害怕,我從不孤單,這不是最後一首歌,沒有小提琴,合唱團那麽安靜,沒人轉圈。這是倒數第二首歌,記得我說過的話,把麵包包好,把床鋪好。

大火的小程序“你我當年”

網友用小程序“你我當年”還原女星模糊照片後的美貌:

我的媽媽可能有點普通,有時候還有點市儈。我們說“為母則剛”,但她當年也只是一個被捧在手心裡的小公主。快拿媽媽年輕時候的照片也試一下,看一看她當年的風采。

圖像修複技術一覽

AI修複官:記憶不再模糊

“你我當年”運用主要是CNN、GAN等AI技術,即卷積神經網絡和生成式對抗網絡”,讓人想到美圖秀秀的一鍵磨皮,它們雖然都利用了卷積神經網絡,但二者並不一樣。美顏軟體中常見的磨皮功能是做減法,將照片去掉細節,做模糊處理。常用的磨皮算法包括均值模糊、高斯模糊、中值濾波等,它們的去噪效果好,但視覺效果差。而你我當年是做加法,可以自動補充細節,即利用AI算法替代圖像中缺失或者損壞的數據。

圖像修複一般用“擴散”的方法來處理,這種方法將局部結構應用到其他部分。或者用“示例”的方法,每一次構建缺失部分的一個像素點(塊)保持和周圍像素點的一致性。但是當缺失部分很大時,這些方法會失效,因此就需要運用機器學習。由一個高階模型提供補充的信息,例如深度神經網絡。

深度神經網絡使用監督圖像分類,在監督圖像分類中,每個圖像都有一個特定的標簽,神經網絡通過一連串的基本操作運算來學習圖像到標簽之間的映射。通過輸入學習大量的數據集(數百萬張帶有成千個的標簽的圖像),神經網絡可以實現準確的分類,實施一個判別式預訓練的神經網絡來指導圖像重建。

原理類似訓練一個機器人,讓其對缺失信息很多的圖進行“腦補”;同時找來一個“鑒定師”提出意見,讓機器不斷鑽研,雙方不斷提升。

AI上色師:老照片重見光彩

同樣地,訓練有素的AI可以學會上色,生成對抗網絡的本質還是學習損失函數。通過先對照片進行圖像分割,AI可以區分出標誌性物體,認出圖像中的各種元素,比如樹木、天空、人臉、服裝……在輸入大量包含常見場景和人物的圖片後,AI會自動學習和記憶這些關鍵信息的顏色,比如樹葉是綠色、人臉是膚色等。因此,它可以很快開始對黑白照片裡的場景進行彩色化,填補缺失色彩。

而更進一步地,AI正在逐步從靜態照片進軍動態效果,近日,在Facebook的F8大會上,一個名為Jason Antic軟體工程師展示了用DeOldify為老電影上色,效果非常驚豔。

DeOldify的深度學習模型借鑒了當前多種主流技術方法,包括:自注意生成對抗網絡(Self-Attention Generative Adversarial Network)、兩個時間尺度更新規則(Two Time-Scale Update Rule)以及最重要的——NoGAN——他開發的一種新型GAN訓練模型,用來解決之前DeOldify模型中出現的一些關鍵問題。NoGAN訓練結合了GAN訓練的優點(絢爛的色彩),並消除了一些副作用(如視頻中閃爍的物體)。

GitHub地址:

https://github.com/jantic/DeOldify/blob/master/README.md

上色體驗地址:https://colorize.cc/

話說回來,今天母親節,給媽媽打個電話,然後把媽媽的畫像牢牢印在腦海吧。當然照片只是輔助,有些事還是要握在手心,刻在心頭。

獲得更多的PTT最新消息
按讚加入粉絲團