影片直接變漫畫！GAN又有了新玩法

乾明 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

GAN，又有了新“玩法”。

最近，一個能夠將影片直接轉化成漫畫的工具，引發了很大關注。

它的效果是這樣的：

Twitter上不少學者去圍觀，體驗的效果是這樣的：

有網友評價稱，“漫威感”撲面而來。

效果直逼漫威？

目前，Demo已經放出，量子位以《復仇者聯盟3》中的一個片段為例，測試了一下實際效果，得到了這樣的一幅圖。

畫面看上去的確非常驚豔，但是……如果不看原影片，只看這個漫畫，你知道它講的是啥嗎？

......

現在給出正確答案：

體驗Demo時，可以自己上傳影片，也可以選擇YouTube中的影片。當然，他們也提供了一些樣本影片，可以直接體驗。

如上圖所示，在生成Demo時，還有一些選項，能夠影響生成的漫畫。

這些選項分別可以控制影片中幀的選擇、每一幀的提取方法、影像評估方法，以及漫畫的風格遷移模型。

這基本上也呈現出了項目團隊的大致思路：使用基於強化學習的關鍵幀提取算法，提取影片中有意義且有代表性的幀，然後對關鍵幀進行評估，確認主要的畫面之後，再進行使用GAN進行風格遷移，形成漫畫風格。

在風格遷移方面，研究團隊對當前已經發表的漫畫風格遷移模型進行了研究，最後基於CartoonGAN的方法，利用MS COCO數據集訓練出了自己的ComixGAN模型，作為Demo中的默認模型。

上手資料齊全

這個項目，來自於波蘭華沙理工大學。Demo網站提供了API接口。

GitHub上也有源代碼。

當然，論文也出來了。

不過，特別吐槽的一點是，這個Demo網站不穩定到讓人吐血，動不動就崩潰，有些時候直接罷工。

如果你對這個項目感興趣，且有足夠的“耐心”，下面的傳送門請收好：

論文：

https://arxiv.org/abs/1812.03473

Demo地址：

https://comixify.ii.pw.edu.pl/

GitHub：

https://github.com/maciej3031/comixify

—完—

活動報名

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字“交流群”，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字“專業群”，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。