每日最新頭條.有趣資訊

一文看盡深度學習這半年

原作:Ross Taylor

嶽排槐 編譯整理

量子位 出品 | 公眾號 QbitAI

追蹤深度學習這樣一個大熱領域的進展並不容易。

為了解決這個問題,年初我和Robert Stojnic搞了Papers With Code,這個網站把深度學習的研究論文和代碼結合在一起。

這也能讓我們有機會鳥瞰這個領域,包括研究趨勢、熱門框架以及哪些技術正受到青睞。這篇博文就用來分享這些。

以下的趨勢總結,都來自於網站的數據。我們一起來總結下2018下半年的關鍵突破,以及深度學習社群的未來之路。

最熱模型:BERT、vid2vid和graph_nets

Google AI十月發布的BERT論文,引發了深度學習界的強烈關注。這篇論文提出了一種深度雙向Transformer模型。BERT刷新了11種NLP任務的最佳表現,包括斯坦福問答數據集(SQuAD)。

Google AI隨後開源了這篇論文的代碼,一個月的時間,BERT在GitHub上已經獲得8000多次的標星,而且還在快速增加。

論文:

https://arxiv.org/abs/1810.04805

GitHub地址:

https://github.com/google-research/bert

NVIDIA的Video-to-Video(vid2vid)合成論文,介紹了一個效果驚人的生成模型,過去幾年裡這也是最受歡迎的深度學習領域之一。

這篇論文利用新穎的順序生成器架構,以及一些諸如前景和背景先驗(foreground-and-background priors)等設計特徵,來修複時間不連貫的問題,進而提高性能。

NVIDIA也開源了代碼,成為今年下半年第二大最受歡迎的實現。

論文:

https://arxiv.org/abs/1808.06601

GitHub地址:

https://github.com/NVIDIA/vid2vid

Google DeepMind關於圖網絡(graph_nets)的論文,在年中的時候獲得了大量的關注。這個研究,為深度學習提供了一種數據結構化的新方向。這是今年下半年第三大最後歡迎的實現。

論文:

https://arxiv.org/abs/1806.01261v3

GitHub地址:

https://github.com/deepmind/graph_nets

最流行的項目:DeOldify、BERT和Fast R-CNN

DeOldify是一個使用GAN修複黑白老照片以及重新上色的項目。

這個項目在深度學習社群引發極大的興趣,作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前,這個項目在GitHub上超過4000標星。

GitHub地址:

https://github.com/jantic/DeOldify

BERT的PyTorch實現,也獲得了廣泛關注。

這個實現是韓國小哥Junseong Kim完成的,他表示代碼很簡單,而且也易於理解,其中一些代碼基於The Annotated Transformer。目前這個項目在GitHub上獲得1500多標星。

GitHub地址:

https://github.com/codertimo/BERT-pytorch

最後要介紹的,是Mask R-CNN的Keras/TensorFlow實現

這個項目的架構,基於一個Feature Pyramid Network和一個ResNet101 backbone。這個庫可用於多種場景,例如3D場景重建、自動駕駛的目標檢測等。目前這個項目在GitHub上標星超過8000。

GitHub地址:

https://github.com/matterport/Mask_RCNN

數說現狀

NLP和GAN最熱

查看Top50的實現,最熱門的資料欄是生成模型和自然語言處理。

在生成模型中,GitHub上流行的實現包括:vid2vid,DeOldify,CycleGAN以及faceswaps。

在NLP領域,GitHub上流行的倉庫包括:BERT,HanLP,jieba,AllenNLP以及fastText。

7篇新論文中,只有1篇附代碼

每隔20分鐘,就會出現一片新機器學習論文

自從7月以來,機器學習論文的月增長率一直在3.5%左右,年增長率約50%。這意味著每個月2200篇機器學習論文被發布,明年約有3萬篇新機器學習論文會被發布。

這個速度比摩爾定律還快。

框架雙寡頭:TensorFlow和PyTorch

最後,如果你還沒聽說過Papers With Code,下面是傳送門:

https://paperswithcode.com/

年度評選申請

加入社群

量子位AI社群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字“交流群”,獲取入群方式;

此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號(QbitAI)對話界面回復關鍵字“專業群”,獲取入群方式。(專業群審核較嚴,敬請諒解)

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。

獲得更多的PTT最新消息
按讚加入粉絲團