北大朱占星：頂級會議瘋狂投稿下的AI現狀 | 專欄

作者：朱占星博士（北京大學大數據科學研究中心）

原載：知乎專欄-人工智能雜談

地址：https://zhuanlan.zhihu.com/p/44304016

量子位獲授權轉載

看一下上次更新都是五個月前了，期間經歷了準備NIPS 2018的投稿，參加幾個暑期在國內舉辦的人工智能的學術會議進行交流，期間的北大交叉學院數據科學的夏令營面試，以及之後的各種科研準備，一直到最近的AAAI的投稿，還有正在準備的ICLR。寫下這篇文章的題目之後，想想其實自己以及學生也給頂級會議的瘋狂投稿“出了一份力”。

確實，現在AI的火熱導致很多其他領域的科研工作者轉行到AI領域，或者其他領域將近些年來發展的機器學習的模型方法當做工具來解決本領域的問題。個人覺得大量人來參與AI的發展，不論在工業界還是學術界，總體來說是個好事情。這樣大家能從不同的視角來分析問題解決問題，共同推動行業的發展。

但由於體量過大，確實會導致不少問題，可能最明顯的一個大家有目共睹的一個現狀就是：AI相關的頂級會議各種瘋狂投稿。NIPS和AAAI的paper ID都是近8000，當然後來除去不少junk submission依然是近5000的投稿量。每當吃飯聊天說起這個投稿量的事情，其他領域的朋友們頗為震驚。

海量投稿必然導致缺乏高品質的reviewer來評審文章，而且每個reviewer分配到的審稿文章也是不少，我今年NIPS被分了8篇，說實話，沒有充足的時間和精力去寫下非常高品質的review，實在抱歉。我想不少其他reviewer可能也有類似的感受和經歷。我聽說有reviewer甚至在審稿意見裡問證明後面的小方塊是什麽意思，讓人哭笑不得，也不知是否確有其事。

缺乏高品質review的一個直接結果就是paper能否被接收是一件非常隨機的事情。所以如果是一份做的不錯的文章，多投兩次總會被接收的。不可否認的是，好工作的接收概率依然非常高。

如此燥熱的行業大家傾向於搞一些短平快的工作，但這種想法往往不是很奏效，因為短平快的工作往往品質不是很高或者欠成熟，這樣極大的增加了文章被拒稿的不確定性，反而浪費了大量的準備投稿的時間，還不如拿這些時間來長期的深入的思考一些關鍵問題。

今年NIPS投稿比較多一些，投了6、7篇，最後中了一半左右，只能說運氣不錯。這兩年往往出現這種情況，自己特別看重的喜歡的工作的結果往往是悲劇，而自己覺得中規中矩的文章卻最後被接收了。可能是由於看重的工作往往屬於探索性的工作，完整的solid的支撐很難完美，被reviewer打死角，最後AC極容易被這些引導導致悲劇。

不過還是那句話，相信好的工作總會被接收。簡單介紹一下幾個被接收的工作，希望大家來一起討論給出意見，如果感興趣的話能follow我們的工作進行拓展。

1、Reinforced continual learning ，考慮的問題是如何利用強化學習動態的擴張神經網絡結構進行連續學習，也就是學習一系列的任務，而對以前學過的任務不遺忘的模型框架。我們設計了同時考慮準確度和模型複雜度的reward，通過RL來逐步搜索到最佳的擴張策略，優於目前已有的continual learning的baseline，但缺點在於RL搜索耗時太長，是未來努力的一個方向。

Reinforced Continual Learning

https://arxiv.org/abs/1805.12369

2、Bayesian Adversarial Learning，這個工作我們還沒掛到arXiv上。是用Bayesian的方案解決了adversarial training的泛化能力差的問題，能夠幫助更好的defense對抗樣本，尤其是在大的擾動下的測試對抗樣本。

3、Thermostat-assisted continuously-tempered Hamiltonian Monte Carlo for Bayesian learning. 這個工作設計了一個新的MCMC方法來采樣高維分布，將adaptive continuous tempering和thermostat結合起來使用，尤其對存在多個modes的分布上有非常好的效果。

Thermostat-assisted continuously-tempered Hamiltonian Monte Carlo for Bayesian learning

https://arxiv.org/abs/1711.11511

其實自己最喜歡的兩個工作並沒有被接收，非常遺憾，一個是分析SGD的gradient noise的協方差矩陣的結構給SGD逃離minima帶來的好處；The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Minima and Regularization Effects

The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Minima and Regularization Effects

https://arxiv.org/abs/1803.00195

另外一個是真的慘875的分數都悲劇的，我們分析影響對抗樣本的遷移性的因素，以及根據對此的理解提出了一種極其有效而且簡單的提高黑盒攻擊的方法。Understanding and Enhancing the Transferability of Adversarial Examples

Understanding and Enhancing the Transferability of Adversarial Examples

https://arxiv.org/abs/1802.09707

就寫到這裡，下學期和另外一個年輕老師合上數據科學導引課，最近一直在準備slides。深知講課任務重大，不敢馬虎，盡量將自己對數據科學、機器學習的理解融入到課程內容中，讓學生真正有所收獲！

—完—

加入社群

量子位AI社群28群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字“交流群”，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字“專業群”，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。