魚羊 曉查 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
今年CVPR共有1200多篇論文被接收，官方評出了最佳論文，民間則評出了最差論文。
2019年CVPR有哪些糟糕的論文?
這個問題不僅在知乎上火了，甚至被出口到了國外論壇ML板塊。
頂會也有水論文？答案是Yes。不僅有水的，甚至有水得很誇張的。
號稱進步巨大，實則不work；被NIPS、AAAI和ICLR一直拒的論文中了Oral；化身剪刀手拚接已發表過的文章……這也就不說什麽了，但抄襲已發表論文的Idea，做低baseline這也過分了吧？
而這個問題也引發了對學術圈學術氛圍的質疑，“打招呼”讓雙盲同行評審成了空談？追求短期反饋瘋狂水論文成常態？
水論文這件事，實在引人深思。
最差論文提名
最差論文沒有統一的標準，自然也就很難達成一致，知乎網友分別從6個不同角度提出了質疑。
下面開始知乎網友自發組織的worst paper“頒獎典禮”。
質疑1：號稱進步巨大，效果平平無奇。
首先是位置最高的回答，答案提供者是一名來自圖森的感知算法工程師王峰。
他自己也在這個領域研究類似的問題，也做出了一些小修小補，但覺得意義不大，所以就沒發論文。
但是有人把結果發到了CVPR上，而且這篇研究人臉識別的論文還號稱進步巨大，但實際效果如何呢？請數據說話：
提升效果並不明顯。“真的、真的不work！”
但是王峰還是給了一些正面評價：
不過還是要表揚一下第二篇論文，裡面還提出了一個Noise Resistance Softmax loss，這個損失的形式很複雜，但思想值得一看，應該能改進出一個更簡單的形式。
原回答鏈接：
https://www.zhihu.com/question/327139341/answer/712075929
質疑2：和前年論文高度相似，審稿人怎麽了？
直接把別人的成果算成是自己的，連摘要都高度相似。
這是CVPR 2019文章的摘要：
這是ICCV 2017文章的摘要：
匿名網友向作者提出疑問三連：
雖然這篇文章是不點名批評，但是稍微搜索一下還是能知道作者是誰的，算是給別人留了點面子。
質疑3：超不過對手，那就拉低對手。
自己論文效果不好怎麽辦，調低baseline啊！
比如這篇文章裡Mask R-CNN的baseline分數只有不到70分，而另一篇文章在同樣的兩個數據集上做出的baseline分數超過了80分。
等於作者將baseline整整做低了十幾分，終於讓自己的結果“超越”了Mask R-CNN。
答案提供者也忍不住吐槽：
現在發文章不容易啊，不僅自己的實驗結果需要造假，還要把那麽經典的方法踩一踩，敢問作者你的良心不會痛嗎？？
質疑4：被其他頂會一直拒的論文中了Oral？
有知乎網友表示，會議培養新人也沒什麽，但被NIPS，AAAI，ICLR這些頂會一直拒的論文一下中了CVPR Oral也太玄學了吧？這也太浪費讀者時間了。
這位網友舉了伯克利的這篇 《Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video》為例子。這是一篇有關語義分割的論文，但作者顯然是該領域的新手小白。
看這個baseline，未免有點低吧？
再看文章的第八頁，結合文章的內容，不禁讓人懷疑這是在填位置……
方法本身也沒有什麽創新性，中個Workshop也就算了，作為一篇Oral實在令人很失望……
還有網友補充，這篇論文的某個strong accept的意見裡weakness部分隻寫了一個句號……emmm……審稿人真的有在好好看文章嗎？
質疑5：發過的論文拚一拚，就又能中頂會啦？
聽說拚一拚別人的好音樂，就能成為火遍全網的“原創音樂人”。那麽在學術界，剪刀手也一樣有春天？
知乎網友很氣憤：拚湊的論文比灌水更惡劣，水論文還能提供一點新知識呢。
被指控的論文是這一篇：《Self-Supervised Representation Learning by Rotation Feature Decoupling》。
網友指出，這就是把ICLR18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》和CVRP18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》這兩篇論文裡提出來的自監督學習方法拚了一下，水成這樣真的大丈夫？
ICLR18這篇旋轉預測方法的核心是，將圖像旋轉90度的隨機倍數，如果AI不知道圖像中描繪的對象的概念，就無法識別旋轉後的圖像。
CVPR18這篇實例判別將圖像編碼為特徵向量，投影到了128維空間並進行L2歸一化處理。
至於這篇論文，emmm……只看圖，不想說話……
質疑6：“打招呼”讓雙盲審查成空談。
還有網友提出了更嚴重的指控，論文作者給評審“打招呼”了！
CVPR採用的是雙盲審查，但事實上審稿人完全可以通過arXiv找到作者。有知乎匿名網友和reddit網友表示“招呼”打到了自己頭上，雙盲審查真的成了空談？
這就已經涉及學術道德了啊。
問題出在哪
首先，寫論文的人出現了問題。
現在國內的高校太過於強調論文數量、影響因子，舍本逐末，“完全背離了科研工作的本意”。
教授有來自學校考評的壓力、研究生有畢業的壓力，“追求短期反饋絕對是違背科研規律的”。
其次，論文有問題，審稿人卻不能發現，有失察之過。
1、論文不開放代碼，同行無法複現。
還記得韓春雨事件嗎？無論是物理、化學還是生物領域，論文中的實驗條件都應該交代清楚，讓別人檢驗你的結果能否複現。如果不能複現就說明文章是存在一些問題的。
但是在計算機領域，還缺乏這種機制。AI界知名女學者Anima Anandkumar曾建議，投往學術會議的論文需要強製要求提供代碼，供其他同行複現結果。她的倡議正在被越來越多的同行接受。
2、論文數量逐年增長，審稿人嚴重不足。
CVPR投稿數量激增，今年就有5000多篇，比去年增加50%以上。
審稿人中有經驗有能力的人手嚴重不足，但是每個人的工作量就那麽多，不可能超負荷運作，只能去找一些水準不那麽高的審稿人了。
3、審稿的雙盲制度正在被破壞。
一方面，審稿人可以通過其他渠道提前知道作者的身份，因為在開放平台Arxiv上提交論文已經是一種常態。
另一方面，作者可以有途徑得知審稿人身份，甚至“打招呼”讓論文通過審核。比如前一段時間自殺博士Chen Huixiang就說自己的導師認識多個審稿人，才讓自己漏洞百出的論文能夠中頂會。
不同的聲音
頂會灌水令人不爽，這也是關於糟糕論文的問題會引起熱議的原因。但在大量的吐槽之中，也有這樣的聲音：要噴應該噴灌水的風氣，而不是噴paper本身。
南大的周志華教授就曾經表示：論文的價值就是那點新花火，有毛病沒關係。
MXNet創始人李沐也指出：學術會議除了交流學術成果外，還有一個重要功能是培養新人。對於看上去像灌水的“小白文”不必太苛刻。
CUHK助理教授周博磊則提出了這樣的建議：讀別人文章時放平心態，與其糾結為什麽這麽水的論文也能中，不如多去發現別人論文裡的閃光點。
好論文應該是什麽樣
大家都希望讀到好的論文，而科研人員們也不願看到自己認認真真做出的論文跟水貨們為伍，那麽到底什麽樣的論文才能算是好論文呢？
知乎有一個600+讚的回答說的很好，還被國外網友轉到了Reddit上：
提出新思想新方法，沉澱下來找好問題做好問題，不要一味地追求短期反饋。這樣的科研工作會更有意義，優秀的工作何愁好論文？
君不見有人埋頭研究線蟲8年，才終於發表了第一篇一作文章，這一發就是Nature封面。
https://www.zhihu.com/question/327139341
—完—
AI社群 | 與優秀的人交流
AI內參 | 關注行業發展
喜歡就點「在看」吧 !
香港九龍灣馬來街興發大廈15樓D室