Hinton：不要再問神經網絡是不是泡沫

新智元報導

來源：ACM

編輯：小芹、大明

【新智元導讀】2018年圖靈獎得主，“深度學習三巨頭”Geoffrey Hinton, Yann LeCun和Yoshua Bengio早年也曾飽受嘲笑，但終於熬過寒冬。近日，ACM通訊對三人進行了專訪。

雖然曾遭受懷疑甚至嘲笑，2018年圖靈獎獲得者Geoffrey Hinton, Yann LeCun和Yoshua Bengio在他們的研究生涯中不斷發展人工神經網絡，他們的研究成果如今已經成為從搜索到內容過濾等各個領域不可或缺的技術。

那麽，如今炙手可熱的深度學習和人工智能領域怎樣了呢？ACM通訊採訪了三位圖靈獎獲得者，分享了他們發現的令人興奮的問題，以及仍然存在的挑戰。

現在，關於人工智能的討論遠遠比您剛開始職業生涯時要多——其中有些是充分了解的，有些則不然。您希望人們不要再問哪些問題？

Geoffrey Hinton：“神經網絡是不是僅僅是泡沫？”在過去，AI領域的人做出了很多承諾，但有時結果被證明僅僅是泡沫。但是，神經網絡遠遠超出了他們的承諾。神經網絡確實是有效的。而且，神經網絡還能擴展。只要你給它提供更多的數據和更快的計算機，它就自動能變得更好，而不需要任何人為它編寫更多的代碼。

Yann LeCun：沒錯，深度學習的基本理念不會消失，但當人們問我，要讓機器變得更智能，是不是只要簡單地擴展現有的方法就可以了。這種問題仍然令人沮喪。我們需要新的模式。

Yoshua Bengio：目前的技術已經有多年的工業和科學應用。話雖如此，我們三人都是研究人員，我們總是迫不及待地想要更多，因為我們目前離人類水準的人工智能還很遠，離理解智能的原理(不管是自然的還是人工的智能)都還很遠。

哪些問題還討論得不夠呢？

Hinton：大腦是如何工作的？人們會討論這個問題，但討論的人還不夠多。

Bengio：沒錯。遺憾的是，儘管深度學習從大腦和認知科學獲得靈感，但如今許多做深度學習的工程師並不關心這些話題。這是有道理的，因為如果你是在工業上應用深度學習，大腦和認知並不重要。但就研究而言，我認為如果我們不能與那些試圖了解大腦工作原理的人保持合作，那將是一個巨大的損失。

Hinton：也就是說，神經科學家現在正在認真研究這個問題。多年來，神經科學家認為，“人工神經網絡與真實的大腦非常不同，它們不會告訴我們大腦是如何工作的。”現在，神經科學家們正在認真考慮像反向傳播這樣的現象在大腦中發生的可能性，這是一個非常令人興奮的領域。

LeCun：目前，幾乎所有關於人類和動物視覺的研究都使用卷積網絡作為標準概念模型。直到最近，情況才有所改變。

Hinton：我認為這對社會科學也會產生巨大的影響，因為它會慢慢地改變我們對人的看法。我們過去把人看作理性的存在，而人的獨特之處在於他們用推理來得出結論。現在，我們對人的本質有了更好的理解，認為人類基本上就是巨大的類比製造機器。他們非常緩慢地開發出這些表示，然後他們開發的表示決定了他們可以做出的類比的類型。當然，我們可以進行推理，沒有推理就沒有數學，但這不是我們思考的基本方式。

對於開拓性的研究人員來說，您似乎非常不願意滿足於現狀。

Hinton：我認為發明了現在的標準技術的人有一些特別之處。它們並不是上帝賜予的，很可能也還有其他更好的技術。然而，當一個領域已經有了一種標準的工作方式時，新進入這個領域的人並不完全理解這種標準方式是多麽武斷。

Bengio：學生們有時談論神經網絡就好像他們在描述聖經一樣。

LeCun：這造成了一代人的教條主義。不過儘管如此，一些最具創新性的想法很可能來自比我們年輕得多的人。

目前這個領域的進展速度十分驚人。如果你在二三十年前就預料到今天的情況，你會感到驚訝嗎？

LeCun：讓我感到驚訝的事情太多了。比如，我感到驚訝的是，深度學習革命來得如此之晚，但一旦革命開始，我也驚訝它的發展速度是如此之快。我本以為事情會更循序漸進，但在20世紀90年代中期至2000年代中期，人們放棄了整個神經網絡的想法。我們有證據表明，神經網絡在那之前也是有效的。但後來，一旦神經網絡的demo變得無可爭議，其發展就勢不可擋了：首先是在語音識別領域，然後是圖像識別，現在是自然語言理解。

Hinton：如果20年前有人對我說，可以把一種語言中的句子分割成小的單詞片段，然後將這些片段輸入給一個始於隨機連接的神經網絡，然後訓練神經網絡，神經網絡能將這個句子翻譯成另一種語言，而不需要任何語法或語義方面的只是——完全沒有運用到語言學知識——並且翻譯效果比任何其他方法都更好。我會很驚訝。雖然這種翻譯並不完美，不如能說兩種語言的人翻譯得好，但已經越來越接近了。

LeCun：同樣令人驚訝的是，這些技術在如此之多的行業中變得如此有用，而且發展速度極快。如果你現在把深度學習從谷歌或Facebook這兩家公司中抽離出來，那麽這兩家公司都會崩潰；它們的業務完全是圍繞著深度學習構建的。當年我加入Facebook時，有一件事讓我感到驚訝，就是有一小群人使用卷積網絡進行人臉識別。我對卷積網絡的第一直覺是，它可能對物體分類這種識別有用：

Bengio：當我在攻讀博士學位時，我一直在努力擴展這樣一個想法，即神經網絡不僅僅可以進行模式識別——將一個固定大小的向量作為輸入並生成類別。但是直到最近我們的轉化工作才突破了這個範圍。正如Yann所說，創造新事物的能力確實具有革命性。所以有能力操縱任何類型的數據結構，而不僅僅是像素和向量。傳統上，神經網絡僅限於人類能夠快速且無意識地完成的任務，比如識別物體和圖像。現代神經網絡在本質上與我們在20世紀80年代思考的東西不一樣，它們能做的事情更接近我們推理和編程時做的事情。

Yoshua，儘管取得了這些進展，但您之前還是談到讓發展中國家更容易利用這一技術的緊迫性。

Bengio：我認為這一點很重要。我過去對政治問題沒有太多的思考，但機器學習和人工智能已經走出大學校園，我認為現在我們有責任考慮這一點，並參與關於這些技術如何利用的社會和政治討論。其中一個問題是，專有技術、財富和技術將在哪裡集中？往往會集中在少數幾個國家和地區、幾個公司和一小部分人手中，我們要設法使這些技術更容易獲取，讓這些技術為更廣泛的國家和地區的更多的人們帶來更大的變化。

Hinton：Google已開源了其開發神經網絡的主要軟體TensorFlow，你還可以在雲端使用專門的Google網絡硬體。Google正努力使這種技術盡可能廣泛地為更多的人所使用。

LeCun：我認為這是一個非常重要的問題。深度學習社群非常善於促進公開研究的理念，不僅是在學術領域，在學術會議在公開發表論文、評論和評注，而且在企業界，像Google和Facebook這樣的公司也在將自己開發絕大部分軟體進行開源，並為他人提供基於這些軟體的工具。因此，任何人都可以在幾天內再現其他人的研究成果。

這樣，無論在任何研究領域，任何頂尖的研究團隊都無法其他研究團隊領先幾個月。重要的是，整個研究領域的發展速度飛快。因為我們真正想要構建的是一種“虛擬助理”，它可以回答我們提出的任何問題，並幫助我們在日常生活中度過難關。目前我們缺乏構建這種虛擬助理的技術，而且沒有掌握相關的基本科學原理。我們可以培養整個研究社群來解決這一問題，這對我們大家都有好處。

參考鏈接：

https://cacm.acm.org/magazines/2019/6/236987-reaching-new-heights-with-artificial-neural-networks/fulltext