OpenAI發現打破神經網絡黑盒魔咒新思路：梯度噪聲量表

新智元推薦

來源：OpenAI

編輯：元子

【新智元導讀】神經網絡的黑盒屬性，一直是困擾研究人員和開發者最頭疼的問題之一。以至於大家給神經網絡戴了了一個煉丹術的帽子。但是OpenAI發現，梯度噪聲量表是一種簡單的統計度量，可以預測神經網絡訓練在各種任務中的可並行性。

由於複雜的任務往往具有更嘈雜的梯度，因此越來越大的batch計算包，可能在將來變得有用，從而消除了AI系統進一步增長的一個潛在限制。

更廣泛地說，這些結果表明神經網絡訓練不需要被認為是一種煉丹術，而是可以被量化和系統化。

在過去的幾年裡，AI研究人員通過數據並行技術，在加速神經網絡訓練方面取得了越來越大的成功，數據並行性將大batch數據分散到許多機器上。

研究人員成功地使用了成各種的batch進行影像分類和語言建模，甚至玩Dota 2。

這些大batch數據允許將越來越多的計算量有效地投入到單個模型的訓練中，並且是人工智能訓練計算快速增長的重要推動者。

但是，batch如果太大，則梯度消失。並且不清楚為什麽這些限制對於某些任務影響更大而對其他任務影響較小。

我們已經發現，通過測量梯度噪聲標度，一個簡單的統計量來量化網絡梯度的信噪比，我們可以近似預測最大有效batch大小。

同理，噪聲尺度可以測量模型所見的數據變化（在訓練的給定階段）。當噪聲規模很小時，快速並行查看大量數據變得多餘；反之，我們仍然可以從大batch數據中學到很多東西。

這種類型的統計數據被廣泛用於樣本量選擇，並且已被提議用於深度學習，但尚未被系統地測量或應用於現代訓練運行。

我們對上圖所示的各種機器學習任務進行了驗證，包括影像識別，語言建模，Atari遊戲和Dota。

由於大batch通常需要仔細和昂貴的調整或特殊高效的學習率，因此提前知道上限在訓練新模型方面提供了顯著的實際優勢。

我們發現，根據訓練的現實時間和我們用於進行訓練的總體積計算（與美元成本成比例）之間的權衡，可視化這些實驗的結果是有幫助的。

在非常小的batch的情況下，batch加倍可以讓我們在不使用額外計算的情況下減少一半的訓練。在非常大的batch，更多的並行化不會導致更快的訓練。中間的曲線中存在“彎曲”，漸變噪聲標度預測彎曲發生的位置。

我們通過設定性能水準（比如在Beam Rider的Atari遊戲中得分為1000）來製作這些曲線，並觀察在不同batch大小下訓練到該性能所需的時間。結果與績效目標的許多不同值相對較緊密地匹配了我們模型的預測。

梯度噪聲尺度中的模式

我們在梯度噪聲量表中觀察到了幾種模式，這些模式提供了人工智能訓練未來可能存在的線索。

首先，在我們的實驗中，噪聲標度通常在訓練過程中增加一個數量級或更多。

直觀地，這意味著網絡在訓練早期學習任務的“更明顯”的特徵，並在以後學習更複雜的特徵。

例如，在影像分類器的情況下，網絡可能首先學習識別大多數影像中存在的小尺度特徵（例如邊緣或紋理），而稍後將這些部分組合成更一般的概念，例如貓和狗。

要查看各種各樣的邊緣或紋理，網絡只需要看到少量影像，因此噪聲比例較小；一旦網絡更多地了解更大的對象，它就可以一次處理更多的影像，而不會看到重複的數據。

我們看到一些初步跡象表明，在同一數據集上不同模型具有相同的效果。更強大的模型具有更高的梯度噪聲標度，但這僅僅是因為它們實現了更低的損耗。

因此，有一些證據表明，訓練中增加的噪聲比例不僅僅是收斂的假象，而是因為模型變得更好。如果這是真的，那麽我們期望未來的更強大的模型具有更高的噪聲規模，因此可以更加並行化。

在監督學習的背景下，從MNIST到SVHN到ImageNet都有明顯的進展。在強化學習的背景下，從Atari Pong到Dota 1v1到Dota 5v5有明顯的進展，最佳batch大小相差10,000倍以上。

因此，隨著AI進入新的和更困難的任務，我們希望模型能夠容忍更高的batch。

啟示

數據並行度顯著影響AI功能的進展速度。更快的訓練使更強大的模型成為可能，並通過更快的迭代時間加速研究。

在早期研究中，我們觀察到用於訓練最大ML模型的計算，每3.5個月翻一番。我們注意到這種趨勢是由經濟能力和算法並行訓練的能力共同決定的。

後一因素（算法可並行性）更難以預測，其局限性尚不清楚，但我們目前的結果代表了系統化和量化的一步。

特別是，我們有證據表明，在同一任務中，更困難的任務和更強大的模型將允許比我們迄今為止看到的更激進的數據並行性，這為訓練計算的持續快速指數增長提供了關鍵驅動因素。

參考鏈接：

https://blog.openai.com/science-of-ai/

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備注（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。