每日最新頭條.有趣資訊

MIT韓松組推出升級版AutoML方法,一個網絡適配所有硬體

新智元報導

來源:ArXiv

編輯:元子

【新智元導讀】麻省理工學院韓松團隊推出了“一勞永逸”(OFA)網絡,該網絡與ImageNet上最先進的AutoML方法達到相同或更高的水準精度,OFA所需GPU小時數比ProxylessNAS少14倍,GPU小時數比FBNet少16倍,GPU小時數比MnasNet少1142倍。部署方案越多,對NAS的節省就越多。

萬能,多麽讓人心動的一個詞。人類總是追求一個放之四海而皆準的解決方案,一勞永逸的解決所有問題。

事實上,隨著人工智能不知不覺的進入生活、工作的方方面面,一個問題逐步浮出水面。

起初,人工智能模型可以針對不同硬體進行定製,從而達到非常好的性能表現。但是電子產品基本上每年至少更新一代,舊有的硬體產品卻不會緊接著被淘汰。5年前的iPhone 6s依然有大批使用者,和擁有神經網絡加速器的iPhone X Max並存於世。

人工智能模型需要一個“萬能模板”,可以針對不同的硬體自動進行適配,而非人工為不同硬體進行定製。

目前比較流行的做法,要麽手動設計,要麽使用AutoML來搜索專門的神經網絡,並針對每種情況從頭開始訓練,缺點很明顯,貴,且麻煩。

去年,MIT韓松團隊提出了 AutoML 模型壓縮(AutoML for Model Compression,簡稱 AMC),利用強化學習來提供模型壓縮策略。

論文地址:

https://arxiv.org/pdf/1802.03494.pdf

這種基於學習的壓縮策略優於傳統的基於規則的壓縮策略,具有更高的壓縮比,在更好地保持準確性的同時節省了人力。

今年,韓松團隊再次提出一勞永逸OFA(Once for All),這是一種將模型訓練與架構搜索分離的新方法,用於高效的神經網絡設計,以處理許多部署場景。

具體的實現原理是這樣:研究人員首先將目標定義為獲得網絡的權重,從而使得每個子網仍然可以達到與使用相同架構配置(深度,寬度,內核大小和分辨率)獨立訓練的網絡相同的準確度。

相比現有的網絡,OFA網絡實現了一項重大創新:讓AI直接搜索最佳子網成為可能,從此研究人員不需要為每個場景設計和訓練模型。與ImageNet上最先進的AutoML方法達到相同或更高的水準精度,訓練時間顯著加快,支持更大的搜索空間(10^19子網)。

為了更有效的訓練一個巨大的的OFA網絡,防止許多子網絡之間的干擾,研究人員提出了一種漸進式收縮算法,該算法能夠訓練一次性網絡以支持超過10^19個子網絡,同時保持與獨立訓練的網絡相同的精度,從而節省非經常性工程(NRE)成本。

在各種硬體平台(移動/CPU/GPU)和效率限制上的廣泛實驗表明,OFA始終達到與SOTA神經架構搜索(NAS)方法相同(或更好)的ImageNet精度。

值得注意的是,在處理多個部署方案時,OFA比NAS快幾個數量級(N)。N=40時,OFA所需GPU小時數比ProxylessNAS少14倍,GPU小時數比FBNet少16倍,GPU小時數比MnasNet少1,142倍。部署方案越多,對NAS的節省就越多。

與採用搜索算法查找子網的大多數AutoML方法不同,研究人員從OFA網絡中隨機抽取子網的子集來構建其準確性和延遲表。這使他們能夠在給定特定硬體平台的情況下直接查詢表以找到相應的子網。查詢表的成本可以忽略不計,從而避免了其他方法中總成本的線性增長。

但所有的“萬能”產品都有一個通病,那就是成本高,OFA一次性訓練成本大約是定製模型的12倍。不過研究人員表示,通過額外的部署方案可以降低這種高昂的一次性成本。

正如托爾金巨著魔戒中,至尊魔戒背面蝕刻的銘文一樣:“一個戒指統治他們,一個戒指找到他們,一個戒指把他們全部和黑暗綁在綁在陰影所在的魔多。”

“一勞永逸”網絡,是否會成為至尊網絡呢?

論文地址:

https://arxiv.org/pdf/1908.09791.pdf

獲得更多的PTT最新消息
按讚加入粉絲團