每日最新頭條.有趣資訊

斯坦福最新訓練排名:華為雲用時10分28秒獲全球最快

允中 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

還記得ModelArts嗎?

這是今年華為最新發布的AI開發平台,可以提供包括數據標注準備、模型訓練、模型調優、模型部署等AI應用開發服務。

其中,模型訓練更是在發布之時就備受關注。

因為華為雲稱,ModelArts可以在模型訓練階段通過各類優化技術,尤其通過級聯式混合並行技術,在同樣的模型、數據集和同等硬體資源情況下,模型訓練耗時都能大幅縮短。

但實際效果如何?現在有了國際權威成績來參考。

就在最新公布的DAWNBenchmark成績排名中,在影像識別(ResNet50-on-ImageNet,93%以上精度)的總訓練時間上,華為雲ModelArts以10分28秒的成績,比第二名提速近44%,拿下最新全球第一。

DAWNBenchmark最新成績

斯坦福DAWNBenchmark

DWANBench是斯坦福大學發起的國際權威基準測試平台,主要用來衡量端到端的深度學習模型訓練和推理性能,相應的排行榜,也一直被視為全球業界深度學習平台技術的最新水準。

在深度學習模型構建中,計算時間和成本是最關鍵資源之一。

DAWNBench為此提供了一套通用的深度學習評價指標,用於評估不同優化策略、模型架構、軟體框架、雲和硬體上的訓練時間、訓練成本、推理延遲以及推理成本。

所以最新成績公布後,華為雲方面稱,進一步證明了ModelArts可以實現更低成本、更快速度、更極致的AI開發體驗。

此外,華為雲方面也就此分享了成績背後的模型打磨思路,介紹ModelArts用128塊GPU,10分鐘完成ImageNet訓練的方法。

全文轉載如下:

近年來,深度學習已經廣泛應用於電腦視覺、語音識別、自然語言處理、影片分析等領域,可服務於影片監控、自動駕駛、搜索推薦、對話機器人等場景,具有廣闊的商業價值。

為了達到更高的精度,通常深度學習所需數據量和模型都很大,訓練非常耗時。

例如,在電腦視覺中,如果我們在ImageNet[1]數據集上用1塊P100 GPU訓練一個ResNet-50模型, 則需要耗時將近1周。

這嚴重阻礙了深度學習應用的開發進度。因此,深度學習訓練加速一直是學術界和工業界所關注的重要問題,也是深度學習應主要用的痛點。

Jeremy Howard等幾位教授領銜的fast.ai當前專注於深度學習加速,在ImageNet數據集上用128塊V100 GPU訓練 ResNet-50模型的最短時間為18分鐘。

然而,最近BigGAN、NASNet、BERT等模型的出現,預示著訓練更好精度的模型需要更強大的計算資源。

可以預見,在未來隨著模型的增大、數據量的增加,深度學習訓練加速將變得會更加重要。只有擁有端到端全棧的優化能力,才能使得深度學習的訓練性能做到極致。

華為雲ModelArts是一站式的AI開發平台,已經服務於華為公司內部各大產品線的AI模型開發,幾年下來已經積累了跨場景、軟硬協同、端雲一體等多方位的優化經驗。

ModelArts提供了自動學習、數據管理、開發管理、訓練管理、模型管理、推理服務管理、市場等多個模塊化的服務,使得不同層級的用戶都能夠很快地開發出自己的AI模型。

華為雲ModelArts功能視圖

在模型訓練部分,ModelArts通過硬體、軟體和算法協同優化來實現訓練加速。尤其在深度學習模型訓練方面,華為將分布式加速層抽象出來,形成一套通用框架——MoXing(“模型”的拚音,意味著一切優化都圍繞模型展開)。

採用與fast.ai一樣的硬體、模型和訓練數據,ModelArts可將訓練時長可縮短到10分鐘,創造了新的記錄,為用戶節省44%的時間。

基於MoXing和ModelArts的訓練速度提升

MoXing是華為雲ModelArts團隊自研的分布式訓練加速框架,它構建於開源的深度學習引擎TensorFlow、MXNet、PyTorch、Keras之上,使得這些計算引擎分布式性能更高,同時易用性更好。

MoXing內置了多種模型參數切分和聚合策略、分布式SGD優化算法、級聯式混合並行技術、超參數自動調優算法,並且在分布式訓練數據切分策略、數據讀取和預處理、分布式通信等多個方面做了優化,結合華為雲Atlas高性能伺服器,實現了硬體、軟體和算法協同優化的分布式深度學習加速。

華為雲MoXing架構圖

易用性方面,上層開發者僅需關注業務模型,無需關注下層分布式相關的API,僅需根據實際業務定義輸入數據、模型以及相應的優化器即可,訓練腳本與運行環境(單機或者分布式)無關,上層業務代碼和分布式訓練引擎可以做到完全解耦。

兩大指標看MoXing分布式加速關鍵技術

在衡量分布式深度學習的加速性能時,主要有如下2個重要指標:

吞吐量,即部門時間內處理的數據量;

收斂時間,即達到一定的收斂精度所需的時間。

吞吐量一般取決於伺服器硬體(如更多、更大FLOPS處理能力的AI加速芯片,更大的通信帶寬等)、數據讀取和緩存、數據預處理、模型計算(如卷積算法選擇等)、通信拓撲等方面的優化,除了低bit計算和梯度(或參數)壓縮等,大部分技術在提升吞吐量的同時,不會造成對模型精度的影響。

為了達到最短的收斂時間,需要在優化吞吐量的同時,在調參方面也做調優。如果調參調的不好,那麽吞吐量有時也很難優化上去,例如batch size這個超參不足夠大時,模型訓練的並行度就會較差,吞吐量難以通過增加計算節點個數而提升。

對用戶而言,最終關心的指標是收斂時間,因此MoXing和ModelArts實現了全棧優化,極大縮短了訓練收斂時間。

在數據讀取和預處理方面,MoXing通過利用多級並發輸入流水線使得數據IO不會成為瓶頸;

在模型計算方面,MoXing對上層模型提供半精度和單精度組成的混合精度計算,通過自適應的尺度縮放減小由於精度計算帶來的損失;

在超參調優方面,採用動態超參策略(如momentum、batch size等)使得模型收斂所需epoch個數降到最低;

在底層優化方面,MoXing與底層華為自研伺服器和通信計算庫相結合,使得分布式加速進一步提升。

測試結果對比

一般在ImageNet數據集上訓練ResNet-50模型,當Top-5精度≥93%或者Top-1 精度≥75%時即可認為模型收斂。

我們測試的模型訓練收斂曲線如下圖所示。此處Top-1和Top-5精度為訓練集上的精度,為了達到極致的訓練速度,訓練過程中採用了額外進程對模型進行驗證,最終驗證精度如表1所示(包含與fast.ai的對比)。

圖4(a)所對應的模型在驗證集上Top-1 精度≥75%,訓練耗時為10分06秒;圖4(b)所對應的模型在驗證集上Top-5 精度≥93%,訓練耗時為10分58秒。

ResNet50 on ImageNet訓練收斂曲線

MoXing與fast.ai的訓練結果對比

未來:更快的普惠AI開發平台

華為雲ModelArts致力於為用戶提供更快的普惠AI開發體驗,尤其在模型訓練這方面,內置的MoXing框架使得深度學習模型訓練速度有了很大的提升。

正如前所述,深度學習加速屬於一個從底層硬體到上層計算引擎、再到更上層的分布式訓練框架及其優化算法多方面協同優化的結果,具備全棧優化能力才能將用戶訓練成本降到最低。

後續,華為雲ModelArts將進一步整合軟硬一體化的優勢,提供從芯片(Ascend)、伺服器(Atlas Server)、計算通信庫(CANN)到深度學習引擎(MindSpore)和分布式優化框架(MoXing)全棧優化的深度學習訓練平台。

並且,ModelArts會逐步集成更多的數據標注工具,擴大應用範圍,將繼續服務於智慧城市、智能製造、自動駕駛及其它新興業務場景,在公有雲上為用戶提供更普惠的AI服務。

[1] 文中所指的ImageNet數據集包含1000類個類別,共128萬張圖片,是最常用、最經典的影像分類數據集,是原始的ImageNet數據的一個子集。

傳送門

DAWNBenchmark:

https://dawn.cs.stanford.edu/benchmark/

獲得更多的PTT最新消息
按讚加入粉絲團