每日最新頭條.有趣資訊

剛剛,華為全場景 AI 計算框架MindSpore開源!

新智元報導

編輯:白峰、鵬飛

一家做硬體起家的公司,進入AI領域後也是專撿硬骨頭啃。

起初,他們造芯,一做就是10年,一投就是4000億,誕生了天罡、麒麟、昇騰等我們耳熟能詳的芯片。

如今,他們做AI框架,想要降低AI開發門檻,讓開發者可以輕鬆的移植代碼,並實現全場景按需協同。

這背後,只為了一個目的:萬物互聯

是的,這家公司就是華為。

距離2018年10月10日華為輪值董事長徐直軍在華為全連接大會上公布MindSpore,已經一年多了。

一年多前,華為讓大家知道,在AI框架江湖將出現一個後起之秀;一年多後的今天,華為MindSpore首席科學家陳雷宣布,國內首個全場景AI計算框架MindSpore正式開源!

如此好用的框架將於4月份正式開始公測,到時開發者就可以親身體驗了。

MindSpore降世:為華為在2兆美元大藍海中保駕護航

華為副董事長胡厚崑曾經在華為全連接大會上表示:“我們面臨的是一個2兆美元的計算產業大藍海。”

目前華為已經有了在這片巨大的藍海中遠航的硬體基礎,那麽接下來就要在軟體上跟進。

然而,海上風浪大。

第一股風浪,就是技術戰和貿易戰,因此華為必須擁有自主可控的全場景計算框架來抵禦這股足以掀翻整艘大船的風浪。

第二股風浪,是目前計算框架存在開發門檻高、運行成本高、部署難度大等等亟待解決的問題。

作為華為支持端、邊、雲全場景的開源深度學習訓練推理框架,MindSpore一出生就承擔著這個年紀不該有的重大使命。

往小處說,MindSpore當前主要應用於計算機視覺、自然語言處理等AI領域,能夠為數據科學家和算法工程師提供設計友好、運行高效的開發體驗,同時解決了昇騰AI處理器原生支持及軟硬體協同優化的問題。

往大處說,它的戰略意義在於構築面向全球的人工智能開源社區,推動人工智能軟硬體應用生態繁榮發展。

強大的核心特性,助力高效實戰開發

開發者只需要掌握張量(Tensor)、算子(Operator)、單元(Cell)以及模型(Model)這4個基本概念及Python編程基礎,即可利用MindSpore提供的高級API進行實戰開發。

陳雷介紹了Mindspore的關鍵特性路標的變化,並且承諾會不斷根據開發者的需求,對Mindspore進行改進,力求滿足開發者最關心、最核心的需求。

接下來我們看下MindSpore的核心特性。

自動微分

當前主流的深度學習框架主要有三種自動微分技術:網絡在編譯時轉換為靜態數據流圖(TensorFlow),在靜態圖上做自動微分;以記錄操作符重載的方式,動態生成數據流圖(PyTorch),在動態圖上自動微分。

而 MindSpore 採用基於源碼轉換的通用自動微分:以即時編譯(JIT)的方式在中間表達(編譯過程中程序的表達形式)上做自動微分變換,支持while/if/for等複雜的控制流結構、支持高階函數和閉包等靈活的函數式編程方式。

自動並行

MindSpore自動並行能夠用串行算法代碼,自動實現分布式並行訓練,並且保持高性能。分布式並行訓練的範式有數據並行和模型並行,以及由這兩種範式組合出來的混合並行。

MindSpore自動並行採用了一種全新的分布式並行訓練模式,融合了數據並行、模型並行和混合並行。

高效數據處理

MindSpore中的MindData負責完成訓練過程中數據的pipeline處理,包括數據加載、數據增強、導入訓練,並提供簡單易用的編程接口和覆蓋CV/NLP等全場景的豐富數據處理能力。MindData提供c_transforms模塊和py_transforms模塊,來進行數據增強,用戶也可以自定義算子來做數據增強。

高效圖執行引擎

MindSpore的圖處理操作,縱向看總共分為三層,分別是執行控制層、業務功能層、數據管理層。橫向展開分析,可細分為六大步驟,分別是圖準備、圖拆分、圖優化、圖編譯、圖加載和圖執行。通過上述圖操作,MindSpore圖引擎可以將前端下發的圖轉換為一種可以在昇騰硬體上高效運行的圖模式。

深度優化的模型集市

MindSpore計劃2020年Q4提供超過30+的深度優化模型,可供開發者直接使用。

此外,MindSpore還提供了可視化工具,可以對單次訓練可視化以及多次訓練的模型溯源,幫助開發者快速發現模型訓練過程的問題。

先進的設計理念,低門檻分布式全場景

MindSpore的推出,是基於華為對行業痛點的深刻洞察,即AI研究與應用之間存在巨大的鴻溝。

為了跨越這個鴻溝,MindSpore提出了三大設計理念。

新編程範式

基於數學原生表達的AI編程新範式,讓開發者可以聚焦AI創新和探索,一行代碼實現自動搜索並行策略,無需關注底層架構即可實現並行。

新執行模式

On-Device整圖卸載執行,深度圖優化,充分發揮算力。和友商相比,MindSpore上Resnet50圖像分類的訓練時間降低了23%,Bert中文預訓練時間降低了62%,訓練時間大幅縮短。

全場景按需協同

MindSpore實現了一套框架端邊雲全場景部署,一次開發多處高效執行,開發和部署效率直線上升。

全力服務好開發者、高校和開源社區,制定有針對性的扶持計劃

華為深知,開發者、高校科研、開源社區是整個生態中,最關鍵的角色。針對三個不同的群體,華為分別給出了非常具體的定製化扶持計劃。

針對開發者,提供:

線上免費資源

全年不少於10場的技術沙龍

舉辦MindSpore開發者大賽

針對高校,提供:

專項創新基金激勵

MindSpore教學扶持

針對開源社區,提供

聘請頂級專家入駐社區

招募committer參與社區核心項目

歡迎企業和組織參與社區建設

MindSpore初露端倪,前景可期

光說不練假把式,MindSpore應用前景如何,市場檢驗了才知道。

或許你已經享受到了MindSpore帶來的好處,對此卻毫無覺察,比如銷量爆棚的榮耀、NOVA等系列手機,都是MindSpore商用的成功案例。

隨著華為開源MindSpore,加上對開發者、科研人員的大力扶持,開發者們,屬於你們的大航海時代開始了,快掃描下面的二維碼上船吧!

獲得更多的PTT最新消息
按讚加入粉絲團