每日最新頭條.有趣資訊

推出另類AI芯片,這家初創公司要跟NVIDIA“PK”

(圖片來源:Graphcore)

【本文來自鈦媒體特色欄目「快公司」

AI芯片迎來物種大爆發,眾多企業蜂擁而至,不僅有Arm、NVIDIA、華為這樣的科技巨頭參與,還有像Graphcore這樣的新生代力量企業,希望取代NVIDIA的“獨霸”地位。

7月15日,英國半導體公司Graphcore發布其第二代IPU——Colossus Mk2 GC200。該公司聲稱,這是比NVIDIAA100 GPU更最“複雜”的AI芯片,甚至要超越NVIDIAA100 GPU的性能表現。

Graphcore成立於2016年,致力於為AI和機器學習開發加速器和軟體系統。

隨著年初該公司宣布完成1.5億美元D輪融資,四年內Graphcore共籌集超過4.5億美元的風險投資基金,公司估值接近20億美元,是名副其實的獨角獸企業。

英國半導體之父、Arm的聯合創始人Hermann Hauser爵士曾這樣評價Graphcore:

“在計算機歷史上隻發生過三次革命,一次是70年代的CPU,第二次是90年代的GPU,而Graphcore就是第三次革命。”

充足的資本“彈藥”,很高的評價盛譽,都是Graphcore能夠和NVIDIA對抗(Battle)的底氣。

Graphcore推出的另類AI芯片——IPU

過去兩年,人工智能行業迎來瓶頸期,算法層面進步較慢,更多的從業者期待利用專業的AI芯片提高算力,同時可處理訓練和推理二者的工作能力,從而替代傳統的CPU、GPU。

因此,眾多企業將AI芯片包裝成各種各樣的詞匯。比如DPU(數據流處理單元)、NPU(神經處理單元)、EPU(情感處理單元)等。很多人也認為,IPU更像是一個行銷詞匯。

但Graphcore表示,IPU其實是智能處理單元(Intelligent Processing Unit)的縮寫,這是一個專門為機器學習工作負載而設計的神經網絡處理芯片架構,是一個全新的大規模並行處理器。

與傳統的CPU、GPU相比,IPU用了更大規模的並行MIMD處理器核,還有一個非常大的分布式片上SRAM,以及全新的處理架構,專門適用於智能計算工作負載。

Graphcore高級副總裁兼中國區總經理盧濤介紹,在AI技術應用中,通常需要大規模數據的並行、複雜結構的計算。在這個情況下,傳統CPU、GPU幾乎都在做科學計算或高性能計算(HPC),針對AI技術的算法處理能力效果並不理想。因此,IPU在針對智能計算方面有著明顯的優勢,可同時處理算法中的訓練和推理能力。

同時,針對低精度的數據模型,IPU也做了專門的優化。除了標準神經網絡之外,IPU還適用於AI領域最為常用的貝葉斯網絡和馬爾科夫網絡。

可以這樣理解,IPU就是一顆為AI專門打造的芯片,不管是邊緣,還是終端計算,IPU都可以勝任。

2018年,Graphcore推出該公司首款AI芯片產品——Colossus Mk1,並首次提出IPU處理器這個概念,得到半導體行業的廣泛關注。

過去兩年,Graphcore成長很快,四年內共籌集超4.5億美元的風險投資基金。投資者名單中不乏AlphaGo之父、DeepMind聯合創始人戴密斯·哈薩比斯(Demis Hassabis),劍橋大學教授佐賓·葛拉曼尼(Zoubin Ghahramani),OpenAI聯合創始人Greg Brockman等AI領域的學術級投資人,還有紅杉資本這類明星機構投資者。而戴爾、三星、微軟等知名企業作為戰略投資者亦參與其中。

兩年後的今天,Graphcore宣布推出硬體GC200 IPU和軟體平台Poplar,提供一整套解決方案,希望解決AI當中的算法和工作負載難題。

GC200 IPU能和NVIDIAA100 PK嗎?

NVIDIA在今年5月發布首個基於安培(Ampere)架構的GPU——NVIDIA A100,7nm製程工藝,擁有540億顆晶體管,20倍AI算力的提升,號稱是“全球最強大的AI芯片”。

儘管在摩爾定律下,傳統CPU、GPU正為形成強大處理器而穩中提速,但未來AI算力的提升,或將來自於專項AI芯片,Graphcore認為這是GC200 IPU推出的契機。

7月15日,Graphcore發布Mk1的繼任產品——GC200 IPU。除了和NVIDIAA100一樣的台積電7nm製程工藝外,該處理單元封裝了594億個晶體管,比A100 GPU還要多出54億個,性能上比A100 GPU快16倍,在多個主流模型上的表現均優於A100 GPU。

AI技術底層的核心三要素是算力、算法和大數據,這三者缺一不可。儘管GC200 IPU在計算、記憶體和通信等性能方面取得了重要突破,超過了NVIDIA的A100 GPU,但在大數據應用和商業化進程上,Graphcore仍處在早期階段,和NVIDIA之間有著一定的差距。

1、突破:計算、存儲和通信

在計算能力上,Graphcore最新發布的GC200 IPU,從1216個提升到1472個獨立的IPU-Tiles的處理器內核單元,共有8832個可以並行執行的線程。這樣做的好處,其實是在算力訓練上有更多的提升空間。

相比第一代IPU,實際性能提高了8倍,算力訓練提升兩倍。其中,BERT-Large的訓練有9.3倍性能的提升,3層BERT推理有8.5倍的性能提升,EfficientNet-B3有7.4倍的性能提升。

同時,對比基於NVIDIA8個A100 GPU的DGX-A100,Graphcore利用同樣8個GC200 IPU組成的系統,FP32算力提升了12倍,AI計算提升了3倍。

盧濤表示,利用強大的計算能力,在CV(計算機視覺)和NLP(自然語言處理)應用方面有更多發揮的空間。

在存儲技術方面,Graphcore提出了IPU Exchange Memory的交換式存儲概念,相比NVIDIA當前使用的HBM技術,可以提高至近100倍的帶寬以及大約10倍的容量。存儲方面的提升,對於很多複雜的AI模型算法,有著更強的硬體推力、性能優勢。

NVIDIA和Graphcore的帶寬、容量對比圖

在通信方面,Graphcore專為GC200 IPU設計了IPU-Fabric的AI橫向擴展結構,可以做到2.8Tbps超低延時,最多支持64000個IPU之間擴展,可通過直聯或者是通過以太網的交換機等技術方式做互聯互通,這將大大提升算法處理速度。

盧濤表示,不僅是單顆AI芯片,若要把IPU性能發揮到極致,就要利用64顆GC200 IPU組成的IPU-POD系統,可提供高達16PFlops的算力、58GB的In-Processor-Memory,以及7個TB的流存儲,均遠超過NVIDIADGX-A100 GPU的性能表現。

在軟體系統上,Graphcore推出軟體平台Poplar。通過與TensorFlow,以及開放神經網絡交換(ONNX)無縫集成,從而打造出首個專門為機器智能設計的圖形工具鏈,加上開發人員的共同參與,形成Graphcore獨有的“IPU生態”。

在計算、數據、通信三大突破下,加上AI算法上的針對性優化,Graphcore構建出大規模可擴展的IPU-POD系統,讓GC200 IPU這顆芯片得到最佳的性能表現,成為NVIDIADGX-A100強大的對手之一。

2、懸而未決的議題:數據和商業化進程仍處於早期階段

即便Graphcore有了強大的IPU處理器,以及算法框架和軟體系統,但大數據依然是AI技術最底層的關鍵因素。

盧濤對鈦媒體坦率承認,儘管NVIDIA和Graphcore都擁有公開的數據集,但在NVIDIA所擁有的私有數據集上,比如邊緣計算場景數據、自動駕駛的數據集等,Graphcore目前並沒有,且不是公司現有的目標。Graphcore正考慮往無監督學習領域擴展,但還需要一定的時間和過程。

“NVIDIA試圖自己成為MobileEye或者商湯等解決方案公司,這需要私有數據集,這個目前不是我們Graphcore的目標,我們現在聚焦在數據中心。”

“因為Graphcore還是一家比較小的公司。當前我們重點聚焦在機器學習相關的應用領域,也有用戶在探索利用IPU做一些非AI應用,但不是公司整體發展的重點領域。”

“利用IPU實現無監督學習的方法,表現比GPU好很多,訓練方面吞吐量最多達13倍。不過,從技術到應用落地還有一個過程。”盧濤對鈦媒體表示。

相比NVIDIAA100 GPU與谷歌雲、甲骨文等二十多家企業雲服務落地合作,目前Graphcore僅面向商業用戶、高校及研究機構等,企業中包括微軟、百度和金山雲。面向的用戶類型中,個人開發者比較少。

Graphcore方面表示,他們下一步的重點是吸引更多的中國客戶、打開中國市場。通過IPU芯片、Poplar軟體平台,以及Graphcore中國創新社區,發展和培育IPU生態。

“Graphcore找到了自己的賽道,在全球範圍之內來看,其實我們最快落地的應用還是在超大規模數據中心,然後就是在金融方面、醫療健康領域我們的進展也非常大。”

“從AI市場的體量上講,Graphcore認為中國是全球最重要的市場之一,也是落地速度最快的市場之一。”盧濤對鈦媒體表示,長期來看,中國市場未來將佔到Graphcore全球市場的40%甚至50%。

現階段,GC200 IPU在算力、算法上似乎超過了NVIDIA的A100 GPU,但在數據和商業化進程上,Graphcore仍處於早期階段,和NVIDIA之間有著一定的差距。

當談到如何讓IPU替換掉現有的CPU與GPU時,盧濤表示,未來將會是CPU、GPU和IPU共存的市場,對於適合使用IPU的客戶,公司有信心讓客戶用GC200 IPU,快速替代掉現有的CPU、GPU落地產品。

“替代與否,主要決定IPU提供的價值有多少,遷移成本是否低、性價比是否高,還有生態是否要好。屆時,生態圈中的用戶(開發者)多了、用IPU的人多了、懂技術的人多了,當然替換的阻力將會小一點。”盧濤對鈦媒體表示。

正如盧濤所說,Graphcore還是一家比較小的公司。但這家小的公司,在AI芯片研發上有著超出尋常的能力,利用IPU,正在對未來通用AI技術展開布局。而IPU是否能取代GPU的地位,還需時間的驗證。

(本文首發鈦媒體App,作者 | 林志佳,編輯|趙宇航)

更多精彩內容,關注鈦媒體微信號(ID:taimeiti),或者下載鈦媒體App

獲得更多的PTT最新消息
按讚加入粉絲團