英特爾發布第二代“至強”處理器，進一步領先AI推理市場

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

本月3日，英特爾發布了第二代至強處理器（Xeon Processor）。

唔，雖然，還是在14納米級別徘徊……但相較於第一代，第二代Xeon處理器新增了代號Cascade Lake-AP的鉑金9200系列，最多可達56核心112線程。因此，第二代也被稱為“Cascade Lake”。

更重要的是，這代處理器內置了機器學習加速（Intel DL Boost）功能，推理性能提升1.4倍，被認為是將嵌入式AI性能提升到新的水準。按照英特爾執行副總裁Navin Shenoy在發布會上的說法是：“這是我們在過去五年中在Xeon處理器系列中提供的最大一代改進。”

（圖片來自網絡，版權屬於原作者）

雖然眾多名詞可能你看得有點暈，但不得不說，在這個靜悄悄背後，矽谷洞察觀察到的是，這一次，英特爾新的處理器可以說在AI領域下功夫了。甚至說，大有挑戰GPU的架勢啊！

先不管是否要真正叫板NVIDIA的GPU，但至少，英特爾在已有芯片市場格局下，拿下AI市場的決心是很明顯了，尤其是主打AI推理的市場。

今天，矽谷洞察就來跟你分析分析，英特爾在人工智能芯片的舉動與未來格局。

AI推理 VS AI訓練

在分析英特爾在拿下AI芯片市場的決心之前，矽谷洞察給大家再次普及下人工智能芯片到底哪些玩家有機會。

我們都知道，使用深度神經網絡分為兩階段。首先，第一階段是“訓練一個神經網絡”，也就是我們常見的AI Training。第二階段，是部署這個“神經網絡”進行推理，使用之前訓練過的參數，對未知的輸入進行分類、識別和處理，也就是AI Inference。

舉個簡單的例子方便大家理解。

大家都知道，亞馬遜的智能音箱Echo對吧。當你向Alexa提出一個問題時，比如“今天氣象如何？”。Alexa聽到問題，並決定告訴你今天氣象的具體更新情況如何時，這就是基於推理的機器學習。而在回答問題之前，Alexa肯定被無數次輸入不同的氣象信息進行訓練，從而才能遇到用戶提問時答出來。

因此，如果以當中關鍵的硬體——芯片來看，針對訓練（Training）和推理（Inference）功能所達到的不同目標，就有不同的需求。

簡單說，針對人工智能訓練（Training）階段的話，需要很高的吞吐量，大量的算力、數據等，像NVIDIA的GPU就具有很高的計算精度，很強的並行、複雜運算的能力，但NVIDIA還是需要不斷提高其記憶體帶寬和數據吞吐量（Data throughput）。

而推理方面，通常在數據量來說，會比訓練分批輸入少得多，但需要的是盡可能快的響應和能耗效率優化。

按照英特爾預測，到 2020 年，推理周期和訓練周期之間的比率將從深度學習初期的 1:1 提高至超過 5:1。也就是說，在人工智能領域，推理的比重將會越來越重要。英特爾稱這一轉變為 “大規模推理”。

由於推理將佔用近 80% 的人工智能 (AI) 工作流程，因此，真正的人工智能就緒之路顯然需要從選擇適合的硬體架構開始。

上圖是一個典型的人工智能工作流程，可見推理在人工智能的工作後半程佔的比重的遠大於前面數據訓練的。這也是為什麽矽谷洞察認為，英特爾在AI推理方面大力下苦工的原因。當然，因為記憶體密集訓練已經是Xeon處理器的優勢了。

在發布會上，英特爾官方還透露了一個數據，Xeon處理器已經在當今市場上為80％至90％的AI推理助力了。

實用場景：已跟菲利浦、亞馬遜等展開合作

在發布會現場，西門子醫療保健團隊上場介紹了應用英特爾二代處理器的實際場景。沒錯，硬體被廣泛應用的一個最大的核心步驟是跟工業領域合作。

我們都知道，心髒MRI（心血管磁共振成像）是醫生用於識別心髒病的主要工具，僅在美國，每年心髒病就造成約1800萬人死亡。但手動檢查MRI圖像需要很長時間，如果醫生可以使用AI來幫助分類圖像並識別潛在的問題，那麽就可以更快地提供護理。

事實上，西門子用的就是英特爾新發布的二代處理器Cascade Lake。

此外，英特爾在人工智能領域的另一大業界合作夥伴是另一家醫學影像巨頭——飛利浦。

從英特爾人工智能官網可以發現，飛利浦用英特爾芯片處理的案例是：從人體骨骼影像識別骨質流失。當機器從人體骨骼（如手腕）的X射線圖像中獲取患者的性別後，推理模型能確定來自骨骼的預測年齡，以幫助識別導致的醫療狀況——骨質流失。

假設來了一個年輕患者，只有35歲，但機器對這位患者預測的骨骼年齡有30歲，一旦小於實際年齡，則意味著患者可能患有營養不良、骨質流失的情況了。

用了AI之後，菲利浦的骨齡預測模型的速度提高了188倍，從每秒1.42幅圖像的基線結果到每秒267.1幅圖像。

（截圖自英特爾人工智能官網intel.ai）

除了醫療領域之外，去年英特爾還與亞馬遜合作推出了Deep Racer League。

（圖片來自網絡，版權屬於原作者）

這是一個希望由開發人員參與的培訓小型自動駕駛汽車挑戰繞圈賽跑的聯盟。開發人員可以在在線模擬器中訓練、評估和調整強化學習（Reinforcement Learning）模型，再將他們的模型部署到AWS DeepRacer上獲得真實的自主體驗，最後創造最快速度的開發者可以有在聯盟中贏得冠軍的機會。

從處理器到套裝軟體一應俱全

英特爾在上面這些跟工業界合作的案例中，需要指出的一點是：這些都是基於CPU完成的。而不是傳統意義上人工智能領域常見的GPU或者乃至谷歌的TPU芯片（事實上，TPU屬於定製芯片，尚未商業化）。

像飛利浦方面透露，為其各類醫療終端客戶提供人工智能（AI），不應顯著增加客戶系統的成本，也不需要對現場部署的硬體進行修改。這也是最終能在醫療領域大規模使用AI的一個終極目的。

英特爾方面則表示，在醫療保健場景中，人工智能推理應用程序通常以小批量或流方式處理工作負載，這意味著它們不會有大批量的數據湧入，因此，CPU很適合低批量或流式的應用程序。

再舉另一個對比的例子，你就知道了。

為什麽在自動駕駛技術方面，大多依賴的芯片是NVIDIA的GPU而不是CPU，這是因為自動駕駛涉及到每秒鐘需要處理的數據很龐雜，而且可以說是巨量。GPU確實可以加速深度學習，但也對機器、硬體有一定要求。

正如Forbes記者Maribel Lopez在採訪英特爾人工智能產品集團（AIPG）首席技術官Amir Khosrowshahi後表示：GPU在AI領域受到關注，但許多公司也在使用CPU進行AI。

為什麽？一個原因是：每個人都有CPU。隨著雲能承載越來越多的應用和數據，現有的CPU資源將會更多用於AI了。

矽谷洞察發現，除了本月發布新的二代至強處理器之外，英特爾還在軟體工具方面幫助企業在邊緣設備上部署人工智能。也就是說，從芯片處理器到整個軟體工具包，英特爾無不透露著希望拿下AI推理的市場。

一個做法是，英特爾在軟體方面已經跟多款主流人工智能開源框架合作，針對CPU的AI訓練和AI推理功能，進行全面優化。

比如在TensorFlow上與 Google 合作，在 MXNet 上與 Apache 合作，也在 Caffe 上展開合作。就在今年3月，微軟也宣布與英特爾合作，為Azure帶來優化的深度學習框架。經過在TensorFlow、Caffe、Pytorch等上述主流框架的優化，Xeon處理器的訓練性能得到不斷提升。

事實上，亞馬遜前面賽跑聯盟採用的就是英特爾提供的OpenVINO工具包。這個工具包能使開發人員在雲上構建人工智能模型（如TensorFlow，MXNet 和Caffe以及其他流行的框架），並將其部署到各種產品中，也有助於在英特爾的硬體上分配人工智能的工作量。

此外，英特爾新的二代處理器還專門通過嵌入式指令，提供深度學習加速（Deep Learning Boost）功能，為圖像分類、語音識別、語言翻譯和物體檢測等深度學習應用案例提供更高效的推理加速。

也就是說，在不同的AI應用場景下，英特爾希望盡可能涵蓋那些高頻率的應用，比如圖像分類、語音識別、翻譯、物體檢測都屬於這類應用。

去年，英特爾已經跳出來說“could be better in inference of AI”（在AI推理領域能更好），隨著谷歌已經推出定製芯片TPU，也促使了像亞馬遜、微軟等公司進行更多的定製芯片開發。可見，接下來的芯片開發、研發的一場混戰，依然會圍繞人工智能推理這塊展開。

你認為英特爾接下來在AI推理領域還會有什麽作為？你更看好誰？歡迎留言討論。

原文鏈接：https://mp.weixin.qq.com/s/uHQ0q_3UnHXS9Hri5-SaRg

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）