未來的 AI 芯片將提升百倍性能！

【CSDN編者按】隨著機器學習和深度學習技術的不斷應用，AI 的落地場景越來越多，極大地提升了研發效率和應用功能。與此同時，本文的作者還認為，AI 的應用還將深刻地影響芯片市場，借助AI 重塑芯片設計，能夠幫助架構性能提升百倍以上。

以下為譯文：

隨著架構師開始利用AI的能力來提高性能和降低功耗，人工智能開始影響半導體的設計，為未來芯片的開發、製造和更新方面的一些轉變奠定了基礎。

AI與機器學習和深度學習可以極大地改善芯片內特定功能的功能控制和功率/性能。出於這些目的，AI可以加載到現有設備之上，也可以集成到新的設計中，因此AI可以應用於非常廣泛的功能範圍，也可以用於某個特定的功能。

AI帶來的優勢非常多，其中包括：

通過稀疏化算法和數據壓縮改變特定功能的準確度，從而能夠在更細粒度上實現加速性能和降低能耗；

能夠將數據作為模式而非單個比特進行處理的，有效地提高計算的抽象級別並增加軟體的密度；

允許以矩陣的形式處理和記憶體的讀寫，大大提升這些操作的速度。

但是AI的應用還需要人們仔細思考芯片內部或芯片之間數據移動（或不移動）的方式。無論是邊緣應用還是在數據中心應用，也不管是訓練還是推斷，這些過程都需要處理和存儲海量的數據。

新的起點

從積極的方面看，AI能夠在利用高精度結果和利用大量低精度結果之間獲得平衡，從而達成足夠好的準確度。以語音識別為例，其準確度遠不如安全應用中的面部識別或自動駕駛車輛中的物體識別那麽重要。AI提供了根據特定的應用場景來選擇結果的能力。

有了AI以後，我們的起點不再是硬體和軟體，而是數據的品質、數量和傳輸。這需要我們以不同的方式考慮設計，包括過去通常沒有合作過的團隊之間的協作。

Arm的研究員Jem Davies說：“計算所需的代價非常小，壓縮和解壓數據的代價也很小，但是在記憶體中存儲和加載數據則非常昂貴。為了構建這些系統，你需要特定領域的專家、機器學習專家以及優化和性能專家。而且你同時需要這三個領域。”

他指出，機器學習可以影響系統中的所有東西，其中大多數都隱藏在我們看不見的地方。Davies說：“有些是用戶看不見的，比如用來改善電池的壽命。有些相機內部也用到了機器學習。”

AI最適合神經形態的方法和不同的記憶體架構，因為它們的數據可以當作矩陣處理。為了讓AI在這種情況下達到最優，所需的架構遠遠不止處理器。它需要與記憶體來回傳輸大量數據，還需要在記憶體中更改數據，才能讓數據的讀寫按照從左到右和從上到下的順序進行。

Cadence音頻和語音IP產品行銷總監Gerard Andrews說：“許多架構的改善都需要結合軟體和硬體，才能讓軟體更好地工作。這並不一定能提高每個處理器的整體性能，但它會減小功耗並提高記憶體效率。一點很小的改變就能減少一半的記憶體使用量。”

這實際上可以提高許軟體方面的設計密度，而且可以加速數據在記憶體中的傳輸。Andrews說：“我們看到的問題是記憶體不會有效地減少，而且識別錯誤率不斷上升。我們正在探索稀疏化算法，希望借此降低功耗並提高性能。”

這只是變化的冰山一角，而且這些轉變正在迅速發生。

Achronix的系統架構師Kent Orthner說：“記憶體子系統中出現的情況沒有連續性，且是突發的變化。這一切都依賴於延遲和帶寬，以及利用芯片內和芯片外的功能提供數據。人們已經開發了很多關於如何傳輸數據的架構，因為你需要大量的數據管道。在這之前，我們可能需要考慮添加多少記憶體，以及如何利用記憶體。現在我們需要考慮的是大量的管道，而記憶體的使用相對不那麽重要了。”

新發現的一種降低數據流的方法是脈衝神經網絡，與常見的持續發射信號不同，它們發射信號的方式像人腦一樣可以突然升到很高。

BrainChip的行銷和業務開發高級副總裁Bob Beachler說：“脈衝神經網絡是下一代的神經網絡，卷積使用線性代數。有了脈衝以後，我們可以用脈衝的形式傳遞數據。你可以通過脈衝進行訓練，而且如果有很多脈衝的話，你可以加強或抑製其中一部分。對於專門用於訓練閾值的比特，你可以用非常低的權重值來處理。”

總而言之，估計有70家的AI創業公司正在研究各種方法。最重要的是幾乎所有的主要芯片製造商、IP供應商和工具公司都參與了AI研究的某些方面。

數據壓縮資料（來源：Google）

AI的風險和混亂

但是，AI也存在一定程度的風險，具體取決於應用和精確度。

過去的電子系統設計的基礎都是完全可預測的邏輯，它們中的大部分都是硬體連接的。AI將計算上的精確性改變為可接受行為的分布，很多會議上都討論過這種改變給設計帶來的影響。目前尚不清楚現有工具或方法是否可以提供與設備在該分布範圍內相同的置信度，特別是在系統出現損壞或退化的情況下，也不清楚檢測任何異常行為的速度。

關於AI的應用方式也存在一定程度的混亂。有專門為AI設計的芯片，也有人使用不是為AI專門開發的芯片，還有人通過對這兩種芯片進行修改和疊加來更有效地利用AI。

總的來說，這些都屬於AI的範疇，這一切都發生在大家競相提高同功耗甚至更低功耗下的性能的行業大環境中。在16納米和14納米技術之後，每一代技術的功耗和性能方面的摩爾定律比率已經降低到了20%，現在每個人都在尋找新的方法來替換或增強這些優勢。現在各個方面都湧現了一大批的選擇。

對於專門用於AI訓練或推斷的芯片（即芯片內部使用了AI功能的處理器和加速器的芯片）來說，大家普遍的共識是使用不同的芯片架構可以實現幾個數量級的提升。但這並非適用於所有情況，而且還有很多可變因素，例如訓練數據的大小和值，它們可能導致AI在一些應用中無用武之地。除此之外，保守估計認為性能可以提升100倍。

這就是為什麽這些新架構推向市場需要花費很長時間。芯片行業在不斷嘗試各種架構和實驗，試圖找出哪種方式效果最佳，以及各種方式的應用場景和原因。

Synopsys的戰略行銷經理Ron Lowman說：“應用和算法都存在挑戰，處理器和記憶體芯片也面臨挑戰。所以AI架構的探索尤為重要，而且這也是加速器的緩存一致互聯協定（Cache Coherent Interconnect for Accelerators，簡稱CCIX）如此受歡迎的原因之一。越來越多的客戶在關注架構的探索，每個人都在努力建立新的架構來模仿大腦。”

所謂架構不僅僅是更好的布線和元件布局，還有人正在開發新的非揮發性記憶體（non-volatile memory）技術。除了小型記憶體之外，一些小型的處理器也在開發，有時還涉及到多種針對不同數據類型定製的新型加速器。除此之外，還有很多圍繞數據壓縮和量化的工作。

Lowman說：“人們正在努力從32位浮點轉移到8位浮點，現在的問題是是否可以採用單比特量化。”

量化涉及將大量輸入值映射成較小的輸出值集合，而且最大的問題在於準確度損失的可接受程度。理論上通過足夠的傳感器或數據輸入，可以最小化該錯誤率的影響，但這非常依賴於具體的應用。

沿著這些方向還有一種方法涉及源同步，特別是對於數據中心的AI芯片，這將促使芯片上的網絡拓撲發生變化。這種方式沒有採用廣播（這種方式中網絡上所有的目標都將收到相同的數據）的方式，而是使用了多播的方法，可以更有針對性地利用數據。

Arteris IP行銷副總裁Kurt Shuler說：“通過多播，你可以在一次寫入中將數據發送到多個目的地。這種方法通常用於權重，好處是你可以更好地利用芯片帶寬上的網絡，所以也就是說路上的汽車更少了。”

AI芯片的一個問題是它們往往非常大。Shuler說：“最大的問題是時鐘樹。這需要同步通信，因為如果你以異步的方式處理通信，那麽會佔用很大面積。另外，大芯片上很有可能出現布線擁塞。解決這個問題的方法是創建虛擬通道鏈接，你可以減少這個區域的連線數量，並通過一組線路共享通信。這就需要數據流仲裁。”

芯片上的映射端口（資料來源：Arteris IP）

過時計劃

這是設計的一部分。另一個部分涉及能夠與定期更新的算法保持同步，而且會影響到哪種類型的處理器可以加入到使用AI的芯片中。這些設計都會影響到芯片內數據的傳輸，以及使用該數據的處理器類型。

CPU和GPU主要通過軟體提供一些可編程性，DSP和FPGA提供韌體/硬體的可編程性，嵌入式FPGA將可編程性直接添加到SoC或多芯片的封裝中。

處理器類型的選擇也取決於終端市場的應用。例如，對於汽車或工業環境中有關安全的關鍵性應用來說，大家希望技術能夠保持最新，且響應足以與路線上的其他車輛或工廠中的其他設備兼容。

eSilicon的創新高級主管CarlosMacián表示，“當我們討論面向未來的問題時，問題在於某個方法是否可行。TPU（張量處理單元，tensor processing unit，簡稱TPU）是一個先驅者，它可以在性能上實現數量級的改進。但是對於新的工作負載來說，如果ASIC沒有得到優化，那麽性能只能提高3倍。”

我們假設數據乾淨且有用，但是事情往往就是從這個時候開始變得非常複雜。

Macián說：“AI非常適用於非結構化數據集。如果你標記出現在Facebook上的人，那麽你知道這非常適合通過AI來處理。但這些數據不是有組織的或結構化的數據。因此AI本質上是不準確的，有時它還是錯誤的。”

並非所有事情都需要為未來做準備。在移動電話等市場中，消費者希望每隔幾年更換一次設備。但在有些情況下，人們希望電子產品可以在20年內正常的工作。

提高數據的品質可以解釋為什麽算法變化如此之快，以及為什麽現場可更新性對於某些設備而言至關重要。但是這些變化也會對性能產生影響，如果不在硬體中添加一些可編程性，就無法對其進行說明。問題是可編程性的多少，因為可編程邏輯比比調整軟體的硬體慢得多。

結論

與其他半導體增長市場不同，AI是一種橫向的技術。它可以應用到各種垂直市場，也可以用於為這些市場開發芯片，它還可用於改善現有芯片的效率。

這只是人工智能革命的開端，而且這種影響力非常巨大。

隨著設計團隊越來越熟悉這項技術，它將對他們設計芯片的方式，以及這些芯片與其他芯片的互動產生重大影響，而且它還將為工具、硬體、軟體、和可能出現的全新市場的開發人員創造新的機會。

原文：https://semiengineering.com/ai-begins-to-reshape-chip-design/

作者：Ed Sperling，Semiconductor Engineering的主編。

譯者：彎月，責編：郭芮