矽谷Live /實地探訪/ 熱點探秘 /深度探討
本文來源微信公眾號“矽谷洞察”（ID：guigudiyixian）。矽谷洞察，鏈接矽谷資源的第一入口。本文由矽谷洞察原創，首發於騰訊科技，未經矽谷洞察或騰訊科技授權，請勿轉載。
三十五億張照片，樹立人工智能新標杆
上周日，Facebook人工智能研究院（Facebook Artificial Intelligence Research）首席科學家，人工智能界的先驅 Yan Lecun（楊立昆）宣布開源了他們在圖像識別以及整個計算機視覺領域的最新模型——“在Instagram的圖片標簽上預訓練，在ImageNet上微調（finetune）的ResNext101模型”。
這一模型再次刷新了 ImageNet 數據集圖像分類競賽的準確度，在圖像分類、目標檢測等多個計算機視覺技術領域立下了新標杆。諸如目標檢測、圖像分割等等計算機視覺基礎任務都可以將其骨乾網絡替換為這一新模型，借助其強大的特徵提取能力，有望取得更好的效果。換言之，整個計算機視覺業界都有機會因之受益。
Yann Lecun Twitter
若你對這一領域有所了解，再著重關注一下上面引號裡的那句描述，你可能就會不由自主地飆出一句：“有錢真 [敏感詞] 好啊！”。
ImageNet，由李飛飛教授團隊於2009年發布，包含了超過兩萬類物體，共計一千四百多萬張圖片，為整個人工智能領域奠下數據基礎。自那時起，諸多計算機視覺任務的新模型、新思想都是在ImageNet數據集上進行預訓練，再在相應的目標任務上進行微調，以取得最好的效果。
ImageNet數據集
時過境遷，對 FAIR 來說，角色一轉，ImageNet 居然成了遷移、微調的對象。
他們在來自 Instagram 的三十五億張（注意，比 ImageNet 的一千四百萬足足多了兩百多倍）圖片上進行了預訓練，以人們為圖片添加的標簽（#hashtag）為類別，最終再在（相對之下）小得多的 ImageNet上進行微調，成功擊敗一眾高手，站上頂峰。
Instagram標簽（右邊藍色#開頭短語即為圖片標簽hashtag）
史無前例的海量數據之下，算力亦是重頭戲。
為了處理三十五億張圖片，他們拿出了42台伺服器，用上336塊顯卡，又訓練了足足22天。
頗有股“有錢使得鬼推磨”的氣派。
數據和算力，兩強結合之下，人工智能幾乎成了大力出奇跡的巨頭遊戲。
其實從一開始，遊戲的規則就是如此。
近些年的人工智能革命，其實大抵建立於人工神經網絡模型的大放異彩。
而究其根本，在上世紀70年代，人工神經網絡模型的理論架構已經基本成熟，卻在之後的幾十年裡一直沒能得到認可、應用，直到近來才得以重見天日。
前文提到的 Yann Lecun，更是因為一直堅持神經網絡而被學界排斥，鬱鬱不得志，直到如今才重獲認可，獲頒計算機領域“諾貝爾獎”之稱的圖靈獎。
這其後的根源，就在於算力的限制。上世紀的計算機算力和你手中的新款手機比起都可謂雲泥之別，遑論吸納海量數據，對神經網絡模型進行訓練。
時至2012年，算力的突飛猛進，加上 ImageNet 等前所未有的“巨型數據集”的出現，神經網絡才真正再次登台，繪下人工智能新時代的奪目圖景。
不過，又過了 7 年，直到現在，ImageNet 才終於被更大的數據集所取代，在這背後，弱監督學習功不可沒。
強監督、弱監督、自監督
"弱"監督學習，自是相對於"強"監督學習而言。
ImageNet數據集裡的一張圖片，標注為波斯貓
相比於 ImageNet 數據集為每一張圖片人工加注的物品類別標簽，Instagram 圖片的標簽就要來的含混的多。為了吸粉，用戶更會刻意地為自己的圖片加上大量無論相關不相關的標簽，以博取更多的瀏覽量。
在這種情況下，人工智能模型還能學到圖片與含混描述之間的對應關係嗎？
在三十五億張圖片的暴力訓練之下，效果顯著，也因而有了我們開頭提到的新模型開源。
從此，人工標注不再是計算機視覺領域的最大瓶頸，弱監督標簽搭配巨頭的強大算力，就能得到比悉心雕鑿，訓練於 ImageNet 之上的“小數據”模型好得多的性能表現。
算力為王，計算機視覺領域如此，在 AI 的另一重頭戲——自然語言處理領域，亦是如此。
不同於 Facebook 視覺新模型的弱監督訓練，在自然語言處理領域，更進一步的自監督訓練已成主流。
Google 去年開源的 BERT 模型，在訓練時會將輸入句子的隨機單詞蓋住，然後讓模型根據上下文的內容預測被蓋住的單詞是什麽，通過這一方式，模型可以學習到自然語言隱含的句法，亦能對詞義句義有所掌握。
更重要的是，這一方法不需要任何人工標注，可謂“人有多大膽，地有多大產”，數字時代無數的自然語言資源 —— 電子書、網站、論壇帖子等等等等都能成為訓練數據的來源。句子以自身信息作為監督，對模型進行訓練，故稱自監督學習。
在數據無限的前提之下，算力便顯得愈發重要。
在 BERT 原論文裡，Google 用了 16 塊自主研發的人工智能芯片——張量處理器（Tensor Processing Unit，TPU）訓練了四天四夜，才最終收獲了突破性的結果。
若你想以顯卡為標準作以比較，NVIDIA足足用了64張自家的頂級顯卡，在多方優化之下訓練了三天有余，才成功複現這一成果。
谷歌TPU芯片
今年卡耐基梅隆大學（CMU）和 Google 合作研發的 XLNet 模型，則在BERT的基礎上更進一步，在足足 512 塊 TPU 上訓練了兩天半時間。
以 Google Cloud（谷歌雲服務）的計價標準計算，訓練一次 XLNet 模型總共需要二十四萬五千美元（合人民幣一百六十餘萬）。若再考慮上模型研發過程中的不斷試錯，調參驗證等等過程，XLNet 模型的開銷簡直天文數字。
巨額開支之下，中小團隊自然無力競爭，自然語言處理的基礎模型研發，也因而幾近成了巨頭獨霸的競技場。
算力壟斷之下，中小團隊如何應對？
“站在巨人的肩膀上” 便是第一準則。
相互競爭之中，算力巨頭們多會將自己訓練好的模型對外開源，讓沒有訓練資源的團隊也能得以在模型上進行微調，得以應用。雖然這一過程亦對算力有所要求，但卻已比從頭訓練現實的多。
目前，不少國內互聯網公司已將BERT開源模型應用於自然語言處理系統之中，大大提升了系統的自然語言理解能力。視覺領域公司則可以從FAIR的新模型入手，對自身的圖像識別系統的骨乾模型進行更新升級，以期取得更好的成效。
“差異化”為核心。
中小團隊在算力上對大公司望塵莫及，亦因而無力在如多類別圖片分類等基礎問題上與算力巨頭逐鹿競技，卻可以基於自身的獨特優勢，在細分特定問題上夯實基礎。
在去年年底拿到四億美元C輪融資的Zymergen，便立足於自身在生物領域的深厚技術研發，將AI運用於藥物、材料研發中，避開了與巨頭在圖像、自然語言處理等領域的白熱化競爭，成就了自己獨特的技術護城河。
Zymergen公司
https://www.vox.com/2015/6/16/11563594/synthetic-biology-startup-zymergen-emerges-from-stealth-with-44
除此之外，隨著5G和物聯網時代的到來，算力受限的物聯網設備成為新熱點。如何研發設計算力要求小、能效比低的模型亦能成為中小團隊的破局之處。
“更高更快更強”還是根本。
面臨算力壟斷的加劇，提升自身算力仍是根本。即使選擇了獨到的差異化方向，又借助巨頭的開源模型進行微調，算力的要求仍不容小覷。在大多數情況下，算力提升帶來的效率提升還是要比算力本身的開支來的重要。條件容許之下，提升團隊的算力可以說是最簡單直接卻又最見成效的投入之一了。
對AI芯片公司來說，這更是機遇所在。
若是通過不斷的芯片研發，提高人工智能算法的訓練、運行效率，以更低的成本提供更多的算力，AI芯片創業公司便能在這個算力為王的時代脫穎而出，成為NVIDIA顯卡、谷歌TPU之外的重要選擇。
拿到微軟、三星投資，估值過億美元的獨角獸公司GraphCore便推出了自家研發的智能處理芯片（Intelligence Processing Unit， IPU），在從訓練到推理的整個流程之上，試圖與GPU和TPU一決高下。根據測試，IPU在能耗、速度、時延等方面都顯出了自己的獨特優勢，有望成為AI算力戰場的又一有力競爭對手。
GraphCore IPU芯片
https://www.theverge.com/circuitbreaker/2018/11/26/18112462/graphcore-new-ai-chips-server-processors-design-colorful
大名鼎鼎的寒武紀也在上個月推出了“思元”系列芯片。他們選擇了一條更為差異化的道路，聚焦於整數低精度訓練，在特定的應用環境下取得更好的速度與效率，避免了對競爭對手的直纓其鋒，有望在NVIDIA的傳統優勢戰場——雲端計算中心搶下一席之地。
“差異化”核心的重要性又一次凸顯。
在模型一再革新，數據指數增長，算力愈發重要的今日，中小團隊幾乎不可能在熱門領域與巨頭正面競爭。中小團隊應聚焦自身優勢，尋找差異化的切入點，才能在人工智能的浪潮中脫穎而出，立於不敗之地。
巨頭企業也應負起自身的社群責任，為技術、模型的開源化作出貢獻，讓更多的開發者、團隊、科研人員受益於業界最新技術的發展。這也將有助於巨頭公司自身的形象確立，吸引更多人才加入，為自身發展添磚加瓦。
不過，無論中小團隊還是巨頭企業，算力的提升都是重點議題。現如今，為圖形計算而生的顯卡仍是我們人工智能系統的主要硬體。
通過系統架構的改革，特型化硬體的設計、開發，我們的AI芯片仍大有潛力可挖。充沛的算力如同驅動兩次工業革命的煤炭和電力，也將驅動我們的人工智能革命不輟前行。
香港九龍灣馬來街興發大廈15樓D室