AI項目搭建寶典:Google首席決策智能工程師的經驗之談

新智元報導

來源：Medium

作者：Cassie Kozyrkov

編譯：大明

【新智元導讀】谷歌首席決策智能工程師Cassie Kozyrkov最近寫了一篇AI/機器學習項目構建“終極指南”。既然是入門級，文中對算法、模型等技術內容幾乎沒提，而是從尋找合適項目負責人開始，講到用戶案例、性能指標、再到團隊招募、測試標準制定等，洋洋灑灑而又條理清晰，值得初涉AI項目的人士參考。

目前，許多團隊正在試圖通過深入研究算法和數據來啟動一個應用型AI項目，然後再確定期望的輸出和目標。

不幸的是，這個過程就好比在公寓裡養了幾年小狗，然後驚訝地發現它不能幫你說謊。

相反，你需要在養小狗（ML/AI系統）之前，明確自己的目標或需求是什麽，然後再有計劃地對其進行訓練。

這篇指南就深入的研究了如何正確的開展ML/AI系統，並將從以下五個方面進行講解：

明確項目負責人

識別用戶案例

做一些事實核查

制定性能指標

設定測試標準，來消除認知因素產生的偏差

本指南使用人群：決策者、倫理學家、ML/AI工程師、分析師、定性專家、經濟學家、心理學家、可靠性工程師、人工智能研究員、領域專家、用戶體驗專家、統計學家、人工智能控制理論家。

明確項目負責人：找到說了算的人！

在機器學習和人工智能項目中，第一步應該是明確正確的長官人選

我們將要解決的問題是誰來當項目負責人，也就是說，該由誰來發號施令。

如果你選擇了一個博士研究員來擔任這個職位，那可能是由於這個人的決策能力和對你的業務的深刻理解。如果你打算讓他們擔任這個角色，事後再對他們的能力進行評定，那麽你選錯人了。我們所稱的決策者(可以是個人或委員會)是應該擁有最終決定權的實體。

如果決策者不精通決策的藝術和科學，有一個解決辦法：將他們和定性專家進行配對。

識別用戶案例

關注輸出

ML/AI不是魔法，它不能解決所有問題。它們只是一個標簽，你需要自己去弄清楚你要往上面貼什麽標簽。

事物標簽不僅僅意味著分類。這裡的標簽是指輸出。它可以是一個類別，一個數字，一個句子，一個波形，一組ID，一個單一動作，一個操縱杆運動，一個動作序列等等。

如果你讀了我最近一篇關於算法如何工作的文章，你就會注意到這篇文章想當然地認為有必要給一杯茶貼上Cassie喜歡或不喜歡的標簽。

誰會同意浪費每個人的時間去做這樣的用例呢？！它將如何幫到企業？那個分類器甚至應該存在嗎？假設它可以工作，那它值得花時間和精力去建造嗎?

現在談“輸入”並不是一個好時機

決策者中有很多人對數據非常熟悉。有些人可以同時談論輸入和輸出方面的事情。但我的建議是：不要談論“輸入”！原因如下：

原因1：會錯失良機

這是非常顯而易見的。有些利益相關者對數據並不會像你那樣熟悉，他們很容易混淆。在早期，你可能會向他們介紹你的想法，希望為你的項目獲得資源。但不要讓他們對此產生困惑！要告訴他們項目是做什麽的，而不是怎麽做的。

很多對數據比較熟悉人都會遇到一個問題，那就是他們會想當然的認為別人對數據也是非常敏感、熟悉的。而讓我乾到非常震驚的是，科技界許多絕頂聰明的人對數據並不了解，所以我現在知道不應該將這件事情看得那麽理所當然。

原因2: 我們默認的情形不一定是最優的

作為一名有著多年經驗工程師，我發現我們這些人越來越喜歡關注細節，去他的大局觀。這實際上一種是風險很大的選擇：比如當你花了6個小時與你的夥伴討論，變量x是否是一個很好的輸入，是否可以作為預測輸出y的適當記錄，這時其實你已經默認y是值得尋求的產出了。你已經確信了這一點，最後可能會做出並不需要的東西。

你可能還沒有為機器學習做好準備

仍在忙著尋找用戶實例嗎？先停下來分析一下吧，分析的目標是為決策者創造靈感。一旦你受到了啟發，你就可以回到ML /AI過程中並重新開始。分析（比如數據挖掘）對於每個項目而言都是一個好主意，而ML / AI僅適用於利用數據自動化標記的項目。

雖然它們之間的數學基礎通常是相同的，但具體過程有很大差異。數據挖掘就是最大限度地提高發現速度，而機器學習是實現高性能的自動化過程。在數據挖掘中，你的團隊只會犯一個錯誤，而後者可能犯的錯誤不勝枚舉。只有處理確實值得投入資源的實例時，再著手處理這些令人頭疼的問題。

讓我們想象一下這個用例，標記圖片是不是一杯茶。首先要確保不是僅僅考慮標記一兩個杯子。 ML/AI對於自動執行許多重複決策很有意義，它不是一次性的。

拿一支筆，寫下你自己判斷的標記，（本例中隻涉及是/否，很容易）。寫下你如何判斷出這個結果的，寫下標記錯誤會是什麽樣子的。然後預計機器學習中會出現的錯誤。

核對事實很重要

一旦你能清楚地表達出你所尋求的標記，就可以快速檢查一下：你手頭關於這個商業問題的數據嗎？

這些數據必須具有相關性。你不能使用大數據的模式來預測你的血糖水準。顯然，無用的數據是不算數的。你不必分析數據（這事放在項目的後期來做），但應該確定在時機成熟時需要進行分析的內容。因為沒有數據，AI項目就不複存在了。

此外，你還需要確認是否具備處理數據的計算力。

沒有數據支持，AI項目就會像這頭牛一樣

在組建團隊之前，有必要檢查以下事實。確保以下問題的答案都是肯定的，下面是這些問題的概覽：

適當的任務:你是否在自動進行許多決策和標記過程？是否無法每次都完美找到答案？

合理的期望:你的系統可能會很優秀，但並不是完美無瑕的，你能否接受偶爾會出錯的系統？

潛在的有用輸入是否存在？你能否獲取到這些輸入（目前沒有這些數據也沒問題，未來制定計劃可以拿到這些數據就行）

充足的實例:當有機會和統計學家或機器學習工程師一起喝酒時，記得提一嘴現在自己手頭有多少實例可用，想要獲得什麽樣的輸出。

電腦性能:你是否擁有足夠的計算力來應對你使用的數據集？有了雲技術，這一點其實不再是什麽大問題了。

團隊:你是否足夠自信，認為一定可以招募到擁有必要技能的隊友？

基本事實:除非從事非監督式學習研究，你能夠正確獲取輸出嗎？如果不能，是不是要花錢請人為你完成這項任務？

可以開始組建團隊了！

明智地確定衡量標準

如果你是個新手，下一步可能會有點棘手。你要決定每個標記結果的價值。被標記為“是”的令人作嘔的一杯茶的味道比一杯被標記為“否”的美味的茶的爛多少倍？ 全都由你決定！

如果你已經頭大了，可以找一些對數字敏感的人一起頭腦風暴。如果你想要最好的幫助者，可以向一些經濟學家求助。經濟學家為AI項目提供了很多有用的意見。

在搞清楚如何把握單一輸出結果的權衡問題之後，就該考慮如何處理幾千個結果的問題了。使用平均值是一個一般選擇，但不一定非要取平均值。

制定指標

制定指標的方法有很多種。在本文中上面的例子裡，你可以選擇一個非常簡單的標準：準確性！也就是說“不要出錯。”假設每個錯誤都同樣糟糕（取值為0），每個正確反應的作用都一樣好（取值為1），然後取平均值。

也許你不想浪費自己的時間，你要確保當系統判定為美味時，它真的值得喝喝看，但你可能因此錯過非常好喝的茶。嗯，這個度量標準稱為精度。

遇到問題需要幫助了？你之前找來的經濟學家已經走了？沒問題！或者你有喜歡設計遊戲的朋友嗎？遊戲愛好者在不知不覺中在整個生命中都在進行訓練！如果你和這類人沒那麽深的交情，你可以打電話給你的分析專家，他們的工作就是幫助決策者確認對這類事情的觀點。

谘詢專家意見

在涉及到重大問題的應用中，請多谘詢專家，確認不會以某種不正當和有害的方式對某些指標打了高分。

應該請哪些專家？你是否聽說過一個笑話，說一位決策者、倫理學家，AI控制理論家，統計學家，用戶體驗研究員，行為經濟學家，領域專家和可靠性工程師一起走進酒吧......

當然，這種情況對於無害的商業應用程式來說可能有點過分，因此您求助的專家對這些學科的熟悉程度非常重要。

創建業績指標！

當你完成上面的步驟後，就已經創建了業務績效指標！

與損失函數不同，在績效指標方面，存在的可能是無窮無盡的，要由決策者決定哪些指標才是真正重要的。如果您對解決這個問題感到焦慮，我正在醞釀更多文章來幫助您掌握這些指標的開發。

損失函數是用於優化的，不是用來測試的

“在AI應用中，損失函數應該用於優化，而不是用於統計測試。統計測試中應該問的問題是：“模型的性能是否足以構建和啟動？”

為方便起見，您可以使用標準化的損失函數進行優化，前提是該函數與你的長官想象中的函數相同（可通過分析或模擬執行相關性檢查），但測試時，請使用自己的損失函數。

針對目標人群設定測試標準

明確你感興趣的目標人群

在指定打算使用哪些實例之前，談論系統是否能夠“正常工作”是沒有意義的。是的，這意味著你需要指定對那些特定的人群感興趣。

設定測試系統的標準是決策者的責任，應該引起重視。

預先設定標準是保護我們避免打造出可怕的機器學習和人工智能系統的重要一步。

這個標準不是唯一的。你也可以制定一個團隊可以達到的性能水準，但這不是測試標準的，測試時請使用最低限度的標準。

克服固有認知偏見的影響

事實證明，作為人類的一員，我們都存在一些可愛的認知偏見，可以簡單歸結為：當我們為某件事投入了時間和精力，我們就會愛上它，即使產生的是一堆有毒的垃圾！

所以，趁著你現在仍然清醒，在將大部分時間和精力投入某個項目之前，應該對業務項目中問題進行冷酷而嚴格的審視，並能夠達到：“如果這個項目達不到最低要求，我保證砍掉它！”

不要太苛刻

如果你總是要求AI模型的表現比人類更好，那你可能會讓你錯過機會。這有點像說，你隻願意聘請奧運會金牌得主來為你家的裝修鋪地磚。也許奧林匹克運動員比普通人的能力更強，但採用如此嚴格的招聘標準可能會讓你無人可招。

應該適當地降低標準，使其能夠滿足業務需求即可，但不低於最低標準。正如經濟學家所說，將標準放低至最低限度是具有激勵作用的。

有時自動化生產的產品的部門品質會低於手工製品，但機器製造的規模和速度使其具備了商業上的價值。這對你的業務有價值嗎？嘿，負責人是你，不是我。祝你好運！

以上就是AI/機器學習項目搭建的第一步指南！如果你發現本指南中的任何觀點還算有價值，請分享給身邊的人中最有可能負責決策的人。讓我們建立一支技術嫻熟、負責任的人工智能長官者團隊，共創AI的美好未來！

參考鏈接：

https://towardsdatascience.com/the-ultimate-guide-to-starting-ai-d506255d7ea

新智元AI WORLD 2018

世界人工智能峰會全程回顧

新智元於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智能峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

全程回顧新智元 AI World 2018 世界人工智能峰會盛況：

愛奇藝

上午：https://www.iqiyi.com/v_19rr54cusk.html

下午：https://www.iqiyi.com/v_19rr54hels.html

新浪：http://video.sina.com.cn/l/p/1724373.html