新智元報導
來源：Reddit作者：AlexSnakeKing
編輯：肖琴、元子、張乾
【新智元導讀】公司業務引入AI一定能成功嗎？Reddit機器學習今天最火的話題，討論了一個真實的故事：公司在引入AI之後起到了相反的作用，導致內鬥不斷、人員流失，成為行業慘痛教訓。
這是一個真實的故事。
今天Reddit機器學習板塊最火的話題，莫過於一個“亡於AI”的帖子，作者分享了發生在自己公司的一個故事：
在A公司有一支傳統的X團隊，他們使用本地ERP工具和傳統編程語言進行高級分析，整個工作流程非常流暢，工具也非常有效，都是基於非常深入的業務和領域專業知識而設計的。
隨後來了一支Y團隊。這是一個全新的、充滿雄心的數據科學團隊，他們認為，X團隊的工具不夠fashion，完全可以用幾個R腳本 + 一個定製的 ML 平台，直接乾掉 X 團隊現在使用的工具。
Y團隊的模型非常簡單，甚至有點過於簡單了。但看起來，明顯比X團隊使用的計量經濟模型更加 “fashion”，加上 Y 團隊頂著“機器學習”和 “數據科學”的 光環，因此領導層決定讓 Y 團隊對現有的相關分析平台進行大規模的改造。
但是，Y團隊並沒有類似這種大規模轉型的經驗，而且他們還拒絕與X隊合作。最終，作者預測這個項目的結局很可能是走向失敗的，並會在整個財務和人員的角度，對整個公司造成嚴重傷害。
在當前環境下，數據科學社區帶出來的風氣，對AI的盲目崇拜，也是導致上述現象頻發的原因。
今天新智元將A公司的慘痛教訓詳細還原，以警醒AI從業者。
X團隊：工具老派，專業知識夠硬
A公司已經存在幾十年了，它不是其領域中最大的公司，但也備受尊敬。自90 年代以來，風險分析和投資組合優化一直是A公司業務的核心，他們有一支由 30名左右的分析師組成的大型團隊，每天都在執行這些任務。
這些分析師使用由大型ERP公司 (SAP、Teradata、Oracle、JD Edwards 等) 或大型技術谘詢公司 (德勤、埃森哲、普華永道、凱捷等) 與內部工程團隊合作為他們實施的ERP解決方案。
使用的工具都是老一套的：在預置型伺服器甚至大型機上運行經典的 RDBMS，使用 COBOL 編寫的代碼，Fortran 語言，ABAP 或 SPSS 之類的專有工具…… 你懂的。但模型和分析函數相當複雜，與已發表的學術論文相比，它們令人驚訝地處於前沿。最重要的是，它們與公司的企業生態系統非常吻合，並且是基於多年深厚的領域知識磨練而成的。
他們擁有一支由幾名工程師 (從上述軟體和谘詢公司挖來的) 和產品經理 (從使用這些軟體的經驗豐富的分析師和管理人員中挖來，或從商業競爭對手挖來的) 組成的技術團隊來維護和運行該軟體。
這些人的技術可能是老派的，但總的來說，他們非常非常了解這個領域和公司的整體架構。他們指導公司進行了幾次大規模的升級和遷移，而且總是能按時交付，沒有太多的開銷。
雖然有幾次他們出了bug，但他們知道如何快速解決。事實上，在所處的行業利基市場中，他們以其專業知識而聞名，並與他們不得不打交道的各種供應商保持著非常好的關係。
有趣的是，儘管每天都要使用統計建模和優化算法進行處理，但參與其中的分析師、工程師或產品經理都沒有自稱為數據科學家或機器學習專家。這主要是一種文化傳統：他們所獲得的專業知識早於 2010 年左右開始的數據科學 / ML 的炒作，並且他們的大部分技能是使用專有的企業工具而不是當今流行的開源工具獲得的。
他們中的一些人接受過正式的統計培訓，但大多數人來自工程或領域背景，並在工作中學習了統計學。讓我們稱這支團隊為 “X 團隊”。
Y團隊：試圖用AI解決所有數據問題
在2010年代中期左右，A公司開始出現一些嚴重的令人焦慮的問題：儘管對於這樣規模的一家公司來說它做得很好了，但整體經濟和人口發展趨勢正在縮小其客戶群，一些所謂的破壞者開發出了一個新的應用程序和業務模式，開始嚴重侵蝕他們的收入。
必須采取適當的措施來安撫股東和投資者。A公司已經有了一個不錯的網站和一個相當時髦的應用程序，還有什麽可以做的呢？領導層決定，現在是時候讓人工智能 (AI) 和機器學習 (ML) 成為公司業務的核心部分了。
這時候，一位雄心勃勃的經理——沒有科學或工程背景，只是幾年前簡短地玩過一個推薦系統——被選為創建數據科學團隊的負責人，組建起一支 “Y 團隊”。
Y團隊主要由內部員工組成，他們決心要成為數據科學家，並在加入團隊之前完成了 Coursera 認證或 Galvanize 新兵訓練營，此外還有一些剛獲得博士或碩士學位的新人。他們不喜歡學術界，想要在工業界一展身手。而且他們都是非常聰明的人，會寫很棒的部落格文章，也會發表鼓舞人心的 TED 演講，但總體而言，他們幾乎沒有任何實際的行業經驗。
就像現在流行的那樣，這個團隊是數據科學組織的一部分，繞過 CIO 和任何技術或商業副總裁，直接向 CEO 和董事會匯報，因為A公司想在即將召開的股東大會上宣稱這個團隊是“數據驅動”和“AI 驅動”的。
在之前3到4年的時間裡，Y 團隊開發了一些 Python 和 R 腳本。他們的架構經驗基本就是將 Flask 連接到 S3 bucket 或 Redshift tables，其中幾位更有資源的人學習如何將他們的模型插入到 Tableau 或如何啟動 Kuberneties pod。但他們並不擔心：前面提到的經理（現在的團隊主管），是一個玩公司政治和自我推銷的高手。
不管 Y 團隊生產的可操作的成果有多少，或者他們部署到生產中的代碼有多少，他總是支持他們，並確保他們有充足的資金。
事實上，他現在已經制定了一個宏偉的計劃，即建立一個通用機器學習平台，用來解決公司的所有數據問題。
但是，真正的問題才剛開始。
衝突產生：互相看不對眼，拒絕溝通和合作
Y 團隊中一些頭腦清醒的成員，在搜索了他們的行業名稱和 “數據科學” 這個詞後，意識到貝葉斯模型是風險分析的主要解決方案，而且已經有一個漂亮的 R 語言工具包可以用，他們在 R-Bloggers.com 研究了相關的教程。
其中一位成員甚至在 Kaggle 數據競賽平台上提交了一個 Bayesian 分類器內核 (在排行榜上排名第 203 位)，並渴望將他的新發現的專業知識應用到實際問題中。
他們將這個想法提交給他們的主管，主管認為這是ML平台的一個完美用例。他們立即開始工作，完全沒有費心去了解A公司是否有人已經在做風險分析。因為他們的組織是獨立的，所以他們在獲得資金之前並不需要和任何人核查這些問題。
儘管他們所做的本質上只是一個樸素貝葉斯分類器，但為了給董事會留下深刻印象，他們在項目名稱中加上了ML這個術語。
然而，隨著他們工作的進展，緊張的氣氛開始凸顯。
他們要求數據倉庫和CA分析團隊為他們構建 pipeline，最終這個項目的消息傳到了 X 團隊耳中。X團隊最初很興奮：他們願意竭誠與 Y 團隊合作，並希望在自己熟悉的工具包中添加 ML。產品負責人和分析師也完全支持：他們看到了加入這個數據科學熱潮的機會，而這時他們不停地聽到的熱詞。
但由於傲慢和不安全感混合在一起的奇怪情緒，Y 團隊拒絕與 X 團隊合作，也拒絕與 X 團隊分享任何長期目標，即使他們去了公司的其他部門就他們創建的新模型做演示和教程展示。
X 團隊生氣了：從他們對 Y 團隊模型的觀察來看，Y 團隊的方法幼稚得無可救藥，在生產中幾乎沒有擴大規模或可持續發展的可能性，而他們確切地知道如何幫助 Y 團隊實現這一點。考慮到他們對 DevOps 和持續交付的熟悉程度，將模型部署到生產環境中需要幾天的時間。
儘管他們自己的技術已經過時了，但 X 團隊還是足夠聰明，能夠將其插入到現有的架構中。此外，該模型的輸出並沒有考慮公司的業務將如何使用它，或如何將它傳遞到下遊系統，並且為了讓模型被採用，產品所有者可能付出大量精力。
但是 Y 團隊不聽，他們的領導拒絕任何溝通的嘗試，更不用說合作了。Y 團隊表現出來的態度是：“我們是最先進的 ML 團隊，你們是傳統的伺服器。我們不需要你的意見。“Y團隊似乎完全無視領域知識，或者更糟的是，他們認為所有這些領域知識只需要掌握一些業務指標的定義就夠了。
X 團隊感到沮喪，試圖向領導層表達他們的擔憂。但是，儘管他們掌握著 A 公司的業務流程中重要的一環，但他們只是一個幾十人左右的團隊，而且他們與最高管理層也隔了好幾層，在這個擁有1000名員工的強大組織中，他們的聲音不可能被管理層聽到。
與此同時，Y團隊裡這位勢不可擋的主管正在做他最擅長的事情：玩弄公司政治。儘管他的團隊實際交付的東西很少，但他已經說服董事會，所有的分析和優化任務現在都應該遷移到尚未交付的 ML 平台上。
由於大多數領導已經知道 X 團隊和 Y 團隊的目標存在重疊，他的觀點不再是 Y 團隊要有新的洞察力，而是他們將以更準確的基於雲的ML工具取代基於統計學的工具。
儘管學術文獻中沒有支持樸素貝葉斯方法比 X 團隊使用的計量經濟學方法更好的觀點，更不用說貝葉斯優化肯定會比生產中運行的 QP 求解器更好的怪異觀點了。
等死，還是找死？
X 團隊不知道，最初的貝葉斯風險分析項目現已發展成為一項價值數百萬美元的重大改革計劃，包括最終取代 X 團隊支持的所有工具和功能，以及必要的雲遷移，CIO 和幾位業務副總裁均已就位。
由於 Y 團隊沒有工程技能，於是打算公司外部找一個沒有人聽說過的創業公司，把構建平台的任務外包給他們。另外，選外包公司要非常慎重，因為如果選擇任何知名的外包公司，老闆立馬就會意識到 Y 團隊不行，發現其實 X 團隊比 Y 團隊更適合這種規模的遷移。
Y 團隊沒有任何主流 ERP 部署的經驗，更缺乏相關領域的知識，但他們的任務卻是從根本上改變 A 公司現有核心業務的業務流程。他們的模型實際上比 X 團隊要差，並且與實際情況真正需要的解決方案相比，他們的體系結構簡單到令人絕望。
更打臉的是，通過貝葉斯分析、以及基於目前所有的證據都表明一個更讓他們寒心的事實：Y 團隊成功的可能性等於 0。
也許，該項目最好的是及時被終止，但仍然損失了超過 5000 萬美元，領導層換血，數十人被解雇；最壞的結果無疑就是整個公司陷入困境。鑒於風險分析和投資組合優化對公司 A 的收入流的重要性，它可能不會破產，但會失去其大部分業務和員工。
古話說得好 “不上ERP等死，上了ERP找死”。錯誤實施 ERP 導致公司垮掉的大公司並不少見，例如 National Grid US，SuperValu 和 Target Canada。
結局
Reddit發帖的作者認為，這次崩潰的核心驅動力確實來自於對數據科學家、機器學習模型以及 AI 的承諾的盲目信仰，以及在機器學習群體中非常普遍的炒作和自我推銷的整體文化。
對機器學習 / 數據科學的過度關注需要為項目失敗負責嗎？
在 Reddit 的評論裡，一些人認為這個鍋技術不應該背！完全就是領導者的決策失誤。因為在這個案例中，把機器學習、數據科學換成其他任何一種新興的技術，最終的結局很可能是相同的。
作者也認為，不論機器學習也好、數據科學也好，只要能放在正確的場景中，確實可以正確的得償所願。將先進的機器學習技術、放在合適的場景中、並將成本控制在合理的範圍內卻拉低公司競爭能力的情況，沒有理由發生。
此外，作者還認為，出現這種情況的原因既有公司決策問題，也有對AI的盲目崇拜問題，以下三點可能是公司引入AI之前應該警醒的教訓：
認為數據科學團隊應該獨立運作。過度自治導致和公司業務、其他團隊脫節。
由於對機器學習和數據科學的過度炒作，導致人們以為數據科學家是個全能型人才，啥都會。再有機器學習能力的加持，哇！簡直沒有什麽問題是這位數據科學家不能解決的。
過度關注工具和基礎知識而缺乏深度的經驗。一個人可能了解 Python、R、Tensorflow、Shiny 等編程工具；有 Coursera 證書；寫過點讚好幾千的數據科學、機器學習文章，但根本對實際問題一無所知。如今的數據科學面試題基本都是：解釋 p 值；解釋彈性網絡回歸；如何在 sklearn 中使用模型… 拜託，任何會打字的人都能在 Stackoverflow 或 Cross-Validated 上查看這些問題的答案。實際上面試應該這樣提問：為什麽投資組合優化使用 QP 而不是 LP？預測是如何影響客服水準的？推薦引擎如何決定什麽時候該基於內容、何時使用協同過濾...
AI有風險，引入需謹慎。
香港九龍灣馬來街興發大廈15樓D室