美國紐約算法監管遇挫啟示錄

原文首發於502期《法治周末》11版

提要

即使算法透明之路障礙重重，我們仍需找到透明度與商業秘密、專有信息等因素之間的平衡點以促進算法之規製

資料圖/網絡

兩年前的2018年1月17日，美國紐約市的“1696提案”——自動化決策特別工作組法(Auto Decision System Task Force Law)正式成為法律。隨後，紐約市市長組建算法特別工作組，展開了算法監管行動，監管目標為政府使用的各種算法。

彼時，全世界的目光都投向這座城市，這項開創性的舉措被認為是世界算法規製的燈塔。然而，時光流轉至2020年1月，算法工作小組至今尚無法獲取紐約市使用算法自動化決策系統的基本信息。紐約大學助理教授朱莉婭·斯托揚諾維奇公開批評：“如果政府不能提供任何信息，那麽根本沒有必要組建工作組。”

2019年11月，紐約市政府發布了《紐約市自動決策系統特別工作組報告》(the New York City Automated Decision System Task Force report)。報告回避了活動評價，卻提出了諸如“要求政府制定公開披露部分信息的協議”“呼籲開展更多以基於算法的系統為內容的公眾教育”等一系列的廣泛建議。

此舉招致了一些學者的不滿。一個月之後，美國非政府組織“今日人工智能”(AI NOW)協會針對政府官方報告發布了一份影子報告，直言此次監管活動的諸多不足。

該組織政策研究總監理查德森直言：“紐約市在算法監管上開了一個危險的先例。紐約市在算法監管方面未能取得任何有意義的進展，這為其他政府樹立一個反面榜樣。”

那麽，此次監管行動究竟效果如何?又為我國算法監管提供了何種啟示?

1

應對算法歧視和錯誤

人工智能時代，算法已經逐漸脫離網絡平台系統，逐漸被越來越多的政府公共部門納入使用範圍，應用於社會公共治理領域。

在美國紐約，在公共校車的路線規劃、房屋質量檢測、再犯罪風險預估，兒童福利制度、預測性警務等諸多領域，政府部門逐漸使用與依賴算法的自動化決策。算法成為了公共資源分配與社會治理主角，切實地影響著近900萬紐約市民的日常生活。

自動決策系統是指基於數據的算法決策系統，以政府社區治理為目標，其目的在於對社會治理對象的預測、識別、監視、檢測。算法被廣泛應用於預測性警務、審前風險評估、欺詐檢測系統、交通管理系統、篩選工具等。紐約市政府對算法自動化決策的依賴引發了社會公眾強烈的不安。因為算法的自動化決策的“名譽”受到了兩個著名事件的嚴重影響。

使算法自動化決策陷入廣泛質疑的事件之一，是紐約“為了人民”(ProPublica)組織在調查中發現一款名為COMPAS的軟體存在種族歧視的傾向。在該軟體作出的高風險錯誤判定中，黑人數量是白人的兩倍以上。換句話說，兩倍於白人的黑人被預測為高風險人群。

在美國，布裡沙·博爾登和弗農·帕特均因竊取價值80美元財物被指控盜竊罪，前者無入獄經歷、有過4次行為不當、危險指數為8(高危)，而後者有5年入獄經歷、曾兩度持槍搶劫、危險指數卻僅僅被評定為3(一般危險)。二者的區別之一即是種族，前者是一名黑人女性，後者是一名白人男性。

COMPAS全稱為提供替代性製裁矯正犯罪管理畫像，是運用算法依據累犯和犯罪職業特徵相關行為和心理結構設計的犯罪嫌疑人風險預測評估軟體。即使這一算法自動化決策得到了紐約州刑事司法部門的支持，也未能平息公眾的質疑。這種算法決策被指責存在種族歧視、人權侵害等風險，加劇了現有的不公平現象。

另一個使算法自動化決策遭受質疑的事件，是美國伊利諾伊州兒童和家庭服務部採用的預測分析兒童和家庭算法也出現大量錯誤案例。結果顯示，該算法並未能識別出大量最終死於忽視或虐待的高危兒童。

2016年，美國卡內基梅隆大學的統計學家亞歷山德拉·丘爾德喬娃對美國北卡羅萊納州阿利根尼縣用於家庭風險篩查的AFST算法進行分析後發現：在同樣得到最高風險得分的情況下，被虐待的白人兒童轉移率要低於黑人兒童，且原因未知。

由此可見，算法本身並非人們刻板印象中始終客觀、中立並且絕對正確的，算法決策具有高效特點，但並不當然地準確與無偏見。

為了應對算法歧視和錯誤問題，紐約市於2018年1月17日通過了“1696法案”，使其成為了紐約市第49號地方法律。繼而，紐約市根據第49號法律成立一個“算法問責特別工作組”，對政府所使用的算法進行調研，並就加強算法問責製、提高透明度等提出建議。

2

紐約市算法監管緣何遇挫

那麽，為何這次監管活動未達到預期的效果呢?

首要原因是政府與企業均不願遵循法案要求披露算法使用情況和算法設計信息，算法透明度制度面臨重重現實阻礙。

事實上，“1696法案”的原始草案關於披露的要求是公布任何“算法或者其他自動處理數據系統”的源代碼，而科技公司以“迫使披露專有信息，損害其競爭優勢”為由表對該條款示了強烈反對。

在後續草案修訂過程中，關於算法透明性的嘗試與“商業秘密”的較量一直在持續進行著，後來立法者妥協無需披露源代碼，但有關算法信息的披露仍被市政府駁回。最終通過的法案取消了所有關於披露的要求。在此次監管活動中，紐約市政府從未向工作組提供一份市政機構使用的自動化決策系統清單以及相關具體信息，僅提供了一部分機構使用的示例。

另外，就政府程序而言，工作組進展動態缺乏公開、聽證會等會議信息不及時公布、隨意縮短聽證會公眾提問時間、對民眾的關切和質疑有所回避等可以看出，此次監管活動在公眾參與和政府程序公開、信息披露等方面始終存在問題，政府工作透明度有所欠缺。

其次，本次監管行動在立法上也存在缺陷，致使工作組監管職能落空。紐約市自動決策系統工作組的立法中存在一項不合理的寬泛豁免——“允許機構不披露信息或不遵守工作組的建議”。無權限的工作組在要求相關機構提供當前使用自動化決策系統相關信息時被許多機構拒絕，這直接導致監管行動遭遇重大挫折。

由於缺乏獲得基本信息的途徑，對於沒有法律授權的工作組而言，獲取採購花費、共享數據量等相關信息只能依靠於機構和開發商的自願披露，最終致使工作組的監督職能難以實現。

最後，此次監管行動遇挫的另一重要原因在於未能對“自動決策系統”的定義進行界定。工作組在2018年秋季和2019年冬季召開會議，其主要任務為討論自動決策系統的定義，但在2019年4月的論壇上，工作組主席表示他們仍未就定義問題達成共識。界定算法自動化決策之於監管活動的意義無異於基石，在連執法範圍都不明確的執法行動，遇挫也成為了必然。

3

找到監管平衡點至關重要

紐約市之後，美國其他地方政府與歐盟均緊隨及後展開了算法監管的立法與實踐。

歐盟於2018年5月正式全面實行《通用數據保護條例》(簡稱為GDPR)並提供了一系列有關算法自動化決策的行為指南文件。美國繼《伊利諾伊州人工智能視頻面試法案》《加州消費者隱私法案》、華盛頓HB1665及SB5527法案(旨在為政府採購和使用自動決策系統制定指導方針)等州政府相關法案施行之後，若乾立法者正在推進聯邦層面的立法，《算法問責法案》正在等待國會的表決。我國雖尚未頒布專門法規，但也在《電子商務法》《網絡安全法》等中規定了與算法相關的條款，旨在全面將算法規則納入監管領域。未來，我國的算法監管可從紐約市的失敗中汲取教訓。

此次紐約算法監管行動的主要教訓是在監管中如何把握對算法透明度的要求。技術是中立的，但技術的應用不可能中立。透明並非是把源代碼的技術秘密公之於眾，而是對算法應用風險的監督與管控。算法的透明性應針對政府使用算法的透明、算法決策因素的透明，使算法透明度成為針對政府算法應用中潛在問題所必需的“診斷工具”，這對解決政府使用自動化決策系統可能引起的社會、道德和公平問題至關重要。

人工智能時代對算法的監管應包括事前規製、事中監測、事後救濟三個方面，最重要的即是通過立法手段對算法透明度予以保障，避免對研發者信息披露義務過於寬泛的豁免。規範政府建立自動化決策系統清單，清單內所列的自動化決策系統均應納入事先評估影響、事中持續監測審查的範圍，授予監管機構調查權限以訪問與自動化決策系統相關的信息。

因此，即使算法透明之路障礙重重，我們仍需找到透明度與商業秘密、專有信息等因素之間的平衡點以促進算法之規製。

同時，應禁止機構與自動化決策系統的供應商達成任何有礙於合理信息披露的協議，將算法的透明度要求與合約批準聯繫起來，從源頭上杜絕供應商等利用商業秘密、貿易保護等“保護傘”規避披露義務的行為。

除了行政監管，應對“算法權力”的擴張，可考慮增強“算法權利”的途徑。對於任何私權利受到自動化決策系統不當侵害的個人，都應賦予其私人救濟的途徑。

(作者分別系北京科技大學文法學院副教授、東北師范大學政法學院研究生)

—END—