揭開隱藏算法的神秘面紗

【獵雲網（微信號：ilieyun）】1月31日報導（編譯：羅彬傑）

在缺乏算法規則的情況下，活動人士、律師和技術人員正在通過其他方式提高算法的透明度。

2012年，新奧爾良警察局與數據挖掘公司Palantir悄悄合作，實施了一套預測性的警務系統，幫助識別可能的罪犯和受害者。六年來，市議會和法院都沒有被告知該系統正在挖掘市民的數據，以生成警方的“目標名單”，並對個人進行逐一調查。關於程式的適當性、合法性或價值的問題從未得到妥善解決。去年，時任紐約市警察局長的Ron Serpas透露這個項目時，他對記者說：“對我來說，這個系統的實施當然需要聽取各方觀點，並接受審察。”

今年3月，新奧爾良的官員表示，他們與Palantir的合約將不會續簽，但這依然暴露出人們對政府如何使用算法和數據更廣泛的擔憂。新的軟體正在進入政府部門，幫助識別罪犯、為學生與學校進行配對、指導刑事判決，並幫助確定政府福利。但幾乎沒有市民知道這些技術的存在，以及它們是如何被使用的。如果公眾知情，商業秘密和保密協定仍然會阻止公眾對這些技術運作方式的深入分析。

加州大學戴維斯分校研究監控行業的憲法學教授Elizabeth Joh 表示：“這些公司的行為是出於個人利益，但它們的決定對公眾有相當大的影響，這種私人影響的危害包括曲解《第四修正案》，蓄意破壞問責製，侵蝕透明度準則等。”

加州大學伯克利分校法律與技術中心聯席主任So年 Katyal在即將發表的一篇論文中表示，保護政府採購軟體的知識產權法正在悄然超越對公民個人權利。她寫道:“在人工智能的背景下，我們看到了一個知識產權原則有時會阻礙公民權利充分應對技術挑戰的世界，從而使新一代公民權利的發展完全停滯不前。”

紐約大學法學院技術法律與政策診所的臨床教學研究員Amanda Levendowski說，在透明度缺失的情況下，維權人士、律師和技術人員正轉向使用越來越多的策略來對算法和其他技術進行更多的監督。

她說:“如果我們不知道人工智能系統被用來監視我們，或者我們根本不知道技術的存在，公眾就不可能參與討論人工智能系統是公平的、負責任的、透明的，還是合乎道德的。”

新的法規

美國缺乏透明度的一個重大障礙是1984年制定的《電腦欺詐與濫用法案》，該法案旨在保護政府機構的電腦系統免受黑客攻擊。美國公民自由聯盟華盛頓分部的技術與自由項目主任Shankar Narayan說，由於存在偏見或其他缺陷，私營企業能夠通過聲稱審計是一種未經授權的訪問來避免外部審計。《電腦欺詐與濫用法案》的改革可能有助於為獨立審計各政府機構使用的算法系統做好準備。

聯邦通過立法來要求資訊透明，無論這種可能性有多大，都將是對抗隱藏數據技術的強大支撐。和美國食品和藥物管理局的性質相同，這可能包括建立一個新的監管機構，以監督軟體和算法。

媒體學者Dan Greene和數據科學家Genevieve Patterson最近在《IEEE Spectrum》雜誌上撰文指出:“FDA成立於20世紀初，是為了應對有毒或貼錯標簽的食品和藥品。該機構的部分職責是防止製藥公司通過銷售相當於萬靈油的欺騙性產品獲利。同樣，出售影響人們健康、安全和自由的產品和服務的人工智能供應商，可能也會被要求向一家新的監管機構提供他們的代碼來接受監管。”

在AI Now去年12月發布的一份報告中，一組研究人員呼應了這一觀點，他們舉出了美國聯邦航空管理局和美國國家公路交通安全管理局等機構的例子。他們還呼籲為政府提供人工智能和自動決策系統的供應商和開發商放棄商業機密或其他“妨礙對其軟體進行全面審計和理解”的法律主張。

由於缺乏有效監管算法的州法律和聯邦法律，一些市政當局正在對公共部門的算法實施他們自己的透明規則。2017年，紐約市議會通過了一項算法問責法，成立了一個工作組，就城市公共機構應如何共享與自動決策系統相關的資訊，以及這些機構將如何處理他們損害他人的情況，提出建議。

在該法案的聽證會上，Levendowski說：“發起人James Vacca甚至不知道每個使用算法的機構，也不知道它們是如何使用這些算法的，”過去5年，他一直在追蹤監控技術的採購情況。他發現，這些機構的一些代表自己也不知道。“如果這些人都不知道，公眾將更難弄明白了。”

加州的一些城市已經通過了監管監控政府技術採購的一些最嚴格的法令。聖克拉拉縣在2016年通過了一項監督條例，要求每個政府機構制定一項政策，公開“可收集的資訊或數據、數據訪問、數據保護、數據保留、公共訪問、第三方數據共享、培訓和監督機制”。

去年，伯克利市通過了一項法律，為購買快速增長的監控設備(如面部識別設備、Stingray蜂窩基地台模擬器、社交媒體分析軟體和車牌讀卡器等)創造了一個更加透明的流程。奧克蘭緊隨其後。西雅圖和馬薩諸塞州的坎布裡奇等其他幾個城市也通過了相關監控條例。

Narayan說，華盛頓州可能在2019年推出一項算法決策法案。他表示:“我們將大力反對商業秘密和其他破壞透明度的方式，因為我們認為，這些隱藏算法代表著政府機構做出的決策可能不符合憲法。”

Levendowski說，有70年歷史的聯邦法律也要讓位於一個令人驚訝的透明工具:聯邦商標注冊。聯邦商標注冊的官方名稱是“商標電子搜索系統”，它是一個免費且很容易訪問的數據庫，包含數百萬還未過審、已注冊、被取消、過期或廢棄的商標。這些商標備案檔案可以公開，而且與監管備案檔案或專利申請中的公開檔案不同，搜索這些檔案(使用“人工智能”、“防禦”或“監視”等關鍵詞)幾乎不需要法律或技術專長。

將算法告上法庭

當對透明度的禮貌請求沒有成功時，律師和活動人士換用了另一種更為直接的方式，他們辯稱：商業秘密和保密協定侵犯了個人享有法定訴訟程式的權利。一般來說，法定訴訟程式權利允許人們捍衛美國法律賦予他們的權利，並可以對政府的行動計劃提出異議。

在一個案例中，愛達荷州美國公民自由聯盟的K.W. v. Armstrong認為，該州針對發育障礙成年人的醫療補助評估算法侵犯了他們的法定訴訟程式權利。法院同意這一觀點，認為算法公式是如此的錯誤——為大量的人產生隨機的結果——這是違反憲法的。美國公民自由聯盟在一篇部落格文章中寫道，法官下令對該系統進行全面檢查，包括“定期測試、定期更新和使用高品質數據”。

透明度工具中的其他法律手段還包括《資訊自由法》的要求，以及在必要時通過訴訟來強製讓其遵守。

2016年6月，紐約大學法學院布倫南司法中心向紐約警察局提交了一份《資訊自由法》，請求“得到與獲取、測試和使用預測性警務技術相關的記錄”。 在紐約警察局以商業機密和警方機密為由拒絕了資訊自由法的請求後，布倫南中心於2017年9月提起訴訟，指出紐約市已經在Palantir開發的預測性警務軟體上花費了近250萬美元。

該訴訟還披露，司法部還測試了KeyStat Inc.和PredPol兩家公司的另外兩個預測性警務平台。與此同時，紐約警察局的檔案顯示，該機構在使用預測性警務軟體方面沒有嚴格的隱私政策，也無法提供顯示其進行過強製性審計的記錄。

2017年12月，一名法官駁回了紐約警察局的指控。儘管法院拒絕了布倫南中心要求提供用於培訓預測性警務算法的數據的請求，但法院命令警察局提供與供應商的電子郵件通信、測試輸出的數據，以及紐約市警察局數據分析助理局長的記錄筆記。

布倫南中心的律師Rachel Levinson-Waldman寫道，“公民有權了解執法機構管理社區的工具、成本和執行標準。”，“在這起案件中，我們花了一年半的時間打了一場官司，才最終獲得了部分本應在一開始就向公眾公開的資訊。”

上周，紐約警察局在數據保密戰中又輸了一場。一群參與“Black Lives Matter”活動的群眾起訴了警察局在2014年的一次抗議活動中，拒絕證明或否認曾對他們進行監控和干擾他們的手機。紐約警察局聲稱，即使確認了記錄也會洩露商業機密或損害公共安全，但法院駁回了這一說法。該裁決要求紐約警察局公開其使用社交媒體監控套裝軟體Dataminr的相關記錄，以及用於中斷手機服務的技術記錄。

曼哈頓最高法院法官Arlene Bluth寫道：“本院承認被告無須公開其進行刑事調查的方式。但這並不是刑事調查或反情報行動，這是由於有報導稱，抗議者聲稱他們的手機在抗議過程中突然無法使用。這種可能性，即被告干擾抗議者相互溝通的能力，是為實行《資訊自由法》做準備的嚴重擔憂。”

從內部做出改變

伯克利大學的教授Katyal認為，由於圍繞新技術的關鍵民權問題屬於私人範疇，而非公共部門，“如果我們隻指望國家來解決算法問責製的問題，那我們就找錯了地方。”

她說，軟體透明度的潛在強大力量一定來自於軟體公司內部。去年，科技行業的員工們紛紛開始發出自己的聲音，很多維權活動都集中在政府合約上。在許多員工簽名的聯名信中，員工們提到了對算法的偏見和使用算法的整體道德擔憂，在某些情況下，他們還要求自己的公司完全退出政府合約。

今年春天，3100名谷歌員工抗議該公司競標五角大樓的Maven項目，該項目將利用人工智能分析無人機影片。該公司表示，將放棄贏得合約的機會，並制定了一套人工智能原則，其中明確規定，谷歌不會製造會造成或強化偏見的產品，不會製造會造成傷害的技術，也不會構建用於監控目的的資訊系統。

受到谷歌員工的啟發，微軟員工也呼籲其公司形成人工智能原則，提高產品開發和銷售流程的透明度。員工們寫道：“首先建立和維持這些服務的工作人員，將如何知道我們的工作是否被用來幫助進行分析、監視或殺戮呢?”

在最近的一份報告中，AI Now的研究人員強調，鑒於許多工程技術人員“擁有相當大的議價能力，而且處於能夠要求雇主做出改變的獨特地位”，技術人員在要求透明度方面的重要性正在逐漸顯現。

報告呼籲科技公司在董事會中提供員工代表的席位，並要求公司建立外部道德谘詢委員會，以及獨立的第三方監督機構和透明度實施辦法。微軟、谷歌和Facebook宣布了旨在評估其軟體的社會影響力的內部道德項目，去年，body camera和眩暈槍製造商Axon成立了一個道德委員會。委員會由外部顧問組成，包括倫理學家、警察和一名堅決反對公司人臉識別計劃的律師，但委員會對公司的建議不具有約束力。

事實證明，舉報者在曝光極具爭議的技術方面也起到了關鍵作用，包括谷歌的“蜻蜓計劃”。該計劃試圖將其經過審查的服務版本引入中國。據報導，在員工於8月向《攔截報》披露該項目後，員工的廣泛抗議和公眾的強烈抗議導致該公司實際上已經暫停了該項目的實施。

不過，該公司高管尚未公開表示他們將停止“蜻蜓計劃”的進行。1月3日，著名的谷歌工程師Liz Fong-Jones，一位直言不諱地批評Dragonfly和Project Maven的人，說她將在這家互聯網巨頭工作11年後辭職，因為她對公司的發展方向不滿，而且認為其公司“缺乏責任感和監督”。

展望未來，員工在確保透明度和問責製方面的價值可能會持續增長。除了鼓勵舉報人道出實情之外，最大的挑戰將是，在科技行業盛行的保密文化背景下，如何通過政府法律或企業政策為這些舉報人提供保護。

“幸運的是，我們開始看到研究人員、活動分子、律師、相關技術人員和民間社會組織之間形成了新的聯盟，以支持對人工智能系統的監督、問責和持續監控。”AI Now的報告中寫到。