人工智能——走向卓越與信任的歐洲路徑

作者 | 袁俊騰訊研究院助理研究員

2020年2月19日，歐盟委員會發布了人工智能白皮書《走向卓越與信任——歐盟人工智能監管新路徑》（On Artificial Intelligence - A European approach to excellence and trust），旨在打造以人為本的可信賴和安全的人工智能，確保歐洲成為數字化轉型的全球領導者。報告主要分為六大部分，首先概述了人工智能，進而闡述了需要利用工業和專業優勢，抓住下一波數據浪潮機遇。其次重點圍繞“卓越生態系統”與“信任生態系統”兩方面展開，著重建構了可信賴與安全的人工智能監管框架。最後，還發布了《關於人工智能、物聯網和機器人對安全和責任的影響的報告》和《歐洲數字戰略》兩份附件。本文著重介紹“卓越生態系統”與“信任生態系統”以及歐盟未來可信賴與安全的人工智能監管路徑。

鑒於人工智能 的飛速發展，歐洲可以將技術、產業優勢和基於基本價值觀的監管框架相結合，打造一整套人工智能生態系統，從而為歐洲社會和經濟帶來技術福祉。其中關鍵在於，人工智能必須以歐洲價值觀和包括人類尊嚴、隱私保護等在內的基本權利為基礎。

歐洲擁有眾多研究中心、創新型企業。在機器人、製造業、服務業等領域居於領先地位。歐盟可通過強化下一代技術、數字基礎設施以及數字能力的投資，增強歐洲在關鍵技術和基礎設施方面的技術主權，創建歐洲數據池，以打造可信人工智能。

一、“卓越生態系統”（ecosystemof excellence）

1.與成員國合作

歐盟委員會將根據白皮書的公眾谘詢結果，向成員國建議修訂2018年4月通過的人工智能戰略，和12月提出的約70項聯合行動的協同計劃。

2. 聚焦研究投入和創新社群

歐洲需要一個集聚研究、創新和專業知識的“燈塔型”中心，借此吸引最優秀的人才。因此將建立私營主體和監管機構合作的卓越和測試中心（excellenceand testing centres），創建從研究到創新的一整套價值鏈的卓越生態系統。同時專項撥款，用於支持數字歐洲計劃下設在歐洲的世界參考測試中心（world reference testing centres），並且根據實際情況，作為2021至2027年多年期財務框架（MFF）的一部分納入歐洲地平線（Horizon Europe）的研究和創新計劃。

3. 能力方面

借助頂尖高等學府組成的“數字歐洲計劃”網絡，以吸引最優秀的教授和科學家，並提供全球領先的人工智能課程。

4.聚焦中小企業

歐洲投資基金將在2020年第一季度啟動1億歐元的試點計劃，為人工智能的創新提供股權融資。歐盟委員會計劃從2021年起通過“投資歐洲”（InvestEU）項目，大範圍擴展多年期財務框架的規模。

5. 與私營機構建立夥伴關係

在歐洲地平線計劃的背景下，歐盟委員會將在人工智能、數據和機器人技術方面開展新的公私合作夥伴關係。

6. 推動公共部門採購人工智能

在公共行政、醫院、交通服務、金融監管機構等公共部門迅速部署人工智能產品和服務。

7.數據和計算基礎設施訪問

歐盟委員會已經提出40多億歐元的“數字歐洲計劃”，以支持高性能計算和量子計算，包括邊緣計算和人工智能、數據和雲基礎設施等。歐洲數據戰略進一步闡釋了該優先事項，認為負責任的數據管理實踐將有助於建立信任，確保數據的可重用性。

8. 國際方面

歐盟將密切關注其他國家限制數據流動的政策，並將在雙邊貿易談判中通過世界貿易組織範圍內的行動解決相關不適當的限制。歐盟確信，人工智能國際合作必須建立在尊重基本權利的基礎上，包括人的尊嚴、多元化、包容性、非歧視、保護隱私和個人數據。值得注意的是，發展負責任的人工智能也可以積極推動2030年可持續發展議程。

二、“信任生態系統”（ecosystem of trust）：人工智能監管框架

在人工智能決策過程中，面對突顯的人機能力不對稱和系統信息不透明等問題，歐洲公民日益漸感自身權利的維護蒼白無力。此種缺乏堅實的信任基礎是阻礙人工智能進一步發展的核心困境。因此，構建可信賴與安全的人工智能監管框架就成為創建“信任生態系統”的當務之急。

（一）潛在風險問題

1.基本權利面臨風險，尤其是個人數據隱私保護。現實社會中的運作機制將會全方位影響人工智能，人為產生新的偏見與歧視。此種偏見和歧視不來自於設計階段，而是依托於現實社會而逐漸浮現。人工智能固有的算法黑箱、複雜性、不可預測性和部分自主性行為等，恐產生些許回溯和去匿名化個人數據的風險。

2.安全責任制度的有效運轉。嵌入到產品服務中的技術會引發安全風險。例如由於識別技術缺陷，致使自動駕駛汽車錯誤識別了道路上的障礙物，造成相應的人身傷害和物質損失。而目前缺乏應對該風險的明確安全條款，此種法律不確定性會使得執法機構面臨困境，即在未被明確授權下是否可以執法乾預。

（二）當前歐盟人工智能立法的主要問題

一是歐盟和國家立法難以有效適用和執行。人工智能系統運作乏透明度會增加違法行為的識別難度和舉證困難，包括基本權利保護的範圍、違法歸責的認定和法定索賠要件的滿足等內容。

二是既有法律規範的適用範圍受限。在相關歐盟產品安全立法中，當軟體作為最終產品的組成部分時，必須遵守產品安全規則。但獨立軟體是否受歐盟產品安全法律規製實屬未解之難題。目前相關立法的規範客體僅限於產品而非服務，所以原則上也不得適用於人工智能服務，例如醫療服務、金融服務和運輸服務等。

三是功能更新後的責任立法存在空白。在人工智能系統的漫長服務周期內，需要不斷更新軟體、硬體和算法，尤其對需大數據頻繁餵養的機器學習來說更是如此。即使技術嵌入產品之際不存在缺陷，但事後更新會產生新的風險隱患。遺憾的是，既有產品安全法律隻規製上市時存在風險的產品，致使現行立法一定範圍內失靈，無法及時規製問題產品。

四是產品供應鏈中不同運營者之間的責任分配不明確。一般來說，歐盟產品安全立法將責任劃分給產品生產商，包括所有組件的生產者。但若人工智能產品安全事件是由生產者之外的第三方引起的，則需降低不同運營者之間法律責任分配的不確定性。

五是舊有安全思維亟需轉換。人工智能恐引發立法目前沒有明確的諸多風險。例如源自於網絡威脅、個人安全隱患和失去連接而導致的風險等。此類風險可能是設計之初留存的，也可能是事後軟體升級造成的，亦或深度學習自我進化產生的。歐盟應秉持新的安全觀念，轉換舊有思維，充分借鑒包括網絡與信息安全局（ENISA）在內的各種機構的執法經驗，以評估人工智能潛在的安全風險。

三、構建可信賴與安全的人工智能監管框架

未來人工智能監管框架應當以“風險進路”為核心，在達成既定目標的同時避免不成比例的企業負擔。因此要從高風險的人工智能應用與非高風險的人工智能應用兩大方面予以類型化監管。

人工智能應用的高風險應滿足：第一，在某一可能會發生重大風險的領域，在該領域中的人工智能應用應被認為是高風險的。例如醫療保健、運輸、能源和部分公共領域。第二，只有在相關領域不當地利用並且產生了重大風險，該人工智能才會被認為是高風險的。例如，醫療保健是人工智能應用的高風險領域，但醫院預約系統的缺陷通常不會造成重大風險引起立法乾預。

為了有效應對各種高風險的人工智能應用，應當考慮如下幾項需求。

1.訓練數據需安全度高、無歧視和保護隱私

安全度高：確保人工智能系統的訓練數據在產品或服務的後續使用中持續安全。例如人工智能系統在足夠廣泛的數據集上進行訓練，涵蓋所有可能的應用場景，包括突發狀態下危險情形的避免等內容。

無歧視：采取合理措施確保人工智能不生成歧視結果。例如廣泛採用具備足夠代表性的數據集，確保不同性別、種族和膚色等可能引發歧視的要素被涵蓋其中。

保護個人隱私：在人工智能產品和服務使用期間，切實遵守GDPR要求的個人數據和隱私保護。

2. 留存人工智能訓練相關的數據集與測試文件

準確記錄數據集和測試：鑒於人工智能系統的複雜性、內部運行的不透明以及難以快速驗證是否合規等情況，要確保留存與算法、編程有關的測試記錄。準確記錄特定情形下高風險人工智能應用測試的數據集，詳細描述數據集的主要特徵和選擇方式。

留存資料文件：留存有關建立、測試和驗證人工智能系統的訓練方法、使用流程和相關技術的資料文件，包括預先制定的安全措施和避免歧視偏見的應對方案等。

3. 應用高風險人工智能時提供必要信息

系統信息：為了提升人機信任，打造負責任的可信AI，需要人工智能系統及時、主動提供關於高風險人工智能應用的必要信息。例如系統積極提供自身的應用範圍、能力水準和設計局限，特別是涉及到系統的預設目的、預計發揮效用以及相應的準確程度等。

明確通知：當個人在與人工智能系統而非與人互動時應履行通知說明義務。系統可以根據不同場景提供客觀、簡明且易於理解的準確信息。

4. 人工智能系統應穩定地、準確地運行

穩定準確：必須確保人工智能系統在整個產品或服務的生命周期中，技術成熟穩定，準確反映出相應的運行水準。

可再現：確保人工智能系統生成的結果事後可再現、可複盤。

抵禦能力：在整個技術生命周期內，人工智能需要有一定能力自行處理系統錯誤或下達的前後矛盾的指令。同時當面對外部公然入侵的嚴峻態勢，或者精妙地操縱數據或算法的隱蔽情形，人工智能要具備一定程度的堅韌的抵禦能力，采取暫時性措施阻擋既有侵害。

5. 人為監督

人為監督有助於確保人工智能系統不會侵蝕人類的自主性。只有確保人工適當參與到人工智能高風險應用當中，才能實現可信賴、合倫理和以人為核心的人工智能目標。人為監督人工智能系統可以採用如下形式。

其一，只有事前人為監督且批準後，人工智能系統輸出的結果才能生效。例如拒絕社會福利保障的申請這種關乎到弱勢群體切身利益的事項，只能人為操作。

其二，人工智能系統結果輸出立即生效，但事後需人工審查。譬如人工智能系統可自行拒絕信用卡的申請，但稍後必須進行人工複查。

其三，人工智能系統運行時隨時監控，遇到突發事件及時乾預。例如自動駕駛中駕駛員突覺作業系統不太安全，可當即使用停止按鈕。

其四，在早期設計階段，預先對人工智能系統附加操作限制。比如當室外能見度較低時，一旦無人駕駛汽車的傳感器不再靈敏或需保持安全車距，則駕駛系統自動停止。

6. 遠程識別生物特徵數據後收集和使用

目前，歐盟多國已經廣泛在公共場所與商業場景中應用人臉識別系統，通過遠程識別人臉，對公民的生物特徵數據進行收集和使用。為了解決在公共場所大範圍使用人工智能引發的社會擔憂，並且防止歐洲單一數字經濟市場碎片化，歐盟委員會將發起一場廣泛的公共辯論，討論此種情形下可能的合理的使用情形，以及采取何種措施確保相關行為合乎比例原則和必要原則。

7. 開展事前一致性評估

針對高風險人工智能應用的事前一致性評估，需要納入未來的人工智能監管框架機制中。而該一致性評估機制需考量如下因素。

第一，謹記並非所有事項都可事先進行一致性評估。比如，應用高風險人工智能時提供必要信息這一場景，就無法先前開展評估驗證。

第二，考慮到部分人工智能系統會不斷進化和深度學習。這將有必要反覆地、定期地評估人工智能系統的生命周期、運轉狀態。

第三，針對訓練數據，以及用於測試人工智能系統的訓練方法、使用流程和相關技術的資料文件，要客觀地、專業地開展一致性驗證與核實工作。

第四，所有市場運營者均需強製進行一致性評估。為了減小中小企業的負擔，可以創建類似數字創新中心等機構。

--END--

我好看嗎？