每日最新頭條.有趣資訊

人工智能對抗樣本攻擊:男變女,標識牌“停止”變“限速”

南都訊 記者陳志芳 12月5日,在南都2019啄木鳥數據治理論壇上,中國電子技術標準化研究院信息安全研究中心數據安全部主任胡影說,目前針對人工智能出現了新的攻擊威脅,如對抗樣本、數據投毒、模型竊取、人工智能系統攻擊等。

1

對抗樣本攻擊導致人臉識別失效

據介紹,以對抗樣本為例,如果在意為“停止”的交通標識牌上貼上一些標簽,人工智能可能就識別不出“停止”的意思,而會識別成“限速45公里”。

胡影還介紹了針對人臉識別的對抗樣本,當一名男性佩戴上3D列印的奇特眼鏡,人工智能可能會將其識別成另一名女性。

3D列印的眼鏡對抗人臉識別系統。圖自網絡。

胡影說,人工智能技術距離“很好用”仍存在諸多瓶頸,通用人工智能研究與應用依然任重道遠。

即使在沒有外界攻擊的情況下,人工智能技術在實際應用中仍存在問題。就在去年,美國亞利桑那州發生了全球首例自動駕駛車輛撞死行人的事故。當時,Uber的自動駕駛汽車的後台系統沒有識別出馬路上的行人,僅將其識別為“物體”。據外媒報導,美國國家運輸安全委員表示,當時該行人是橫穿馬路,而Uber自動駕駛汽車系統設計中並沒有考慮到橫穿馬路的行人。

2

應警惕人工智能的濫用

基於上述的人工智能問題,胡影認為,這需要警惕人工智能的濫用,人工智能在欺詐、違法不良信息傳播、密碼破解等攻擊手段的應用,給傳統安全檢測帶來了新的挑戰。舉例來說,2018年,某高校基於人工智能技術建立了一套驗證碼求解器,僅在0.05秒之內就攻破驗證碼。另外,早在2017年,我國浙江、湖北等地就發生多起犯罪分子利用語音合成技術假扮受害人親屬實施詐騙的案件。

對此,胡影說,人工智能還處在發展階段,為了保障其在重要行業領域深入應用時的安全,需保障人工智能資產的保密性、完整性、可用性、魯棒性、透明性、公平性等,其中魯棒性指人工智能系統在受到外部干擾或處於惡劣環境條件等情況下維持其性能水準的能力。

獲得更多的PTT最新消息
按讚加入粉絲團