方濱興

人工智能在推動經濟社會創新發展的同時，也在重塑人類安全的未來。從宏觀的角度來看，作為一個新技術和安全有什么樣的關系？當一個新技術應用于安全時會存在如下兩種情況。

一種是應用新技術服務于安全領域，我們說是新技術賦能安全領域。當然既可以服務于防御行為，利用大數據可以分析網絡安全態勢，這算是賦能防御；也可以服務于攻擊行為，例如量子計算機的出現導致現有的密碼體系失去了原有意義，這是賦能攻擊。

第二種是每出現一種新技術就會帶來新的安全問題，我們說這屬于安全的一種伴生技術。它也有兩種情況，一種是新技術本身不成熟帶來了自身的安全問題，例如移動互聯網的基站帶來了偽基站攻擊的問題，這屬于內生安全；還有一種情況是新技術的問題對自身沒有什么影響，但危害了其他領域，例如區塊鏈的去中心化問題 原本屬于“可控性缺失”的缺陷，其對區塊鏈本身沒有什么影響，但卻挑中了中心制管理體系（如比特幣就不能沒收違法所得），這屬于衍生安全。

人工智能賦能于安全領域

首先，人工智能可以賦能于防御。人工智能機器學習模型為積 極主動的網絡防御帶來了新途徑。智能模型采用積極主動的方式，而不是傳統的被動應對方式；同時，利用人工智能的預測能力和機器學習的進化能力，可以為我們提供抵御復雜網絡威脅的手段。本質上來講，最重要的變化是在網絡攻擊發生之前就進行預警并采取阻斷措施。麻省理工學院研發的基于人工智能的網絡安全平臺AI2，用人工智能方法來分析網絡攻擊情況，幫助網絡安全分析師做那些類似“大海撈針”的工作。AI2系統首先利用機器學習技術自主掃描數據和活動，把發現的結果反饋給網絡安全分析師。網絡安全分析師將會標注哪些是真正的網絡攻擊活動，并將工程師的反饋納入AI2系統，從而用于對新日志的自動分析。在測試中，研究小組發現AI2的準確性約為現今所使用的自動分析工具的3倍，大大減少誤報的概率。另外，AI2在分析過程中可以不斷產生新模型，這意味著它可 以快速地改善自己的預測率。系統檢測越多的攻擊活動，收到來自分析師的反饋越多，相對地可以不斷提高未來預測的準確性。據報道，AI2通過超過3.6億行日志文件的訓練，使其可以分析出85%的攻擊行為，以便告警可疑行為。

其次，人工智能可以賦能網絡攻擊，業內稱之為自動化或智能化網絡攻擊。通過機器人在人完全不干預的情況下，自動化地進行計算機的攻擊。近年來連續發生的重大黑客事件，包括核心數據庫泄密、數以億計的賬戶遭入侵、WannaCry勒索病毒等都具有自動化攻擊的特點。通過借助自動化工具，攻擊者可以在短時間內，以更高效、更隱蔽的方式對大量不同網站進行漏洞掃描和探測，尤其對于0day/Nday漏洞的全網探測，將會更為頻繁和高效。人工智能強大的數據挖掘和分析能力，以及由此帶來的智能化服務，經常被黑客組織加以利用，借助于人工智能技術，形成更為擬人化和精密化的自動化攻擊趨勢，這類機器人模擬真人的行為會更聰明、更大膽，也更難以追蹤和溯源。當前，自動化、智能化的網絡攻擊正在不斷讓網絡安全防線頻頻失守，而這顯然需要引起網絡安全行業的足夠重視，需要從了解自動化網絡攻擊行為特點入手，及時采取措施。

早在2013年，美國DARPA就發起網絡超級挑戰賽（Cyber Grand Challenge，CGC），旨在推進自動化網絡攻防技術的發展，即實時識別系統漏洞，并自動完成打補丁和系統防御，最終實現全自動的網絡安全攻防。DARPA給了104支參賽隊伍以兩年的時間做準備，要求他們首先開發一套全自動的網絡推理系統（Cyber Reasoning System，CRS），以便依靠人工智能技術來支撐網絡攻擊。CRS可對主辦方動態給定的挑戰性程 序(Challenge Binary，CB）進行自動漏洞挖掘與補丁生成（防御），需自動生成打補丁后的加固程序（Replacement CB，RCB）；需自動生成漏洞利用程序（攻擊），即自動生成攻擊程序（Proof of Vulnerability，PoV）；需自動生成入侵檢測（IDS）規則。2015年6月3日進行了初賽，24小時內，各隊CRS在無人干預的情況下自動下載組織方提供的131道存在已知內存處理漏洞的CB，其共包含覆蓋了53個不同類型的通用缺陷列表（Common Weakness Enumeration，CWE）的590個漏洞，CRS需要自動分析程序并查找漏洞，然后提交自動生成的RCB和PoV。比賽結果是所預留的全部漏洞都分別被不同的CRS成功的發現并修補。最終有7支隊伍進入了決賽。決賽在2016年8月4日進行。決賽階段增加了線上參賽隊之間的實時對抗，并增加了網絡防御能力（CRS可以自動 生成IDS規則）的評測。裁判機使用CRS提交的RCB、PoV和IDS規則，在獨立、隔離環境下交叉驗證（用A隊的PoV攻擊B隊的RCB），通過綜合攻擊表現、防御表現、功能損失、性能損失來進行評判。最終，卡內基梅隆大學的For All Secure團隊的Mayhem獲得CGC冠軍，進而獲得人類的Defcon CTF參賽資格。在2016年8 月5-7日舉辦的Defcon CTF上，卡內基梅隆大學的Mayhem機器CTF戰隊與另外14支人類頂尖CTF戰隊同臺較量，并一度超過2支人類戰隊排名第13。自動化攻擊系統能站上Defcon CTF賽場，開創了“機器智能”和“自動化攻防”的新局面。由此可見，人工智能在賦能攻擊的方面還是很強大的。

人工智能所伴生的安全問題

人工智能自身存在著脆弱性，例如對抗樣本就是人工智能的內生安全問題。對抗樣本是機器學習模型的一個有趣現象，反映出了人工智能算法的弱點。攻擊者通過在源數據上增加人類難以通過感官辨識到的細微改變，但是卻可以讓機器學習模型接受并做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本，通過在圖片上疊加精心構造的變化量，在肉眼難以察覺的情況下，讓分類模型產生誤判。對抗樣本除在圖像識別領域存在，也在其他領域存在，如語音、文本等。從網絡安全領域看，同樣存在類似于對抗樣本的攻擊問題，攻擊者通過對惡意代碼插入擾動操作就有可能對人工智能模型產生欺騙。例如，有人就設計了一個惡意樣本，讓分類器將一個存有惡意行為的軟件認定為良性的變體，從而可以構造能自動逃逸PDF惡意軟件分類器的攻擊方法，以此來對抗機器學習在安全中的應用。上述安全問題都可能會導致同樣后果，就是導致人工智能系統發生錯誤的決策、判斷，以及系統被控制等問題。

人工智能技術存在著巨大的安全性挑戰。目前人工智能系統還無法超出固有的場景或對特定語境的理解，人工智能技術在下棋或游戲等有固定規則的范圍內一般不會暴露其脆弱性，當環境數據與智能系統訓練的環境大相徑庭，或者實際的應用場景發生變化，或者這種變化超出機器可理解的范圍時，人工智能系統可能就立刻失去判 斷能力。美國智庫“新美國安全中心”最近發布的《人工智能：每個決策者需要知道什么》報告顯示，人工智能的一些弱點可能對國家安全等領域造成巨大影響。

人工智能的失誤可能會給人類帶來災難，從而會形成衍生安全問題。2016年5月7日，在佛羅里達州公路上一輛處于“自動駕駛”模式的特斯拉Model S以74英里的時速，撞上了拐彎中的白色拖掛式大貨車。Model S從貨車車底穿過，車頂被完全掀飛，40歲的駕駛員Joshua Brown不幸死亡。出事路段限制時速為65英里/時。由于 “自動駕駛”模式車前的高清攝像頭為長焦鏡頭，當白色拖掛卡車進入視覺區域內時，攝像頭只能看到懸浮在地面上的卡車中部，而無法看見整個車輛；此外，當時陽光強烈(藍天白云)，使得自動駕駛系統無法識別出障礙物是一輛卡車，而更像是飄在天上的云，導致自動剎車未生效。這次事故引發了外界對自動駕駛汽車安全性的爭議。這種自動駕駛的缺陷導致人類傷亡的事情，是典型的人工智能衍生安全的案例。

當前，人們已經開始關注人工智能自身的安全問題，霍金曾經在2015年8月與美國Reddit 網的問答互動中，提出了人工智能“威脅論”的觀點，后又曾多次在世界知名期刊撰文強調類似看法。比爾?蓋茨稱，人類在人工智能領域已經取得了很大進展，這些進展能讓機器人在接下來的10年內學會駕駛和做家務，在一些特定的領域甚至能比人類優秀。但是之前他曾經提出警告，“人工智能如果進展太快，可能會對未來的人類造成一定威脅”。特斯拉創始人馬斯克在Code大會上也預測智能機器人未來，他認為未來人類生活將離不開虛擬現實技術，而這一技術的高度發展將使人類很難分辨出真實與游戲的區別；加之人工智能的飛速發展，人類智商將會止步不前；最為嚴重的后果是機器人反超人類成為實際運營世界的主體，人類在機器人心中可能如寵物一般的存在。

防止人工智能體行為失控的方案

隨著人工智能技術的高速發展，人工智能行為體越來越有可能在不遠的將來成為人類生活重要組成部分。目前，相關研究領域專家已認識到人工智能存在巨大風險，并從人工智能安全設計原則、標準規范、道德倫理方面進行呼吁。但是，針對如何設計一個防止具有行為能力的人工智能系統失控的裝置？該裝置應具備的什么樣的控制功能和性能指標？該裝置的軟硬件形態是什么？這些目前尚無研究成果。

人工智能為什么會危害人類？前提是要有一個具有行為能力的、由人工智能來操作的行為體。人工智能行為體是指一類能感知外部環境并將之作為輸入，通過內部算法進行決策，并利用自身驅動裝置與物理世界產生交互行為的自主硬件實體。自動行走機器人、自動駕駛汽車和人工智能武器等，都是人工智能行為體的類型。人工智能行為體需要有感知外部環境、內部控制邏輯、運動驅動裝置和自主能力（自學習）四個要素的體現。外部環境包括所處的自然環境和相關生物體等；內部控制邏輯是指預制在人工智能行為體內部，用于產生運動行為的程序；運動驅動裝置是可與物理世界交互，或者可改變人工智能行為體處所空間坐標的硬件；自主能力是指人工智能行為體可以自己設定要達到的目標函數或自主決策，而非由人類設定目標。

人工智能在什么情況下會危害人類？需要同時滿足三個條件，第一，有行為能力，AlphaGo是下棋機器人，不能動，所以不會危害人類；第二，有足夠破壞力的動能，有危害性，掃地機器人不具有破壞的動能，所以不會危害人類；第三，具有自主能力，完全聽命于人類的系統，不會主動傷害人類，但會誤傷人類。

首先，能動的問題已解決；第二，有破壞力的機器人也已經存在，這是一個危險因素；第三個要素，自主行為體。運動體已經比比皆是，破壞力已經突破掉了，關鍵就是能不能自主。但是我們不能太相信機器人不會自我進化到具有危害人類的程度，所以對它預先要有約束。針對機器人來說有一個國際標準，提出了四種約束條件。第一是安全級的監控停止，當出現問題時，有讓它停止的能力；第二是手動引導，做什么事情讓它做它才開始做，如果這個機器人只能手動才開始做，它就沒辦法給自己設定攻擊性目標；第三是速度和距離監控，當它和人比較接近時，速度必須降下來；第四是功率和力的限制，當和人接近時其功率必須迅速降下來。這些都是保護人類要做的事情。

我們提出一種如圖1所示的防止人工智能行為體失控的方法——AI保險箍。圖中，串聯模塊用于與人工智能行為體的決策系統和驅動裝置連接；反摘除模塊用于在發生暴力拆除時，毀滅人工智能行為體，其確保本裝置無法從人工智能行為體中摘除。AI保險箍方法的核心要點包括：①人工智能行為體的驅動裝置需采取主動探測或被動監聽等方法，以檢測到一個授權的、認證的、可信的控制系統(AI保險箍)的存在，并接受其完全控制；② 當人工智能行為體無法檢測到一個授權的、認證的、可信的控制系統存在時，應停止一切工作；③ 速度與距離監控，當人工智能行為體中某個危險部件與人之間的距離小于安全距離時，觸發保護停止、觸發與人工智能行為體相連的安全級功能；④ 在人工智能行為體發生失控時，系統能根據遠程控制命令，實現人工智能行為體的遠程控制，使其無法危害人類或將危害控制到最低；⑤ 系統會對人工智能行為體進行風險識別，當識別出風險時，發出警報示警，進一步防止人工智能行為體因為失控而造成的損害。

圖 1 AI 保險箍——一種防控 AI 行為體的方法

結束語

人工智能作為最具顛覆性和戰略性的核心關鍵技術，持續引起全球產業界、學術界和各國政府的高度關注。當前，人工智能技術在安全領域的應用需求日益迫切，同時，人工智能自身的安全問題也不容小覷，安全與人工智能并舉，雙方的融合發展與創新是我強國戰略中不可忽視的重要助推因素。

選自《中國人工智能學會通訊》

2020年 第10卷 第4期 人工智能與安全專題

方濱興

中國工程院院士，中國電子信息產業集團（CEC）首席科學家， 中國中文信息學會、中國網絡空間安全人才教育聯盟和中國網絡空間新技術安全創新聯盟理事長，廣州大學網絡空間先進技術研究院名譽院長，哈爾濱工業大學（深州）計算機學院首席顧問，信息內容安全技術國家工程實驗室主任，可信分布式計算與服務教育部重點實驗室主任。

https://www.toutiao.com/a6824790024593080846/