Michael I. Jordan 簡介： LDA作者，機器學習泰斗，美國科學院/工程院/藝術科學院三院院士，ACM/AAAI Fellow，認知科學最高獎Rumelhart Prize得主，美國人工智慧協會的艾倫獎得主，2016年入選最有影響力的電腦科學家。

論文：A Berkeley View of Systems Challenges for AI

論文連結：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2017/EECS-2017-159.pdf

文章重點：四大趨勢+九大挑戰

四大趨勢：

• 突破生命的極限適應危險的，噪聲的，複雜的環境的實時、穩定、安全的AI系統。
  

• AI祕書時代的來臨！
  

• 讓AI兼顧隱私和共享的平衡!
  

• 資料的生產即是機會也是挑戰， AI如果掌控大資訊？
  

九大挑戰：

1. 持續學習（Continual learning）
   
2. 魯棒決策（Robust decisions）
   
3. 可解讀的決策（Explainable decisions）
   
4. 安全飛地（Secure enclaves）
   
5. 對抗學習（Adversarial learning）
   
6. 在保密資料上的共享學習（Shared learning on confidential data）
   
7. 特定領域定製的硬體（Domain specific hardware）
   
8. 元件化的AI系統（Composable AI systems）
   
9. 跨雲端和邊緣的系統（Cloud-edge systems）
   

下面開始報告：

《Berkeley觀點：人工智慧系統研究的挑戰》

Ion Stoica, Dawn Song, Raluca Ada Popa, DavidPatterson, Michael W. Mahoney, Randy Katz, Anthony D. Joseph, Michael Jordan,Joseph M. Hellerstein, Joseph Gonzalez, Ken Goldberg, Ali Ghodsi, David Culler,Pieter Abbeel

摘要

近年來，隨著計算機視覺、語音識別、機器翻譯的技術的發展和商業化，及諸如數字廣告和智慧基礎設施等基於機器學習的後臺技術的普遍部署，人工智慧已經從實驗室的研究專案變成了實際生產系統不可或缺的關鍵技術。正是因為積累的海量資料、計算能力前所未有的發展高度、機器學習方法的不斷進展、系統軟體和架構的持續創新、及方便這些技術落地的開源專案和雲端計算平臺，促使了人工智慧技術的廣泛應用。

下一代人工智慧系統將更廣泛地影響我們的生活，人工智慧將會通過與環境互動替人類進行更關鍵的和更加個性化的決策。若想要人工智慧發揮更大的作用，我們將面臨諸多極具挑戰性的問題：我們需要人工智慧系統可以在各種極端情況下及時做出安全的決策，比如在各種惡意攻擊情況下具備魯棒性，在保證隱私的情況下具備處理跨多組織多個人的共享資料的能力。隨著摩爾定律的終結，儲存和處理資料的能力將受限，這些挑戰也將變得更加難以解決。在這篇文章裡，我們將總結在系統領域、體系結構領域、安全領域等方面的具體研究方向。

關鍵詞：人工智慧，機器學習，系統，安全

引言

自二十世紀60年代最初提出模擬人類智慧的構想以來，人工智慧已經成為一種被廣泛應用的工程技術，它利用演算法和資料可以解決包括模式識別、學習、決策等多種問題，被工程和科學中越來越多的學科所使用，同時也需要其他多種學科的研究所支援，成為計算領域一門交叉學科技術。

計算機系統近年來推動了人工智慧技術的發展，平行計算裝置[31, 58, 90]和高擴充套件性軟體系統[32, 46, 114]的進步促進了機器學習框架[14, 31, 98]和演算法[18, 56, 62, 91]的發展，使人工智慧可以處理真實世界的大規模問題；儲存裝置、眾包、移動APP、物聯網、資料採集成本的迅速降低[1, 40, 80]促使了資料處理系統和人工智慧技術的進一步發展[87]。在很多實際任務中，人工智慧已經接近甚至超過了人類，成熟的人工智慧技術不僅大大提高了網路搜尋和電子商務等主流產品的服務質量，也促進了物聯網、增強現實、生物技術、自動駕駛汽車等新興產業的發展。

許多應用需要人工智慧系統與現實世界的互動來進行決策，例如無人駕駛飛機、機器人手術、醫療診斷治療、虛擬助手等。由於現實世界是不斷變化的，有時甚至是意料之外的變化，這些應用需要持續（continual learning）學習、終身學習（life-long learning）[96, 109]和永動學習（never-ending learning）[76]。終身學習通過高效地轉化和利用已經學過的知識來完成新的任務，並且要最大程度降低突發性遺忘帶來的問題[71]。永動學習每次迭代處理一個任務集合，隨著這個任務集合的不斷變大，處理結果的質量每次迭代後越來越好。

為了滿足以上這些需求，我們要面臨諸多艱鉅的挑戰，比如如何主動探索不斷動態變化的環境、如何在惡意攻擊和噪音輸入情況下做出安全穩定的決策、如何提高決策的可解讀能力、如何設計模組化架構以簡化應用系統構建等。另外，由於摩爾定律的終結，我們也不能寄希望於計算和儲存能力的增強來解決這些下一代人工智慧系統的問題。

解決這些難題需要體系結構、軟體和演算法的協同創新。這篇文章並不是解決人工智慧演算法和技術上的某些特定問題，而是分析系統方面的研究對人工智慧技術發展的重要性，提出若干有意義的系統方面的研究方向。

人工智慧成功背後的原因

人工智慧在過去二十年飛速發展的原因歸結於三點：1）大資料，2）高擴充套件性的計算機和軟體系統，3）開源軟體（Spark、TensorFlow、MXNet、Caffe、PyTorch、BigDL）及公有云服務（Amazon AWS、Google Cloud、MS Azure）的興起和流行，這使研究人員可以很容易的租用GPU伺服器或者FPGA伺服器來驗證他們的演算法。

趨勢和挑戰

雖然人工智慧已經應用到了眾多應用領域，但是人類希望在更多領域發揮人工智慧的作用，包括健康醫療、交通運輸、工業製造、國防、娛樂、能源、農業、銷售業等等領域。大規模系統和機器學習框架已經幫助人工智慧取得了一定程度的成功，我們期待計算機系統能夠可以更進一步地促進人工智慧的發展。我們需要考慮如下幾個人工智慧發展的趨勢來應對挑戰。

3.1 關鍵性任務的人工智慧（Mission-critical AI）

從銀行交易到自動駕駛，再到機器人手術和家居自動化，人工智慧開始涉及到一些關鍵性任務，這些應用往往與人們的生命安全息息相關。如果人工智慧要在動態變化的環境中部署，人工智慧系統必須能夠不斷地適應新環境並且學習新技能。例如，自動駕駛汽車應該快速適應各種無法預料的危險路況（如事故或冰面道路），這可以通過觀察其它汽車處理這些危險的行為進行實時學習；還有基於人工智慧的入侵檢測系統必須在入侵行為發生後立刻迅速地檢測到新的攻擊行為。另外，這些關鍵性任務也必須能夠處理各種噪聲資料及防範各種惡意的人為攻擊。

挑戰：通過與動態變化的環境不斷互動，設計可以不斷學習和自適應的人工智慧系統，使其可以做出及時、穩定、安全的決策。

3.2 個性化人工智慧（Personalized AI）

從虛擬助理到自動駕駛和政治競選，考慮使用者行為（如虛擬助理要學習使用者的口音）和使用者偏好（如自動駕駛系統要學習使用者的駕駛習慣和偏好）的個性化決策越來越重要。這就需要採集大量敏感的使用者個人資訊，對這些敏感資訊的濫用有可能會反過來洩漏使用者的隱私。

挑戰：設計支援個性化服務的系統，同時要保護使用者的隱私和保證使用者的安全。

3.3 跨多組織機構的人工智慧（AI across organizations）

各大公司利用第三方資料來提升他們自己的人工智慧服務的質量[27]，許多醫院開始共享他們的資料來防止疫情暴發，金融機構也會共享他們的資料來提升各自的欺詐檢測能力。以前是一個公司利用自己業務收集的資料進行處理分析並提供服務，而未來將是多個公司共享資料來提供服務，這種趨勢將導致資料壟斷到資料生態系統的變革。

挑戰：設計多組織機構資料的共享機制，支援跨多組織機構的人工智慧系統，同時要保障各組織機構自己資料的保密性，甚至是共享給競爭對手的資料也要保證資料的隱私資訊不被洩露。

3.4 後摩爾定律時期的人工智慧（AI demands outpacing the Moore’s Law）

處理和儲存大資料的能力是近年來人工智慧成功的關鍵因素，然而匹配人工智慧進步需求的大資料處理能力將變得越來越困難，主要有以下兩點原因：

第一，資料量持續以指數級規模增長。2015年思科白皮書[25]聲稱，萬物網（Internetof Everything）裝置採集的資料量到2018年將達到400ZB，幾乎是2015年估計資料量的50倍；近期研究[100]預測，到2025年，為了處理人類基因組，我們需要計算機處理能力有3到4個數量級的增長，這就需要計算機處理能力每年至少以2倍的速度增長。

第二，相對於資料爆炸，計算硬體裝置處理能力的增長遇到了瓶頸[53]。DRAM記憶體和磁碟容量預計在未來十年才能翻倍，而CPU效能預計在未來二十年才能翻倍，這種不匹配的增長速度意味著，在未來，儲存和處理大資料將變得異常困難。

挑戰：開發針對特定用途（domain-specific）的架構和軟體系統，以適應後摩爾定律時期人工智慧應用的需要，這包括針對特定人工智慧應用的定製晶片、以提高資料處理效率為目的的邊緣-雲聯合計算系統（edge-cloud systems）、以及資料抽象技術和資料取樣技術。

研究方向

這一部分討論如何利用系統、安全、體系結構領域的創新成果來解決之前提出的若干挑戰和問題。我們總結了9個研究方向，可以分類為三大主題，包括：動態環境下的處理技術、安全的人工智慧、人工智慧定製的體系結構。下圖總結了人工智慧的4大趨勢和9大研究方向的關聯關係。

4.1 動態環境下的處理技術（Acting in dynamic environments）

相對於目前主流的針對靜態資料進行學習，未來的人工智慧應用將會在動態性更強的環境下進行，這種動態性體現為突發性、不可預期性、不可重複性等方面。例如，一隊機器人負責維護一座辦公樓的安全，當其中一個機器人壞掉或者一個新機器人加入後，其它機器人能夠統一地更新各自的巡邏路徑、巡邏目的、協同控制機制。或者由於某機器人自己的異常行為（比如被惡意控制）或者外部環境變化（比如電梯失靈）導致的環境突發性變化，所有機器人必須要重新迅速調整自己的策略。這就要求人工智慧系統即使沒有相關處理經驗情況下也能快速響應的能力。

研究課題1：持續學習

研究課題1：持續學習（Continuallearning）。目前許多人工智慧系統，包括電影推薦、圖片識別、自動翻譯等，都是通過離線訓練和線上預測完成的。也就是說，這些任務不是基於動態資料的持續學習來完成的，而是通過對某個時間段的靜態資料進行定期學習來完成的，利用定期學習得到的模型來預測未來。通常這種定期學習每一天進行一次，通過學習前一天的資料來更新模型，最好的情況也是每小時進行一次，但是預測和決策是需要每分每秒都發生的，定期學習有可能是利用過時的資料學習，這就導致了定期學習無法適應持續動態變化的環境，特別是對於關鍵性任務定期學習就會更加危險了。甚至於某些任務需要人工智慧能夠持續地學習和適應非同步的變化，這就使持續學習變得更加困難了。

適應動態環境的學習在某些方面可以應用線上學習（online learning）[17]解決，線上學習基於隨時到來的資料更新模型，但是傳統線上學習只能簡單地應對資料的變化，不能應對環境變化（比如機器人的例子），另外傳統線上學習需要對它的動作及時進行收益打分反饋以更新自己的模型，不能適應反饋延遲的複雜情況（比如下棋時的收益反饋只能在整局棋結束才知道，即輸或者贏）。

這些情況可以利用增強學習（Reinforcementlearninig）來解決，增強學習的核心任務是學習一個策略函式，它以最大化某長遠收益為目標，建立一個觀察值到輸出行為的對映關係。比如在自動駕駛中以避免碰撞為目標，建立一個汽車攝像頭拍攝的影象到減速動作的對映，或者在推薦系統中以增加銷售量為目標，建立一個使用者訪問網頁請求到顯示某廣告動作的對映。增強學習演算法根據使用者動作對環境的影響變化來更新模型策略，如果由於環境的變化又導致了收益的變化，它也會相應地更新模型策略。增強學習其實在某些領域已經取得了很大的成功，包括在十五子棋[108]、學習行走[105]、基本運動技能的學習[86]等領域都可以達到很好的效果。但是，它需要對每一個應用進行有針對性的調整。近期將深度神經網路和增強學習結合的方法（深度增強學習 Deep RL）可以達到更加穩定學習效果並適用於不同應用領域，包括近期Google的AlphaGo [95]，另外在醫療診斷[104]和資源管理[33]等方面都取得了成功。

支援增強學習的系統（Systems for RL）：現在許多增強學習應用依賴於模擬現實世界的反饋來解決複雜任務，通常需要萬億次的模擬來搜尋可行解空間，例如在智慧遊戲中嘗試不同變種的遊戲設定，或者在機器人模擬中試驗不同的控制策略。每次模擬嘗試可能僅需要幾毫秒，但是每次模擬需要的時間極不穩定，比如可能僅需要走幾步棋就輸了，也可能需要走幾百步棋贏了。現實世界部署增強學習系統需要處理來自眾多不同接收器觀察到的環境變化資料，對應不同接收器的處理任務在處理時間、計算量、資源需求方面可能有很大不同，系統也要具有在固定時間內處理這些異構任務的能力。比如大規模集群系統要能夠在一秒鐘內完成上百萬次的模擬，而現有的系統還遠不能達到這個需求，流行的資料並行系統[59,79,114]每秒僅能處理幾萬或幾千次的模擬，而高效能運算系統和分散式深度學習系統[2,23,82]並不能處理異構的任務，所以我們需要新的支援高效增強學習應用的系統出現。

模擬現實（Simulatedreality, SR）：與外部環境互動的能力是增強學習成功的關鍵，然而與現實世界的環境互動可能很久才能得到反饋（甚至幾十秒幾百秒），另外與現實世界環境的互動也可能會造成不可逆的物理傷害，而我們往往需要上百萬次的互動才能學到一個比較好的策略模型，這就使與現實世界的互動變得不太可行。有一些演算法可以減少與現實世界互動的次數[99,111,112]，更通用的方法是利用模擬現實，這樣就可以在真正做出互動動作之前，利用模擬現實環境不斷進行模擬和預測，執行收益最高代價最小的動作。

模擬現實使學習不但更快而且更安全，想象一個機器人在打掃房間，突然發現一個以前從沒見過的新手機，如果機器人在真實世界中進行一系列的嘗試來學習如果抓起這個手機的話，它可能需要很長時間的嘗試，也可能由於一次用力過猛的嘗試直接捏碎手機。而如果機器人能夠提取手機的形狀資訊，並在虛擬現實環境中嘗試不同的動作，學習到手機的硬度、質地、重量等資訊，然後在真實環境中使用一個合理的姿勢和力度抓起手機，就可以避免手機被搞壞了。

模擬現實不同於虛擬現實（virtualreality, VR），虛擬現實是模擬一個假想的環境（例如《我的世界》這個遊戲，玩家可以在一個隨機生成的3D世界內，以帶材質貼圖的立方體為基礎進行遊戲）或者是利用過去的真實世界場景（例如飛行模擬器），而模擬現實是模擬人工智慧實體正在互動的那個真實環境。模擬現實也不同於增強現實（augmented reality, AR），增強現實是在真實世界場景中加入虛擬物體。

模擬現實系統最大的挑戰是，為了模擬不斷變化的真實世界環境，需要不斷更新模擬器的引數，同時，要在做出一個動作之前執行很多次的模擬嘗試。因為學習演算法與真實世界互動，它可以獲得很多知識來提高模擬準確度，在每次與真實環境互動後都要更新模擬器引數，並在做下一個動作之前完成很多很多次類似“如果這麼做結果會怎樣”的嘗試，所以模擬嘗試一定要很快很快。

研究內容：（1）構建支援增強學習的系統，它需要充分利用並行能力，支援動態任務圖（dynamic task graphs），達到毫秒級的反應速度，並且能夠在異構硬體環境中保持反應速度；（2）構建模擬現實系統，可以完全模擬（動態變化的，不可預期的）真實世界環境，並且需要實時的反應速度。

研究課題2：魯棒決策

研究課題2：魯棒決策（Robustdecisions）。人工智慧替人類做出決策，特別是在關鍵性任務上，它應該能夠在獲得各種不確定的或者是錯誤的輸入和反饋時，能夠做出具有魯棒性的決策。在統計和機器學習領域，防噪聲干擾和魯棒學習是一個核心問題，增加系統層面的支援將會顯著提升傳統方法的效能。例如構建可以追蹤資料來源的系統，對輸出不穩定的資料來源特殊照顧，避免不確定性帶來的影響，我們也可以利用從其它資料來源獲得的資訊來幫助構建基於每個資料來源的噪音模型（例如發現遮擋的攝像頭），這些能力要求資料儲存系統具有對資料來源檢查和噪音建模的能力。有兩種魯棒性對於人工智慧系統尤為重要：（1）在噪音輸入的情況下和惡意虛假反饋情況下的魯棒學習能力；（2）在存在意外輸入（unforeseen inputs）和對抗輸入（adversarial inputs，對抗輸入是扮演攻擊角色，試圖用來引發模型出錯的機器學習模型的輸入）的情況下的魯棒決策能力。

學習系統使用從不可靠的資料來源獲得的資料，這些資料可能是打了不正確的標籤，有些時候可能是故意的。例如微軟的Tay聊天機器人就過於依賴與人類的交流來提高對話能力了，當被放在Twitter上與人交流一段時間後，Tay就學壞了[16] 。（在Tay推出一天之後，因為Tay開始有一些種族歧視之類的偏激言論，因此微軟暫時關閉了Tay的Twitter賬號，這些言論明顯的是和網路上一些有偏激言論的人互動後，被刻意教導而出現的）

除了處理噪聲資料，另外一個研究問題是應對與訓練資料分佈完全不同的輸入，我們希望系統能夠判斷出這些反常資料並做出安全的反應動作，比如在自動駕駛中的安全動作就是減速停車，或者是如果有人在旁邊的話，系統能夠把控制權交給人類。最好是設計一個模型可以明確拒絕對其不確信的輸入進行反應，或者是執行一個預設安全的動作，這樣可以大大降低計算開銷並且執行準確可靠的動作。

研究內容：（1）構建具有精確追蹤資料來源能力的人工智慧系統，可以將收益變化與每個資料來源進行聯絡，能夠自動學習基於每個資料來源的噪音模型；（2）設計可以指定決策置信區間的程式設計介面和語言，允許使用者根據實際應用的安全程度需要指定置信區間，並且能夠標識反常的資料輸入。

研究課題3：可解讀的決策

研究課題3：可解讀的決策（Explainabledecisions）。除了黑盒預測和決策，人工智慧系統往往需要向人類解釋他們的決策，這往往在一些監管性的任務，還有安全和醫療等需要負法律責任的應用上尤為重要。這裡的可解讀性並不是可理解性（interpretable），可理解性只是強調人工智慧演算法的輸出對於某領域的專家是可以理解的，而可解讀性的意思是能夠指出輸入資料的那些屬性導致了這個輸出結果，並且能夠回答反事實問題（counterfactual questions，雖然沒有實際發生，但是假設發生了會怎樣）或者回答“如果XX會怎樣？”的問題。例如在醫療診斷中，我想要知道X射線檢查出來某個器官的哪些指標（如大小、顏色、位置、形式）導致了這個診斷結果，如果那些指標稍微變化一點的話結果會有什麼樣的變化，或者是我想知道是否有其他指標組合也會導致同樣的診斷，哪些指標組合最有可能導致這個診斷。我們不僅想要解釋這個輸出結果，還要知道哪些其他的輸入也會導致這個結果，這種因果推斷（causal inference）是未來許多人工智慧任務的必備功能。

實際上，支援決策可解讀性的關鍵一點是，記錄和重現導致某一決策結果的計算過程的能力，這就需要系統層面的支援，系統根據過去導致某決策輸出的輸入資料可以重現計算，或者根據隨機的或者對抗性的輸入，或者根據反事實的輸入，如果系統能夠具有這些根據不同輸入重現計算的能力，就可以幫助人工智慧系統分析輸入和輸出的因果關係，提高決策的可解讀能力。例如基於視訊的安全警報系統，它想要找出什麼原因導致了一個錯誤警報，可以通過擾動輸入視訊資料（比如遮擋視訊影象的某些區域），或者是通過用近期相似的歷史資料來嘗試，看這些嘗試是否會導致同樣的錯誤警報，或者是看對警報發生概率的影響。這樣的系統支援也能幫助提高新模型的統計判斷能力和訓練測試效果，例如設計一些有解讀能力的新模型。

研究內容：構建具有互動診斷分析能力的AI系統，它可以完全重現執行過程，並可以幫助分析那些對結果起關鍵作用的輸入，這可以是通過嘗試各種擾動的輸入來嘗試重現決策結果，甚至是使系統具有因果推斷能力。

4.2 安全的人工智慧（Secure AI）

安全是個廣泛的課題，人工智慧應用普及和發展的關鍵往往都是安全相關的問題。例如，執行關鍵性任務的人工智慧應用，個性化學習，跨組織結構的學習，這些都需要系統具有很強的安全性。安全問題的涉及面很廣，我們這裡只關注兩大類安全問題。第一類是攻擊者影響決策的正確性：攻擊者可以通過破壞和控制AI系統本身，或者通過特意改變輸入來使系統不知不覺地做出攻擊者想要的決定。第二類是攻擊者獲取AI系統訓練的保密資料，或者破解加密模型。接下來，我們討論三個有前途的研究方向來抵禦這種攻擊。

研究課題4：安全飛地

研究課題4：安全飛地（Secureenclaves）。（飛地：某國家擁有一塊與本國主體分離開來的領土，該領土被其他國家包圍，則該領土被稱為飛地。比如在西德與東德尚未合併前，原本柏林境內屬於美英法佔領區所合併的西柏林市，四周皆被蘇聯控制的東德領土包圍，是最出名的一塊飛地）公共雲的迅速崛起以及軟體棧的複雜性日益增加，AI應用程式受到攻擊的風險大大增加。二十年前，大多數應用程式都執行在商業作業系統（如Windows或SunOS）之上，位於企業防火牆後部署的單個伺服器上。今天，各企業公司可能在公共雲上的分散式伺服器上執行AI應用程式，這些租用的伺服器是他們無法控制的，很可能與其競爭對手共享的一個複雜的軟體棧，作業系統本身執行在虛擬機器管理程式之上或在容器內。而且這些應用程式直接或間接地共享著其他系統，如日誌攝取系統，儲存系統和資料處理框架。如果這些軟體元件中的任何一個受到危害，AI應用程式本身可能會受到影響。

處理這些攻擊的一般方法是提供一個“安全飛地”抽象，就是一個安全的硬體執行環境，它保護飛地內執行的應用程式免受在飛地外執行的惡意程式碼的影響。最近的例子是英特爾的軟體防護擴充套件（SGX）[5]，它提供了一個硬體隔離的執行環境。SGX內部的程式碼可以根據輸入資料進行計算，即使是受損的作業系統或管理程式（在飛地之外執行）也無法看到這些程式碼或資料。SGX還提供了遠端認證[6]，一個協議使遠端客戶端能夠驗證該飛地是否正在執行預期的程式碼。ARM的TrustZone是另一個硬體飛地的例子。另一方面，雲服務提供商開始提供物理保護的特殊裸機例項，它們部署在安全的“保險櫃”中，只有授權人員通過指紋或虹膜掃描進行身份驗證才有權訪問。

一般來說，使用任何飛地技術，應用程式開發人員必須信任飛地內執行的所有軟體。而事實上，即使在硬體飛地裡，如果在飛地內執行的程式碼受到入侵，也可能洩露解密的資料或影響決策。由於小型程式碼庫通常更容易保護，所以一個研究的方向是將AI系統的程式碼拆分成在飛地內執行的程式碼，並且讓其儘可能少，然後在不可信環境下通過利用密碼技術執行另一部分程式碼。另一種確保飛地內的程式碼不會洩露敏感資訊的方法是開發靜態和動態驗證工具以及沙盒方法（sandboxing）[9,12,93]。

請注意，除了最小化可信計算區域之外，分割應用程式程式碼還有兩個額外好處：增加功能性和降低成本。首先，某些功能可能在飛地內不可用，例如用於執行深度學習（DL）演算法的GPU處理，或未經審查/移植以在安全飛地內執行的服務和應用程式。其次，由雲提供商提供的安全例項可能比常規例項貴得多。

研究內容：建立利用安全飛地的AI系統，以確保資料的保密性、使用者隱私和決策正確性，將AI系統的程式碼拆分為在飛地內執行的最小程式碼庫和在飛地外執行的程式碼，保證該飛地不洩露資訊和不損害決策的正確性。

研究課題5：對抗學習

研究課題5：對抗學習（Adversariallearning）。機器學習演算法的自適應特性使學習系統面臨新型的攻擊，比如通過惡意地改變訓練資料或決策輸入來影響決策的正確性。有兩種廣泛的攻擊型別：閃避攻擊（evasion attacks）和藥餌攻擊（data poisoning attacks）。

閃避攻擊發生在推理階段，攻擊者試圖製作被學習系統錯誤分類的資料[47,103]。比如略微改變一個停車標誌的形象，雖然人類仍然認為它是一個停車標誌，但自動駕駛汽車可能視為一個避讓標誌。

藥餌攻擊發生在訓練階段，對手將藥餌資料（例如，具有錯誤標籤的資料）注入訓練資料集中，導致學習系統學習錯誤的模型，從而使攻擊者具有了導致學習器錯誤分類的輸入資料 [73,74,113]。如果用於再訓練的弱標記資料是從不可信或不可靠的來源收集的，定期進行再訓練的學習系統特別容易受到這種攻擊。隨著新的AI系統不斷地與動態環境互動來學習，處理藥餌攻擊變得越來越重要。

現在還沒有什麼有效的解決方案來防範閃避攻擊，所以有一些研究挑戰：解釋為什麼對抗攻擊往往容易發現，發現可以有效地防禦攻擊者的方法，評估防禦措施的防禦能力。對於藥餌攻擊，研究挑戰包括如何檢測藥餌輸入資料，以及如何建立適應不同型別藥餌攻擊的學習系統。另外，因為資料來源被認定為具有欺詐性或因監管原因被明確撤回的資料來源，我們可以利用重現技術（參見研究課題3：可解讀的決策）和增量計算來有效地消除這些來源對學習模型的影響。正如前面所指出的，這種能力是通過在資料儲存系統中將建模與資料來源和有效計算結合起來實現的。

研究內容：構建具有對抗學習能力的AI系統，在訓練和預測期間，通過設計新的機器學習模型和網路體系結構追蹤欺詐資料來源，在去掉欺詐資料來源後重現或重做計算以獲取新的正確的決策。

研究課題6：在保密資料上的共享學習

研究課題6：在保密資料上的共享學習（Sharedlearning on confidential data）。如今，每家公司通常都會收集資料，分析資料，並使用這些資料來實現新的功能和產品。然而，並不是所有的企業都擁有像Google，Facebook，微軟和亞馬遜這樣的大型AI公司所擁有的大量資料。展望未來，我們期待越來越多的公司會收集有價值的資料，會出現更多的第三方資料服務公司，並從多個公司組織的資料中獲取更多的好處（參見第3節）。

事實上，根據我們與工業界的合作經歷，我們發現這種情況越來越多。一家大銀行為我們提供了一個場景，他們和其他銀行希望將他們的資料彙集在一起，並使用共享的學習來改進他們的合作欺詐檢測演算法。雖然這些銀行在金融服務方面是競爭對手，但這種“合作”對於減少由於欺詐活動而造成的損失對他們來說至關重要。另外，一個非常大的醫療保健提供商描述了一個類似的情景，其中有競爭關係的多家醫院希望共享資料來訓練一個預測流感暴發的共享模型，但是分享的資料不能用作其他目的。這將使他們能夠提高對流行病的反應速度並控制疾病暴發，在關鍵地點迅速部署流動疫苗接種車。同時，每家醫院都要保護自己醫院資料中病人的隱私資訊。

共享學習的關鍵挑戰是如何利用屬於不同（可能是競爭關係的）組織的資料學習模型，但同時不會在訓練過程中洩漏這些資料的隱私資訊。一種可能的解決方案是將所有資料集中在硬體飛地上學習這個模型，但是因為硬體飛地還沒有被廣泛部署，在某些情況下，由於監管約束或者資料量太大，資料無法複製到硬體飛地上。

另一個比較有前途的方法是使用安全多方計算（MPC）[13,45,70]。MPC允許n方（每方都有私人輸入）計算輸入的聯合功能，而沒有任何一方知道其他方的輸入。但是，雖然MPC對於簡單的計算是有效的，但是對於複雜的計算，比如模型訓練來說，它有一個非常大的開銷。一個有趣的研究方向是研究如何將模型訓練分成（1）區域性計算和（2）MPC計算，這樣我們就可以最小化MPC的計算複雜度。

雖然在不影響資料保密的情況下訓練模型是實現共享學習的重要一步，但是還有其他問題。模型服務，即基於模型的推斷，仍然可能洩露資料的隱私資訊[42,94]。應對這一挑戰的一個方法是使用差分隱私（differential privacy）技術[36,37,39]，這是一種在統計資料庫中的流行技術。差分隱私為每個查詢增加了噪聲，以保護資料隱私[35]。差分隱私的一個核心概念是隱私預算（privacy budgets），該隱私預算限制了提供隱私保證的查詢數量。

在將差分隱私應用於模型服務時，有三個有趣的研究方向：首先，利用模型和預測的固有統計特性，應用差分隱私處理複雜模型和推理；其次，儘管理論研究很多，但目前實際應用的差異性隱私系統很少，一個重要的研究方向是構建工具和系統，以便為實際的應用程式提供差分隱私的保護能力，包括智慧地選擇哪個隱私機制用於給定的應用程式，並自動將非差分隱私計算轉換為差分隱私計算；最後，在持續學習中資料隱私是時間相關的，即新資料的隱私遠比舊資料的隱私更重要。例如股票市場和線上投標，新資料的隱私是最重要的，而歷史資料是不重要的甚至有時是公開的，可以開發具有自適應隱私預算的差分隱私系統，只為最新的資料的進行差分隱私保護，另一個研究方向是在資料公開後進一步發展差分隱私[21,38 ]。

即使我們能夠在訓練和決策過程中保護資料隱私，但是這還不夠。事實上，即使資料隱私得到保證，組織和公司也可能拒絕分享其資料，因為這些資料可能改進競爭對手的服務質量。因此，我們需要研究激勵機制以鼓勵組織和公司共享其資料或其資料的副產品。具體而言，我們需要制定一些方法，讓這些組織相信通過共享資料可以得到比不共享資料更好的服務（即更好的決策）。這就要求確定某個組織提供的資料的質量，這個問題可以通過排除法來解決，不論組織的資料是否包含在訓練集中，都可以比較其效能，然後提供與組織提供的資料質量成反比的噪聲來破壞決策，這可以激勵組織提供更高質量的資料。總體而言，這種激勵機制需要置於機制設計的框架內，以便組織機構制定個人資料共享策略。

研究內容：構建具有如下兩個功能的人工智慧系統（1）可以跨多個數據源進行學習，而不會在訓練或決策期間洩漏資料的隱私資訊；（2）提供激勵策略，以促使潛在競爭組織共享其資料。

4.3 AI定製的體系結構（AI-speci!carchitectures）

對AI的需求將會帶來系統和硬體架構的雙重革新。這些新式架構既可以提升效能，同時也會通過提供易於組合的豐富的模組化庫來簡化下一代AI應用的開發。研究課題7：特定領域定製的硬體

研究課題7：特定領域定製的硬體（Domainspecific hardware）。處理和儲存巨量的資料的能力是AI成功的關鍵因素之一（見2.1節），但是維持這種處理儲存能力增長的速度將會越來越具有挑戰性。正如第3部分所說，資料持續仍然呈指數級地增長，但40多年來支撐計算機工業發展的效能、成本、能耗方面的改進速度將放緩：

• 摩爾定律的終結導致電晶體不會變得太小，
  
• 登納德縮放定律（Dennardscaling）的失效使得電能限制了晶片的承載規模，
  
• 我們已經從一個低效的處理器/晶片過渡到了一個晶片裝載多個高效處理器，
  

設計專用領域的處理器是保持處理器消耗能源帶來效能上提升的方法之一。這些處理器只會做少量的特定任務但是會將它們做到極致。因此摩爾定律下的處理器效能的快速提升一定是基於計算機架構的革新而不是半導體工藝的改進。未來的服務將會涉及到比過去更加多元化的處理器。一個具有開拓性的專用領域處理器的例子就是谷歌的張量處理單元（Tensor Processing Unit, TPU），它在2015被部署在谷歌的資料中心並由數十億人使用。相較於同期的CPU和GPU，它將深度神經網路的前饋階段的執行速度提升了15到30倍，而且每瓦特的效能也提升了30到80倍。此外，微軟已宣佈在他的Azure雲平臺上部署了FPGA[88]。一系列的包括英特爾、IBM以及一些例如Cerebras和Graphcore這種初創公司在內的公司都在開發針對AI的特殊硬體，這會保持超越當前主流處理器的巨大效能提升的規律[19,48,54,78]。

考慮到DRAM也顯露出了同樣的極限，人們正在開發一些新奇的技術成為它的繼任者。來自英特爾和鎂光的3D XPoint旨在保持類DRAM訪存效能的基礎上提供10倍的儲存能力。STTMRAM想要發展有類似於DRAM的擴充套件限制的快閃記憶體技術。因此雲端可能會有更多級的儲存和記憶能力，包含更廣泛的技術。有了這些越來越多樣化的處理、記憶和儲存的裝置之後，如何讓服務匹配到硬體資源便成為一個挑戰性更大的難題。相比於包括一個機櫃頂部交換機和數十臺伺服器每個配備兩個CPU、1TB的DRAM和4TB的快閃記憶體的經典標準機架設計，這些快速的變化要求我們建設更加靈活的雲端計算平臺。

例如，UCBerkeley Firebox專案[41]提出了一種多機架的超級計算機，它可以通過光纖將數以千計的處理器晶片與DRAM晶片和非易失性的儲存介質連結起來，提供低延時、高頻寬和長距離的傳輸能力。像這樣的硬體系統可以支撐系統軟體基於恰當比例和型別的專用領域的處理器、DRAM和NVRAM來提供計算服務。這種大規模分離式的資源可以極大提升愈加多樣化的任務到與之匹配的多樣化資源的分配。這對AI的工作負載十分有價值，它可以從大規模儲存中獲得顯著的效能提升，並且適合應對多樣化的資源需求。

除了效能提升之外，新的硬體架構也會帶來其他額外功能，例如對安全的支援。儘管英特爾的SGX和ARM的TrustZone正在涉足硬體安全環境，但在它們可以完全應用於AI應用之前還有很多工作要做。特別是現存的安全環境顯示出包括定址儲存在內的多種資源極限，它們僅是服務於一般目的的CPU。打破這種限制，提供這些包括GPU和TPU在內的專用處理器之上的通用硬體抽象便是未來的研究方向。此外，像RISC-V的開放指令集處理器代表著一種令人激動的開發新安全特性的大環境趨勢。

研究內容：（1）設計專用領域的硬體架構來以數量級為單位提升效能降低AI應用消耗的能源，或者加強這些應用的安全性。（2）設計AI軟體系統，利用這些專用領域的架構、資源分離式的結構和未來的非易失性儲存技術。

研究課題8：元件化的AI系統

研究課題8：元件化的AI系統（Composable AI systems）。模組化和元件化技術在軟體系統快速更新中扮演著重要的角色，他們使開發人員能夠基於現有元件快速構建產生新的系統。這樣的例子包括微核心作業系統，LAMP棧，微服務架構和網路。與此相反的是，現有的AI系統則是一整塊的，這便導致系統很難開發測試和更新。

與此類似，模組化和元件化將會成為提升AI系統開發速度和應用度的關鍵，這會使在複雜系統中整合AI更加地容易。接下來，我們探討幾個關於模型和動作組合的研究問題。

模型組合（mode