洩密、醜聞和偏見：回顧2018年AI大事件及其深遠影響
作者 | AI Now， 譯者 | 姚佳靈， 編輯 | Vincent
2018 年 10 月 16 日，在紐約大學的 Skirball 劇場的一間擁擠的房間裡，紐約大學的 AI Now 研究所舉辦了其第三屆年度 AI Now 研討會。該研討會專注於 3 個核心主題：道德、組織和責任。第一個小組審查了面部識別技術；第二個小組研究了 AI 系統和社會不平等以及緊縮政治之間的關係；最後一個小組積極看待研究和勞動組織之間的交集。
AI Now 的聯合創始人 Kate Crawford 和 Meredith Whittaker 為研討會做了開場演講。演講開始於一個大型的視覺化圖，這張圖展示了過去 12 個月中發生過的一些重大事件。以下是演講的摘錄。
這是我們今年最大的聚會，我們來回顧一下 AI 界正在發生的事情及其更廣泛的影響，認可做得好的工作並繪製向前發展的路徑圖。今年，我們的重點是這 3 個核心主題：道德、組織和問責。
但是，在這之前，我們先簡要回顧一下今年發生的事情。在嚴峻的政治背景下，AI 系統的能力和影響範圍在不斷擴大。與此同時，AI 的研究領域和整個科技行業也發生了重大的變化和動盪。
為了實現這個目標，我們和 AI Now 的技術研究員 Varoon Mathur 合作，對過去 12 個月中發生的大事中的一些進行了視覺化。我們首先構建了重要新聞資料庫，處理了 AI 和技術行業對社會的影響。下面這張圖只顯示了一個例子，並且，結論證實了我們許多人的感受——今年是 地獄之年 。
過去 12 個月的新聞大事時間線（點選可檢視大圖）
在任何正常年份，劍橋分析（Cambridge Analytica）都應該是主角。今年，它只是其中之一。僅 Facebook 一家就出現了一大堆醜聞，其中包括 9 月發生大規模資料洩露事件、針對歧視的多起集體訴訟、煽動緬甸種族清洗的指控、影響“公平住房法（Fair Housing Act）”，以及擁有大量俄羅斯假賬號。整整一年，Facebook 的高管常常被傳喚作證，馬克•扎克伯格自己也分別在 4 月和 5 月在美國參議院（US Senate）和歐洲議會（European Parliament）接受質詢。
但是，醜聞漫天的遠不止 Facebook 一家。
3 月爆出訊息，谷歌為國防部的無人機監控計劃（也即 Project Maven）構建 AI 系統。該訊息引發了前所未有的員工集體罷工和辭職潮。6 月的時候，特朗普當局開始實施家庭分離政策，強迫移民兒童與他們的父母分開，來自亞馬遜、Salesforce 和微軟的員工都要求自家的公司結束與 ICE 的合同。
之後還不到一個月的時間，ICE 就被揭露修改了自己的風險評估演算法，從而只產生一個結果：系統建議對在押的移民全部進行“扣留”。
與此同時，面部識別技術的擴張在加速。Facebook 和微軟與亞馬遜一道，提供面部識別服務的即插即用模式。我們還了解到，IBM 和紐約警察局（NYPD）合作，祕密構建了一個“種族檢測”功能，來搜尋基於種族特徵的面部，他們利用的是來自紐約街頭的警用攝像機所拍攝的成千上萬人的面部資訊， 而所有被拍攝的人對此一無所知。
整整一年裡，AI 系統繼續在實時人群中進行高風險的測試，併產生了一些嚴重後果。 3 月份，發生了自動駕駛汽車的司機死亡事件和行人死亡事件。 然後在 5 月，英國政府由於一款用於檢測移民欺詐的語音識別系統出了問題，而最終取消了成千上萬人的簽證並進行了錯誤的驅逐。7 月份，IBM 的 Watson 生成了“不安全且不正確”的癌症治療建議。
所有這些事件都推動了越來越多的技術批評浪潮，這些批評集中在這些系統的不負責任的性質上。 包括微軟和亞馬遜在內的一些公司，甚至公開呼籲美國監管面部識別等技術。 到目前為止，我們還沒有看到華盛頓政府部門有什麼真正動作。
以上只是這極其戲劇性的一年中的一小部分樣本。 像我們這樣研究這些系統的社會影響的研究人員都在談論我們現在面臨的挑戰的規模：還有很多工作要做。 但也出現了積極的變化，圍繞 AI 的公眾討論在一些重要的方面日漸成熟。
意識到倫理與偏見
大約六年前，只有少數人喜歡 Latanya Sweeney，Cynthia Dwork 和其他一些人發表的關於 AI 和大規模資料系統的偏見的文章。 甚至就在三年前，當我們召開第一屆 AI Now 研討會時，偏見問題遠非主流。 但現在，有關於 AI 系統有偏見的結果的研究和新聞報道不斷湧現。 本週，有人透露，亞馬遜的簡歷掃描機器學習系統最近被證明歧視女性，甚至僅僅因為包含“女性”這個詞就降低了簡歷的重要程度。
回到 7 月份，ACLU 展示了亞馬遜新的面部識別服務如何錯誤地將 28 名國會議員識別為犯罪分子。 一篇重要論文還表明，面部識別軟體在對膚色較深女性的識別上表現較差。
總體而言，人們現在明確感覺到偏見是一個問題，這是巨大的進步。 但是，對話還有很長的路要走，而且已經分成了不同的陣營。 一方面，我們看到技術正急於修復這些問題；另一方面，我們也看到試圖獲得道德準則來完成無關緊要的重活。
IBM、Facebook、微軟和其他公司都於今年早些時候釋出了“破壞偏見（bias busting）”工具，承諾通過統計方法幫助緩解 AI 系統中的偏見問題，從而實現公平性的數學定義。 需要明確的是， 這些工具都沒有“解決”偏見問題，它們只是部分和早期的緩解措施 。 因為在這一點上，他們提供技術方法來解決社會問題，也即送出更多 AI 來修復 AI。 當 Facebook 在參議院的議員們面前反覆指出，人工智慧是病毒性錯誤資訊等問題的解決方法時，我們看到了這種邏輯。
解決這些問題的技術方法是必要的，但還不夠。 此外，簡單地使面部識別等系統更加準確並不能解決核心公平問題。 有些工具，無論其準確性如何，都可能被不公平地使用，特別是如果它們導致加強了對邊緣化群體的監督或歧視的時候。
我們還看到了科技行業道德規範的轉向。 谷歌釋出了 AI 原則（AI Principles）。 微軟，Salesforce 和 Axon 採用了道德委員會和審查結構。 還出現了一系列道德課程，旨在幫助工程師做出道德決策。
但是，最近發表的一項研究質疑了這些方法的有效性。 它表明，軟體工程師通常不會根據道德規範的風險改變其行為。 也許我們不應該對此感到驚訝。 用人類計算機互動（Human Computer Interaction）的奠基思想家 Lucy Suchman 的話來說，儘管道德準則是一個良好的開端，但是它們缺乏任何真正的民主或公共責任。
因此，雖然道德原則和反偏見技術工具可以提供幫助，但是，為了應對我們面臨的結構性問題，還需要更多東西。
最大且尚未解決的問題是，我們如何建立可持續的問責形式？
這是我們在 AI Now 工作的重點。 我們於 2017 年 11 月正式成立在紐約大學的研究所，目的就是研究這些挑戰。 我們已經開始在大規模的背景下研究 AI，並著眼於全系統的問責。
通過這項工作，出現了 5 個關鍵主題。
物質
通過檢查我們的技術系統的基本物質現實，可以學到很多東西。 上個月我們釋出了一個名為 The Anatomy of AI 的專案。 為期一年的 Kate Crawford 和 Vladan Joler 的合作調查了當你說“Alexa！開啟燈”的時候，需要多少資源來構建一個響應此命令的裝置。
從亞馬遜 Echo 開始，我們追蹤了構建和操作該裝置所需的環境提取過程和勞動力情況。 從採礦、冶煉和物流，到訓練響應式 AI 系統所需的大量資料資源，到國際資料中心網路，一直到我們許多消費者 AI 小工具的最終安息處：堆放在迦納、巴基斯坦和中國的巨大電子垃圾堆中。
當我們以這種方式看待 AI 時，就開始看到用於日常便利的技術對資源的影響。
在進行這項研究時，我們還發現暗箱堆積：不僅僅是演算法層面，還有商業祕密法和無法追蹤的供應鏈。 這就是為什麼大規模建立 AI 所需的行星資源難以讓公眾看到的部分原因。
勞動力
我們還繼續研究隱藏在 AI 系統背後的勞動力。 通常，當我們想到“AI 背後的人”時，我們想到的是少量的矽谷高薪工程師，他們編寫演算法並優化特徵權重。 但這不是全部的情況。 正如記者 Adrian Chen 最近曝光的那樣，更多的人在內容稽核的影子礦中工作，而且這些人還不是 Facebook 或谷歌的正式員工。
很多學者正在為這一領域的工作做出貢獻，其中有 Lily Irani、Mar Hicks 和 Astra Taylor，他們創造了術語“fauxtomation”來描述那些聲稱是無縫 AI 的系統，但只能在大量的點選工人輸入的情況起作用。 正如 Taylor 所觀察到的那樣，純粹自動化的神話是隱瞞某些型別的工作，要麼為它付出不足，要麼假裝它根本不起作用。 很多依賴使用者免費訓練他們的系統的 AI 系統也是如此，例如在使用者可以使用服務或閱讀網站之前強迫他們點選照片以改進影象識別系統。
法律政策
我們還需要新的法律方法來應對增加的自動化決策。 問責很少在後端沒有責任的情況下起作用。
今年，我們看到了一些突破。 歐洲資料保護法規（GDPR）於 5 月生效。 紐約市公佈了其自動決策系統任務組（Automated Decision Systems Task Force），這是美國的首個此類任務組。 而且，加州剛剛通過了美國最強的隱私法。
還有許多新案例將演算法提交到法庭。 AI Now 最近舉辦了一個名為訴訟演算法（Litigating Algorithms）的研討會，該研討會召集了公眾利益律師，這些律師代表被不公平地斷絕了醫療福利的人、由於偏見的教師績效評估而失去了工作的人，還有那些監禁判決受到風險評估偏差影響的人。 這是一次令人難以置信的積極聚會，充滿了建立正當程式和安全網的新方法。
我們還發布了演算法影響評估框架（Algorithmic Impact Assessment framework），該框架為公共部門工作人員提供了更多工具，這些工具用於批判性地確定算法系統是否合適，並確保有更多社群意見和監督。
不平等
所有這些工作都涉及更廣泛的權力和政治體系，這些體系引發了不平等的問題。
關於 AI 的熱門討論通常著重於假設的用例和有益的承諾。 但 AI 不是一種對所有人來說都是平等的資源。 人們越來越擔心，AI 系統可以收集到的權力和見解進一步扭曲了資源的分配，這些系統的分佈是如此的不均勻，從而可能會導致更多形式的財富不平等。 看看誰建立了這些系統、誰決定了它們的使用方式，以及誰被排除在這些考慮之外，這些可以幫助我們看到市場營銷以外的東西。
與此同時，聯合國的一份新報告稱， 雖然 AI 可用於解決重大問題，但無法保證它能夠滿足人類最迫切的需求 。 該報告還指出，AI 系統越來越多地用來“操縱人類情感，傳播錯誤資訊甚至仇恨”，並“冒著加強現有偏見和排斥形式的風險。”
新聯盟
很明顯，如果去年是識別偏見和社交領域技術系統侷限性的重要時間，那麼明年將成為問責的重要時間。
好訊息是這項工作已經開始，人們開始採取行動，新的聯盟在增長。 AI 領域將始終包括技術研究，但是，我們也正在努力擴大其邊界，強調跨學科性，並突出社群參與和現場人員的觀點。
真正的問責需要新的聯盟，也即組織者和民間社會領導人與研究人員合作，評估 AI 系統，並保護風險最大的社群。
因為 AI 不僅僅是技術。 AI 是權力，是政治，也是文化。
閱讀英文原文：
https://medium.com/@AINowInstitute/ai-in-2018-a-year-in-review-8b161ead2b4e
宣告：本文來自AI前線，版權歸作者所有。文章內容僅代表作者獨立觀點，不代表安全內參立場，轉載目的在於傳遞更多資訊。如需轉載，請聯絡原作者獲取授權。