自由與偏見的對抗：演算法正在偷偷譜寫人類的命運
【獵雲網（微信號:）】10月15日報道（編譯：張曉敏）
獵雲網注：本文作者Ramin Skibba，曾是一位天體物理學家，後轉為一名科學作家和自由撰稿人，現居住在聖地亞哥。他曾為《大西洋》、《Slate》、《科學美國人》、《自然》、《科學》等雜誌撰稿。
演算法在決定人們法律命運方面發揮的作用越來越大，這意味著偏見得以消除，但是，演算法本身包含的偏見和對其不均衡的使用會引發新的不公平問題。
如果你在美國被指控犯罪，但是卻沒能力支付保釋金，法官會一直拘禁你，直到你能確保自己可以出庭。你可以通過貸款來支付保釋金，或者冒著失去工作、房子甚至孩子的風險，滿懷羞愧的在監獄裡等上幾個月。
在加利福尼亞，一切都將改變。從明年十月份開始，州長Jerry Brown簽署的一項用計算機程式取代保釋系統的法令將生效，該計算機程式可以分析被指控人的背景並確定其在被釋放後會逃離的可能性。法官將根據系統得出的逃離風險和公共安全風險“係數”來判斷讓被指控人入獄還是讓其在自由的狀態下等待審判。
新的法令旨在消除保釋制度中存在的對窮人不利的偏見，司法系統在其日常辦公過程中將逐漸採用各類軟體，這只是其中的一種。僅僅是美國的法院就已經在不同轄區內使用了60多個類似的程式，例如，法院會用軟體評估一個在審判前被釋放的人遵守規則或犯罪的概率。其中一些演算法較為簡單，另一部分演算法則需要結合除犯罪史外更為複雜的資料，這些資料包括被指控人的性別、年齡、郵政編碼、其父母的犯罪記錄等，還需要收集各機構、社交媒體、物業賬單以及相機的資訊，甚至還會查詢其在披薩店叫外賣的記錄。
隨著刑事司法系統自動化和數字化程度的加深，警察、檢察官和法官將會掌握越來越龐大的資料集。一些批評家一再指出，目前的問題是不管演算法如何被構建，或是法院如何使用演算法，利用資料進行分析、解釋甚至學習的演算法本身就存在偏見。舉個例子，美國公民自由聯盟（ACLU）的Margaret Dooley-Sammuli起先支援加州法令，但她發現只有計算機程式的結果和法官的傾向一致時，法官才會依賴它們，因此，她開始反對這想法令。
前期資料證實了這一點，根據華盛頓特區非營利組織Upturn的分析師得出的結果，法官並不總是聽從演算法的建議，哪怕風險係數很低，法官也還是會選擇拘禁被指控人。目前，德克薩斯大學奧斯汀分校和斯坦福大學分別以洛杉磯警察局和刑事法院所使用的演算法為研究物件展開研究，這增加了人們對演算法偏見的擔憂。
斯坦福的社會學家AngèleChristin說道：“刑事司法系統的每一個步驟都會使用風險評估工具，預測工具會綜合這些評估來得出結果。”這暗示著在加利福尼亞及其它地區，這些分層的偏見可能會更加難以察覺，反之，對警察來說，刑事司法系統對這些工具的使用也變得更加艱難。
演算法的本質功能是通過分析資料向計算機發出執行指令，它最多能夠利用好資料。為了仔細瞭解基層警察的資料收集情況，德州大學奧斯汀分校的社會學家Sarah Brayne紮根於洛杉磯、芝加哥以及紐約的警察局，檢視他們對監控工具、大資料和演算法的管理。
Brayne是普林斯頓大學的社會學博士，也是微軟研究院的博士後，她在2013年至2015年期間對在其轄區或外出的警察進行了觀察。這項田野調查包含了75次訪談，這有助於理清警察局在日常辦公中如何使用資料。哥倫比亞特區大學的法學教授Andrew Ferguson認為這是一項史無前例的調查，他說：“我相信他們永遠不會再犯一樣的錯誤。”他曾寫過《大資料警務的崛起：監視、種族和執法的未來》一書。
警察局對預測軟體的使用主要包括兩個方面：首先是基於地域的警務，軟體根據犯罪資料將警察的巡邏範圍定位至500平方英尺的熱點地區，這些地區可能會有更高的犯罪風險。為此，洛杉磯警察局使用了美國最大的預測性警務公司之一——PredPol開發的軟體。其次是基於人的警務，警察利用軟體分析出犯罪概率較大的熱門人物，進而生成“慣犯”和“目標人物”名單。針對這些功能，洛杉磯警察局選擇了Operation Laser，該軟體的部分功能由Palantir Technologies開發，這是一家在2003年由一位風險投資家和企業家Peter Thiel共同創立的公司。
Brayne希望洛杉磯警察局可以採納新技術和監控方式。她說：“我開始覺得，資訊才是權力，事實上，個別警察並不會收集所有的資料，行車記錄儀、GPS及其它工具可用於監控警察自己的活動，這讓他們感到緊張。例如，所有汽車都配有自動定位器，但在警察工會的抵制下，定位器並不會被開啟，因為警察不希望他們的長官看到，他們在星巴克停留了20分鐘。”（Brayne補充到，之後，定位器已被開啟，至少在洛杉磯警察局中央局是這樣的。）
即使警察收集全部資料，偏見也可能存在。比如說鐳射作業系統，該系統最初是為了根據被逮捕記錄給嫌疑人打分，然後將他們納入列表中並讓每個警察去接觸。Ferguson說：“該系統有一個缺陷，當警察接觸到得分最多的人時，他們該瞄準誰？當然是他們接觸過的人，警察不過創造了一個自我實現的預言。”
有一些方法可以避免這些偏見。洛杉磯警察局副局長Dennis Kato說：“我們正在修改這一系統，事實證明，它確實帶有主觀性，而且在評判接觸物件方面沒有統一標準。目前，我們不打算增加更多的接觸人。”洛杉磯警察局每隔六個月都會重新評估鐳射區域，以確定這些地點是否仍舊需要警察的重點關注。Kato說：“人們不會盲目遵從計算機的指令，最終的決定權還在人類手中。”
其它的基層資料收集及使用情況仍然無從得知，例如，法院使用的大多數風險評估演算法仍然屬於內部程式，被告或其律師沒有使用權。
德克薩斯州的億萬富翁Laura和John Arnold建立了一個基金會，該基金會開發了一個名為“公共安全評估”的公共軟體包，該軟體被應用於除洛杉磯外的其它各個城市，我們可以從中瞭解一些關於評估的資訊。但這種程度的透明度也無法讓我們得知影響風險評分的相關因素以及演算法所分析的資料。在某些情況中，19歲這個年齡因素會增加一個人在三類攻擊和家庭暴力方面的風險評分；如果單親家庭或者監管嚴格的區域被納入參考範圍，黑人被告往往會被標記成高風險人物。
Megan Stevenson是喬治梅森大學安東寧·斯卡利亞法學院的經濟學家和法律學者，該大學位於弗吉尼亞州阿靈頓市。她說：“這個工具是根據過去來預測將來，如果過去包含種族偏見以及歷史上與犯罪相關的經濟、社會劣勢，人們將不得不擔心他們會參與或者加劇種族和階級差距。”
如果一個人被演算法標記高風險，這個標籤會在審判前跟隨他們；如果他們被定罪，則直接判刑或假釋。
舊金山公共辯護人Jeff Adachi說：“我們不得不擔心，一旦使用通用工具進行決策，人們就可能面臨被分層的風險。有人認為，這正是我們需要在刑事司法中的努力方向，每個人都應該被同等對待，但這種陳述也具有主觀性。”（舊金山和洛杉磯的地區檢察官辦公室都拒絕了採訪。）
斯坦福大學社會學家Christin在2015年至2016年間進行了實地考察，她在加利福尼亞州東海岸隨機選了三個刑事法庭，對法官、律師、假釋官、文員和技術開發人員等22人進行了訪談。Christin發現，在美國南部，一些法官和檢察官會密切關注演算法給出的建議，而另一部分人完全忽視演算法。一位檢察官在看到軟體給出的關於被告的結果時表示：“我不相信這些。”Christin訪問的法官也表示更願意依靠自己的經驗和判斷力進行決策。她說：“我覺得這個現象很有意思，工具的使用方式可能會與其創造者的預想不一致。”
（目前，Brayne和Christin正在把他們的研究綜合起來，然後提交給同行評審期刊。）
對於像加利福尼亞計劃使用的這類審前風險評估工具，其使用記錄也是複雜的。肯塔基州的強制性預審演算法開始於2011年，其目的是關押更多可能犯罪的人並釋放低犯罪風險的人。但根據Stevenson的研究，風險評估工具並未實現提高辦公效率的目標。審判前被拘留的人數僅僅下降了4%，之後又上升了，因為沒有出庭參加審判的人數略有上升，所以審前逮捕仍然保持不變。同時，Stevenson也指出大多數法官都支援審前入獄，如果他們釋放的人繼續犯罪，可能會影響到他們的政治生涯，而多拘留一個人則不會影響他們的連任。
儘管如此，Brayne和Christin仍舊錶示他們希望在未來幾年可以收集和處理更多不同來源的資料。警察的儀表板上可能彈出風險係數和地圖，法官會對每個人的每個步驟和每種犯罪進行風險評估，這些都給人一種精確的印象。然而，從現實來看，警察對你或者你的郵政編碼的任何失誤或者偏見都會被放大為需要新的軟體包了。目前，包括加利福尼亞州保釋改革在內的法令均沒有指出該如何平衡警察和法庭演算法的功能。
Christin說：“計算機程式的更新速度太快，以至於監管機構和從業人員無法確定該如何合理地使用它們。雖然這項技術看起來更加‘客觀和理性’，而且‘自由裁量權也得到遏制’，但事實並非如此，權力可能在一個不是那麼明顯的地方執行。”