36氪領讀 | 演算法霸權：歡迎參觀大資料的陰暗面
36氪專門為讀書設立了【36氪領讀】欄目，篩選一些值得讀的書，並提供一些書摘。希望你手邊有一本稱心的書，讓讀書這場運動繼續下去。
未來20年，演算法和大資料將席捲世界，接管我們的生活、社會和經濟。我們生活中的很多方面都將落入自動化的資料分析之下。確保演算法和大資料的公平性將是一項重大的任務，資料倫理的價值和意義將不斷凸顯出來。在作者看來，大資料猶如一個黑盒，規模、傷害和隱祕共存，她在書中引用了大量發生在美國當下的、基於大資料和演算法的、改變個人生活的案例，並對影響這些城市生活經驗的演算法做了特別的觀察和研究。
小時候，我常常盯著車窗外的車流，研究車牌號。我會把每個車牌號分解成素數，如：45=3*3*5。這叫做因式分解，是我最喜歡的研究消遣。我這個小數學迷對素數問題特別感興趣。
我對數學的愛好最終發展成熱愛。14歲時我參加數學大本營，帶回來一個心愛的魔方。數學使我徹底逃脫現實世界的混亂。經過一步步證明，數學不斷髮展，知識領域不斷擴大。我也加入到數學領域中，上大學時主修數學，後來取得博士學位。我的論文研究代數理論，這一領域根源於我小時候愛做的因式分解。最後，我成為巴納德學院的終身教授，該學院與哥倫比亞大學聯合培養數學系。
後來，我做了一個重大的改變。我從大學離職，到頂尖對衝基金D.E.Shaw擔任數學分析專家。我離開學術界進入到金融領域，把抽象的數學理論應用到實踐中。我們所做的資料分析為一個又一個賬戶變現數萬億美元。起初，在這新研究室研究全球經濟我感到興奮又震撼。但是，我在那兒工作一年多以後，2008年的秋天，全球金融危機爆發。
很明顯，金融危機使得我曾經的庇護所數學不僅捲入了世界問題中，還助推了其中的許多問題。房地產危機，重大金融機構倒閉，失業率上升，數學家通過運用神奇的公式成為這些問題的幫凶。而且，數學的功能特別強大，這一點我非常喜歡，一旦數學與科技結合，系統的效率會提高，規模擴大，混亂和不幸就會倍增，我現在意識到這是一種缺陷。
要是我們當時頭腦清醒的話，就會後退一步思考，數學是怎麼被我們誤用的，我們該如何防止未來發生同樣的災禍？但是，金融危機以後，數學新技術比以往更熱門，甚至延伸到更多領域，每時每刻都在攪動著海量資訊，大多數資料都是由社交媒體或者電子商務網站搜刮而來。而且，數學逐漸不再關注全球金融市場動態，而是關注我們人類。數學家和統計學家一直在研究我們的慾望、行動和消能費力。他們一直在預測我們的信用，評估學生、職員、情人以及罪犯的潛力。
這是大資料經濟，收益前景非常可觀。一個電腦程式可以在1-2秒內快速掃描成千上萬份簡歷或是貸款申請，然後整理成清晰的列表，最有潛力的求職者位居前列。這不僅節約時間，而且還公平客觀。畢竟，電腦程式不像人類帶有個人偏見，而只是一種處理無情數字的機器。到2010年左右，數學破天荒地介入人類事物，公眾熱烈歡迎數學這一工具。
但是，我看到了麻煩。數學應用助推資料經濟，但這些應用的建立是基於不可靠的人類所做的選擇。有些選擇無疑是出於好意。但是，其中有許多模型把人類偏見、誤解和偏愛編入軟體系統，這些系統日益操控我們的生活。這些數學模型像上帝一樣模糊不清，只有該領域的最高牧師即數學家和電腦科學家才能明白模型是如何運作的。人們對模型得出的結論毫無爭議，從不上訴，即使結論是錯誤的或是有害的。而且模型往往會懲罰社會中的窮人和受壓迫的人，而富人因此更加富有。
我為這些有害模型提出了一個名稱：數學毀滅武器，或者簡寫成WMD。接下來我將用一個例子向你們闡明這種模型的破壞特點。
這個案例和很多案例一樣，出發點是好的。2007年，華盛頓特區新上任市長艾德里安·芬提（Adrian Fenty）下定決心改善本市教學質量不佳的學校。當時，幾乎每兩個中學生中就有一個九年級學生勉強才能畢業，只有8%的八年級學生在數學上的表現達標。市長芬提聘用教育改革者李陽熙（Michelle Rhee）擔任華盛頓市教育總督。
當時流行的理論是學生學得不夠好是因為老師教得不好。所以，在2009年，教育總督李陽熙落實開除教學表現差的教師的計劃。這是全美教學質量差的地區的一種趨勢，而且從系統工程的角度看，這種想法非常有意義：評估教師。開除最差的教師，把最好的老師調到最有用武之地的地方發揮他們的才幹。用資料專家的話來說就是，“優化”學校系統，儘可能保證提供給孩子好的教育。除了“差”教師，誰還能與此爭論？教育總督李陽熙開發了一個叫作IMPACT的教師評估工具，在2009-2010學年底，華盛頓特區開除了得分墊底的2%的教師。第二年年底，又開除5%，也就是206名教師。
華盛頓特區五年級教師薩拉·韋索基（Sarah Wysocki）似乎沒有任何理由擔心。她在麥克法蘭中學僅任教兩年就得到校長和學生家長的好評。校長表揚她對孩子專心，學生家長稱她是“我接觸過的老師中最好的一個”。
但是在2010-2011年年底，韋索基得到IMPACT的評分很慘。她的問題來自一個叫作增值模型的新評分系統，該系統用於評估數學和語言技能教學的效果。這個系統演算法得出的分數佔她總評分的一半，並且重要性超過學校領導和社群的好評。華盛頓特區別無選擇只好開除她，以及IMPACT得分在最低限度之下的另外205名教師。
這看起來不像是政治破壞或者分數定論。該學區的這一評估辦法確實有點邏輯。畢竟學校領導有可能是糟糕教師的朋友。他們可能喜歡他們的個性或是表面上的盡心盡力。糟糕教師看起來“挺好”。所以，像許多其他學校系統一樣，華盛頓特區願意減少人為偏差，更加註重分數，因為分數是根據實實在在的結果即數學和閱讀成績得出的。華盛頓特區官員承諾，分數可以清楚說明問題。分數更能體現公平。
韋索基當然覺得這些數字極其不公平，她想知道這些分數怎麼得來的。她後來告訴我說：“我認為沒有人能理解這些分數。”一個優秀的教師怎麼會得到如此低的分數呢？增值模型評估的到底是什麼？
她熟知，評估模型很複雜。華盛頓特區聘用麥斯邁提卡政策研究機構（Mathematica Policy Research），該機構提出這套評估體系。該機構遇到的難題是測量特區學生的進步，然後計算學生的進步或退步多少能夠歸因於他們的老師。這當然不容易。研究人員知道，許多變數包括學生的社會經濟背景、學習障礙影響等，都能影響學生學習成績。評估演算法必須要考慮到這些差異，這就是複雜的一個原因。
企圖減少人類行為、表現以及在演算法方面的潛力確實不是一件容易的事情。如果你想要理解麥斯邁提卡政策研究機構處理的是什麼問題，你想象一個住在華盛頓特區東南部貧民區裡的10歲小女孩。一學期以後，她要參加五年級標準化測試。然後她的生活繼續。她可能有家庭矛盾或是家庭經濟困難。也許她正在搬家或是在擔心觸犯了法律的哥哥。也許她不滿意自己的體重或是在學校被欺辱。無論她的生活經歷了什麼，下一學年她要參加六年級學生的標準化測試。
如果你比較這兩次測試的結果，分數應該會持平，或者希望是提高了。但是如果分數下降，很容易計算她和那些優秀學生之間的分數差距。
但是，老師該為這一差距負多大責任呢？這很難知道，而且麥斯邁提卡政策研究機構的教學評估模型只有少許數字可以比較。相反，像谷歌這樣的大資料公司，研究人員不斷測試，監測成千上萬個變數。他們可以把任一廣告的字型從藍色改為紅色，每版都投放給一千萬觀眾，然後追蹤哪一版本獲得的點選率更高。他們根據受眾的反饋微調演算法和操作。雖然我對谷歌公司有許多意見，接下來我們將會在本書中探討，但谷歌的這種不斷測試是對資料的有效利用。
想要計算一個人在一個學年內對另一個人的影響更加複雜。韋索基表示：“學習和教學中有太多的因素，很難一一評估。”而且，試圖通過分析二三十個學生的考試成績去評估一名教師的教學水平，從統計學上來說是不可靠的，甚至很可笑。一切皆會出錯，數字太渺小。如果我們要用搜索引擎的嚴格資料分析教師的話，必須隨機挑選幾千個甚至數百萬個學生參加考試。統計師需要大量的資料平衡例外和反常情況。（我們將會看到，數學毀滅武器懲罰的個體往往是多數人中的例外。）
同樣重要的是，資料系統需要反饋，保證系統出差錯時能意識到。統計師不斷試錯訓練模型，使之更加智慧。若亞馬遜的推薦模型相關性出錯，給十幾歲女孩推薦草坪修剪的工具書，網站的點選量必定驟降，亞馬遜公司就會不斷調整模型，直到使用者相關性推薦正常為止。但是，如果沒有錯誤反饋，大資料模型就會持續輸出錯誤結果，無法改進。
我將要在本書中探討的許多數學毀滅武器都是這樣運作的，包括華盛頓學區的增值模型。許多數學毀滅武器定義自己的功能然後證明其輸出結果的合理性。這種模型自我鞏固，極具破壞力，生活中很常見。
麥斯邁提卡政策研究機構的評分系統給予韋索基和其他205名教師差評之後，華盛頓特區開除了這些教師。但是該評分系統如何知道自己是否正確呢？無從知道。評分系統確定這些教師是失敗者，那麼別人就會認為他們是失敗者。206名“差”教師走了。這一事實僅僅能表明該增值模型的效果。該模型正在清理華盛頓特區不合格的教師。
這是數學毀滅武器反饋迴路的一個例子。我們將會在本書中看到許多這樣的例子。比如說，僱主逐漸開始使用信用評分系統來評估求職者。僱主的想法是，及時支付賬單的人更可能準時到崗和遵守規則。但其實，信用評分低的人中也有很多有責任感的人和優秀的僱員。但是，僱主認為信用低和工作表現差正相關，導致信用評分低的人很難找到工作。失業導致他們貧窮，而這又進一步降低了他們的得分，因此他們找工作難上加難。這是一個惡性迴圈。而僱主永遠也不會知道，他們因為只關注信用評分而錯過了多少優秀的僱員。在數學毀滅武器中存在許多有害的假設，這些模型包裹著數學的外衣，流行於市場，未經檢測，人們對此卻毫無爭議。
這突出了數學毀滅武器的另一個常見特徵，即往往懲罰窮人。部分原因是數學模型是用來評估數量多的人群。數學毀滅武器擅長巨量，成本低，這也是它們的吸引力所在。相反，富人通常受益於個人投入。高檔律所或者專享預科學校會比快餐連鎖店或者資金短缺的城市學區更依賴推薦和當面交流。我們以後會經常看到，特權階 級更多與人打交道，而群眾則由機器操控。
沒有人能給韋索基解釋為什麼她得了這麼低的分數，這已經可以說明問題了。演算法就像上帝，數學毀滅武器的裁決就是他的指令。數學毀滅武器像是一個黑盒子，裡面的東西是嚴格保護的公司機密，Mathematica這樣的顧問因此可以收取更多的費用，但它也有另一個目的：如果被評估的人被矇在鼓裡，他們將不太可能找到系統的漏洞。他們反而只是會努力工作，遵守規則，祈禱模型記錄和感激他們的努力。但是，如果人們不能瞭解模型具體運作方式，就很難對分數提出質疑或者抗議。
多年來，華盛頓教師抱怨他們得到系統武斷的評分，強烈要求知道分數的由來。他們被告知這是演算法的結果，很難解釋。很多教師因此望而卻步不再追究。不幸的是，很多教師被數學嚇到了。但有一個叫作莎拉·拜克絲（Sarah Bax）的數學老師不停地向學區領導、以前的同事詹森·卡姆拉斯問個究竟。反覆幾個月之後，卡姆拉斯讓她等一份即將發表的技術報告。拜克絲說：“如果一種標準你自己都無法解釋，你怎麼能保證用它評估人的正當性呢？”但是這就是數學毀滅武器的本質。分析外包給程式設計師和統計師。通常來說，機器說了算。
即便如此，薩拉·韋索基深知她的學生標準化測試分數主要是根據公式計算的。她對此有一些疑問。她在麥克法蘭中學任教最後一年開學之前，她看到五年級新生在四年級期末考試中取得驚人的好成績。巴納德小學29%的學生位列“高階閱讀水平”，這一數字是該學區平均數的5倍。薩拉的很多學生都來自這個小學。
但是，開學後，她發現很多學生連簡單的句子都讀不好。很久之後，《華盛頓郵報》和《今日美國》調查揭示，該學區41所學校標準化測試有大量塗擦痕跡，包括巴納德小學。大範圍糾正答案表明作弊的可能性很大。有些學校多達70%的考場被懷疑。
這和數學毀滅武器有什麼關係？有多方面關係。第一，教師評估演算法是一種改善教學的強大工具，這是演算法的目的，華盛頓學校都施行“胡蘿蔔加大棒”政策。教師知道如果他們的學生考試不好，他們也會面臨失業風險。教師因此想方設法確保學生通過考試，尤其是在大蕭條期間勞動力市場需求疲軟的時候。與此同時，如果他們的學生表現好於其他學校學生的話，教師和校領導可以得到高達8000美元的獎金。如果你認為這些強有力的激勵政策可以證明試卷被大量塗改和反常高分，就有理由懷疑四年級教師出於害怕或是貪婪修改過學生的試卷。
那麼可想而知，薩拉·韋索基班級的五年級新生入學高分是造假的。如果是這樣的話，來年的成績就會對他們不利，他們的老師也會成為表現不佳者。而韋索基認為這正是她現在的遭遇。這種解釋與家長、同事和校領導的觀察相符，即她確實是一個好教師，也可以澄清事實。
但是，你不能狀告一個數學毀滅武器。這也是數學毀滅武器可怕破壞力的原因之一。模型不會傾聽，也不會屈服，對吸引力、威脅和哄騙以及邏輯通通充耳不聞，即使有充足的理由懷疑得出結論的資料。沒錯，如果自動化系統明顯出錯或者系統整體出錯，程式師會修改演算法。但多半情況下，程式的裁決不容置疑，而操作程式的人只能聳聳肩，好像在說，“嘿，你能怎麼樣？”
這正是薩拉·韋索基最終得到的學校回覆。詹森·卡姆拉斯後來對《華盛頓郵報》表示，塗擦是“暗示性的”，五年級學生的考分也許是錯誤的。但是這不是結論性的證據。他說對韋索基老師的處理是公正的。
你看出矛盾了嗎？一個演算法處理大量資料，提出一種可能性即某人可能是糟糕的HR、有風險的借款人、恐怖主義者或者是糟糕的老師。這種可能性換算出的分數能摧毀一個人的生活。但是當有人反擊的時候，作為抗衡證據的“暗示性”塗擦又起不到作用了。以後我們將不斷髮現，數學毀滅武器的受害人所需要的證據標準要比演算法自身還高。
薩拉·韋索基沒幾天就從被解僱的衝擊中走了出來。很多人包括校長都擔保她是個好老師，她很快在北弗吉利亞富人區的一個學校入了職。所以，由於一個特別可疑的模型，窮學校失去了一個好老師，而不會根據學生考試成績開除教師的富學校得到了一個好老師。
房產危機發生之後，我意識到數學毀滅武器已經擴散到銀行業並對經濟造成危害。2011年初，我從對衝基金離職。後來我在一家電子商務創業公司擔任資料分析師。因為這個職業關係，我發現大量數學毀滅武器已經波及到我們能想到的任何一個行業，加劇社會不公平，壓榨弱勢群體。這些數學毀滅武器是如火如荼資料經濟的核心。
為了傳播數學毀滅武器這個名詞，我註冊了一個部落格，叫數學寶貝。我的目的是動員同行數學家反對使用草率的資料和帶有偏見的模型，這樣的模型會導致惡性迴圈。我的部落格尤其吸引資料專家，他們提醒我要將數學毀滅武器傳播到新的領域。但是2011年中期，“佔領華爾街”事件在下曼哈頓地區突然湧現，我意識到我們該為更廣大的民眾做點事情。上萬民眾聚集，要求經濟正義和經濟問責。但是當我聽到對佔領者的採訪時，我發現他們似乎對經濟方面的基本問題一無所知。他們明顯沒有讀過我的部落格。（這裡我要多說一句，瞭解一個系統的失敗，並不是要求你對這個系統瞭如指掌。）
我意識到，我要麼批評他們要麼加入他們，所以我選擇加入他們。不久，我推動哥倫比亞大學交替銀行集團每週開例會，我們在會上討論經濟改革。在這個過程中我意識到，不當大學老師之後的兩次職業冒險，一次是在經濟領域，另一次是在資料科學，給了我絕好的便利接觸推動數學毀滅武器的科技和文化。
如今，不嚴謹的數學模型掌控著廣告業、監獄等領域的經濟。這些數學毀滅武器和迫使薩拉·韋索基結束華盛頓公立學校職業生涯的增值模型有很多相同特點：不透明，不被質疑，解釋不通，這些模型按一定規模分類，定位或者“最大化利用”數百萬人。大多數數學毀滅武器把運算結果和實際情況混淆，導致惡性迴圈。
但是學區增值模型和尋找高額發薪日貸款潛在客戶的數學毀滅武器之間有一個重要的區別。這二者有不同的結果。學區得到的是一種政治貨幣，即教師評估得以完成；企業得到的是本位貨幣：鈔票。對於許多運用數學毀滅武器的公司來說，熱錢湧入似乎證明模型奏效了。站在公司的角度，這是有意義的。當公司構建模型尋找客戶或者操控絕望的借款人時，越來越多的盈利表明他們走對路了。問題是利潤最後成了真理的象徵。認為賺錢就是真理，這樣危險的混淆我們以後還會多次看到。
這是因為資料學家經常忽視交易接收端的民眾。他們當然明白數學毀滅武器必然會誤解民眾一段時間，把人群歸錯類，剝奪他們找到工作或者買房的機會。但是一般來說，數學模型操作者不會思考那些錯誤。他們的反饋是金錢，這也是他們的動機。他們設計的模型就是要吸收更多的資料，微調分析，讓更多的熱錢湧入。投資者當然盡享收益，繼續將更多的錢投入到數學模型公司。
那麼受害者呢？內行資料學家也許會說，沒有數學模型是完美的。那些民眾是附帶受損。像薩拉·韋索基這樣的人常常會被認為沒有價值，不值得惋惜。他們也許會說，暫時忘記這些人，主要看那些從推薦引擎上獲得有益建議的人群，或是在潘多拉上找到自己熱愛的音樂的人，或者那些在領英上找到理想工作的人，還有在婚戀交友網站Match.com上找到愛情的人。想想這令人驚訝的方面，忽略那些不完美。
大資料有很多福音傳播者，但我不在其中。本書將透視數學毀滅武器導致的危害和不公正。我們將探討影響人們人生關鍵時期（如上大學，借錢，入獄，或者是找工作和保住工作）的有害例證。人類生活各個方面越來越多地被數學毀滅武器控制。
歡迎進入大資料的陰暗面。
主書名：演算法霸權
副書名：數學殺傷性武器的威脅與不公
作者：凱西•奧尼爾（Cathy O'Neil）
譯者：馬青玲
作者簡介
凱西•奧尼爾（Cathy O'Neil）
資料科學家，mathbabe.org的博主。博士畢業於哈佛大學，主修數學專業。她曾在巴納德學院任教，之後為私營企業服務，例如避險基金。她還在各類新型公司擔任資料科學家，預測消費者購買與點選趨勢。每週她都會出現在“財富記賬”的播客上。
內容簡介
資料科學家凱西•奧尼爾認為，我們應該警惕不斷滲透和深入我們生活的數學模型——它們的存在，很有可能威脅到我們的社會結構。
我們生活在一個依賴“演算法”的時代，它對我們生活的影響越來越大，我們去哪裡上學，我是不是應該貸款買車，我們應該花多少錢來買健康保險，這些都不是由人來決定的，而是由大資料模型來決定的。從理論上來說，這一模型應該讓社會更加公平，每一個人的衡量標準都是一樣的，偏見是不存在的。