【大資料時代】幸福的非線性關係
在小資料時代,相關關係分析和因果分析都不容易,都耗費巨大,都要從建立假設開始。
然後我們會進行實驗——這個假設要麼被證實要麼被推翻。
但由於兩者都始於假設,這些分析就都有受偏見影響的可能,而且極易導致錯誤。與此同時,用來做相關關係分析的資料很難得到,收集這些資料時也耗資巨大。現今,可用的資料如此之多,也就不存在這些難題了。
當然,還有一種不同的情況也逐漸受到了人們的重視。在小資料時代,由於計算機能力的不足,大部分相關關係分析僅限於尋求線性關係。這個情況隨著資料的增加肯定會發生改變。
事實上,實際情況遠比我們所想象的要複雜。經過複雜的分析,我們能夠發現數據的“非線性關係”。
多年來,經濟學家和政治家一直錯誤地認為收入水平和幸福感是成正比的。我們從資料圖表上可以看到,雖然統計工具呈現的是一種線性關係,但事實上,它們之間存在一種更復雜的動態關係:
對於收入水平在1萬美元以下的人來說,一旦收入增加,幸福感會隨之提升;
但對於收入水平在1萬美元以上的人來說,幸福感並不會隨著收入水平提高而提升。
如果能發現這層關係,我們看到的就應該是一條曲線,而不是統計工具分析出來的直線。
這個發現對決策者來說非常重要。如果只看到線性關係的話,那麼政策重心應完全放在增加收入上,因為這樣才能增加全民的幸福感。
而一旦察覺到這種非線性關係,策略的重心就會變成提高低收入人群的收入水平,因為這樣明顯更划算。當相關關係變得更復雜時,一切就更混亂了。
比如,各地麻疹疫苗接種率的差別與人們在醫療保健上的花費似乎有關聯。但是,最近哈佛與麻省理工的聯合研究小組發現,這種關聯不是簡單的線性關係,而是一個複雜的曲線圖。和預期相同的是,隨著人們在醫療上花費的增多,麻疹疫苗接種率的差別會變小;
但令人驚訝的是,當增加到一定程度時,這種差別又會變大。發現這種關係對公共衛生官員來說非常重要,但是普通的線性關係分析師是無法捕捉到這個重要資訊的。如今,專家們正在研發能發現並對比分析非線性關係的必要技術工具。一系列飛速發展的新技術和新軟體也從多方面提高了相關關係分析工具發現非因果關係的能力,這就好比立體派畫家同時從多個角度來表現女性臉龐的手法。
網路分析行業的出現就是一個最明顯的例子。多虧了它,讓描繪、測量、計算各節點之間的關係變成了可能,我們可以從Facebook上認識更多的朋友,還可以知道法庭上的一些判決的先例,以及誰給誰打了電話。總之,這些工具為回答非因果關係及經驗性的問題提供了新的途徑。
在大資料時代,這些新的分析工具和思路為我們提供了一系列新的視野和有用的預測,我們看到了很多以前不曾注意到的聯絡,還掌握了以前無法理解的複雜技術和社會動態。
但最重要的是,通過去探求“是什麼”而不是“為什麼”,相關關係幫助我們更好地瞭解了這個世界。這聽起來似乎有點違背常理。畢竟,人們都希望通過因果關係來了解這個世界。
我們也相信,只要仔細觀察,就會發現萬事萬物皆有因緣。瞭解事情的起因難道不是我們最大的願望嗎?
這聽起來似乎有點違背常理。畢竟,人們都希望通過因果關係來了解這個世界。