如何用最通俗易懂的方式理解假設檢驗
假設檢驗簡單來說,就是下面4步的推理邏輯:
為了你更容易理解,我還是從一個生活中的例子開始聊起。
這個例子裡舉王寶強和馬蓉的例子並沒有惡意,只是想說明假設檢驗的背後邏輯,而這個例子更容易讓你理解清楚。
有一天,寶強懷疑妻子有可能出軌,但是自己邏輯能力太弱,於是就請了我這個偵探來幫他破案。
於是,我就拿出了自己的殺手鐗武器,也就是破案的套路:假設檢驗。
第1步,我需要明確問題是什麼。
問題:寶強要檢驗馬蓉是否出軌
根據這個問題我提出來下面兩個互為相反的假設。
零假設:馬蓉沒有出軌
備選假設:馬蓉出軌了
為什麼要提出兩個假設呢?
因為從邏輯學來看,如果我們能夠證明某個零假設不成立,那麼其對立假設(也就是備選假設)肯定為真。
零假設和對立假設在邏輯方面是互補的,也就是說,如果其中一個假設為真,則另一個假設為假;如果我們推翻了其中一個假設,那就必須承認另一個假設。
對應這個例子裡,如果我能找到足夠強的證據來否定零假設(也就是馬蓉沒有出軌),那麼我就能有效的說明零假設不成立,那麼備選假設成立。
好了,接下來的問題就是:如何找到證據了。下面圖片我們看下第2步
第2步:證據是什麼?
根據中心極限定理,我們知道,合理足夠多的樣本可以代表總體。所以我要找到馬蓉合理的樣本資料來做證據。
接下來,我隨機調查了馬蓉這幾年的樣本資料,包括上網,開房,財務等。
根據這些樣本資料顯示出來的證據,我利用自己的統計概率知識,計算出了,在零假設成立的前提下,馬蓉沒有出軌的概率。
不算不知道,一算嚇一跳。在零假設成立的前提下,樣本資料計算出馬蓉沒有出軌的概率是0.01%
這個概率值在統計概率中有個專門的術語叫p值。也就是,在零假設成立的前提下,得到樣本觀察結果出現的概率。
在這裡p值就是在零假設成立的前提下(馬蓉沒有出軌),用樣本證據計算出的馬蓉沒有出軌的概率,p=0.01%
現在我們來看第3步:判斷標準是什麼
我不能說有了證據就立馬說明人家馬蓉出軌,錯誤的判斷會造成寶強家庭的毀滅性破壞。
所以,提前制定好一個定罪的標準,有助於我能做到:絕不能冤枉一個好人,但也不可放過一個壞人。
因為我定的零假設是:馬蓉沒有出軌。所以這裡定的標準是,如果馬蓉沒有出軌的概率<=5%,那麼就直接否定了零假設,也就是馬蓉沒有出軌不成立。
這裡比較拗口,馬蓉沒有出軌的概率<=5%,反面就是馬蓉出軌的概率大於95%,所以馬蓉有很大概率出軌,因此把零假設:馬蓉沒有出軌否定了。
這裡用於做出決策的標準5%,在假設檢驗裡叫做“顯著水平”,用符號α:Significance Level (Alpha)表示,是一個概率值。
第4步:做出結論
那麼,馬蓉到底有沒有出軌呢?
我們將樣本證據計算出的p值與判斷標準α比較下就可以了:
如果p< =α,那麼拒絕零假設,也就是備選假設成立。
如果p>α,那麼零假設成立
這代表什麼意思呢?
α是判斷標準,也就是小於這個值就表示零假設不成立。
p值在零假設成立前提下,用樣本證據得出的概率,在這裡表示有樣本證據得出馬蓉沒有出軌的概率。
通過比較這兩個值,我們發現:p遠遠小於α。
馬蓉小姐姐,樣本證據對你大大不利啊。本想零假設證明你沒有出軌的,但是樣本資料給出的證據,也就是你沒有出軌的概率只有0.01%,這個概率遠遠小於判斷標準5%
所以,我可以大膽的拒絕零假設。
回到我們一開始提出的假設:如果零假設不成立,那麼預備假設成立。
現在樣本資料顯示零假設不成立,所以預備假設成立,也就是馬蓉出軌了。
我將這個毫無破綻的推理過程告訴寶強後,寶強順藤摸瓜發現名下財產也被馬蓉卷跑。最後再考慮各種解決方法後,選擇了求助於法律手段。並在微博上公佈了這件事情,求助於輿論的壓力。
福爾摩斯說:一旦排除所有的不可能,剩下的不管多麼難以置信,一定就是真相。
在唐人街探案中,劉昊然和王寶強破案時,也引用了這句話:
總結
最後,我們總結下假設檢驗的邏輯套路,你就更清楚了。
第1步:問題是什麼?
確定你要研究的問題是什麼。
根據這個問題我提出來下面兩個互為相反的假設。
零假設:馬蓉沒有出軌
備選假設:馬蓉出軌了
第2步:證據是什麼?
在零假設成立的前提下,我們認為手頭已有的資料是從零假設為真的總體中隨機抽樣得到的一個樣本,但是這個可能性是多少?所以我們需要計算出這個概率,就是p值。
在例子中就,我們得出的證據顯示,馬蓉沒有出軌的概率p=0.01%
第3步:判斷標準是什麼?
需要建立判斷標準來檢驗證據是否有效。
假設檢驗常用的判斷標準是與0.1%,1%,5%,在假設檢驗裡叫做“顯著水平”,用符號α,
它是一個概率值,用於表示不可能發生和可能發生的臨界值。
第4步: 做出結論
根據你找到證據,和自己的標準,你做出了正確的結論。這是一種使用資料和概率來做決策的過程。
我們將樣本證據計算出的p值與判斷標準α比較下就可以了:
如果p< =α,那麼零假設不成立,也就是預備假設成立。
也就是如果得到樣本平均值的概率p值小於顯著水平(5%或者1%或者0.1%),那麼通常被視為不太可能發生,拒絕零假設。
在前面的例子中,p值是指在零假設成立前提下,用樣本證據得出的概率,在這裡表示有樣本證據得出馬蓉沒有出軌的概率。
如果p>α,那麼零假設成立
通過比較這兩個值,我們發現:p遠遠小於α。
從而證明零假設不成立,備選假設成立,也就是馬蓉出軌了。
假設檢驗這個過程,雖然套上了統計概率的外衣,但是說白了,底層思想其實很簡單,就是:一種邏輯推理的套路。
這個邏輯推理,其實我們每天都在用。我們平常說某個人心思細膩,邏輯嚴謹。其實你也可以做到,那就是掌握今天的邏輯推理套路:假設檢驗。