概率統計與機器學習：獨立同分布，極大似然估計，線性最小二乘迴歸
阿新 • • 發佈：2019-01-10
獨立同分布
獨立性
- 概念：事件A，B發生互不影響
- 公式：
P(XY)=P(X)P(Y) ， 即事件的概率等於各自事件概率的乘積 - 舉例：
- 正例：兩個人同時向上拋硬幣，兩個硬幣均為正面的概率
- 反例：獅子在某地區出現的概率為X，老虎出現概率為Y，同時出現的概率並不滿足
P(XY)=P(X)P(Y) ，因為老虎在的地方一般不會有獅子。
同分布
- 概念：隨機變數（序列）在隨機過程中有相同的概率分佈
相關性
- 概念：反應隨機變數之間相互影響的偏離程度，即協方差。但這裡只討論相關與無關，本質應該為“線性相關”，因此“不相關”本意指“線性不相關”。
- 公式：
Cov(x,y)=E( xy)−E(x)E(y)=0 - 定理：獨立一定不相關，但不相關不一定獨立
- 舉例：
- 不獨立相關：
- 圖例：
- 分析：為了簡便理解我們假設有一個線性關係
y=x ，現在有N個隨機變數分佈在其中（想象還有第3維平面因此存在很多隨機變數），先分析獨立性：由於當x增大y也跟增大，x減小y跟著減小，因此不具備獨立性；相關性：套用公式Cov(x,y)=E(xy)−E(x)E(y) ，在這個線性function裡x=y ，因此E(xy)=1N∑Ni=1x2i ，E(x)E(y)=1N∑Ni=1xi∗1N∑Nj=1yj=1N2∑Ni=1∑Nj=1xiyj ， 相減不為0因此他們線性相關。
- 圖例：
- 不獨立不相關
- 圖例：
- 分析：這個分佈就四個點，討論獨立性：當
x =1−>y=1||y=−1x=−1−>y=1||y=−1 ， 很顯然當知道x的值，y的值就已經被確定了，因為它們不獨立。討論相關性：引入定理，E(xy)=1N∑Ni=1xiyi=0 ，E(x)E(y)=12∑2i=1xi∗12∑2j=1yj=0 （因為實際只有2組值），由此可得cov(x,y)=0 ，因此為不相關的。
- 圖例：
- 結論：判斷獨立性就看它的取值是否有聯絡，判斷線性相關就看整體分佈是否存在一個線性趨勢。其中還有獨立相關，不獨立相關等以此類比即可。
- 不獨立相關：
極大似然估計
- 原理：給定一個概率分佈
D ，已知其概率密度函式（連續分佈）或概率質量函式（離散分佈）為fD ，以及一個分佈引數θ ，我們可以從這個分佈中抽出一個具有n 個值的取樣X1,X2,...,Xn ，利用fD 計算其概率P(x1,x2,...,xn)=fD(x1,x2,...,xn|θ) 。但是實際上可能並不知道θ 的值，因此我們可以先進行抽取取樣，然後根據當前的樣本來估計θ ，而最大似然估計就是得到一個可能性最大的對θ 的估計。 - 定義似然函式：
lik(θ)=fD(x1,x2,...,x