機器學習總結(三)：矩估計
鑑於後續機器學習課程中多次提到引數估計的概念，為了避免囫圇吞棗的理解某些知識點，決定對概率統計的這部分知識點進行簡要總結，這篇部落格主要涉及的是點估計中的矩估計知識點，後續的部落格將總結點估計中其他兩個比較常見的方式，極大似然估計以及最小二乘法。
基礎概念
為什麼要出現估計呢？
因為在統計學中，所要觀測的資料量往往都比較大，我們不可能將所有資料全部都進行統計，一種可行的方式就是從這些資料量中抽取一部分資料，這時候便用到了估計的知識，用抽取出來的樣本的情況來估計總體的情況。
引數估計的概念
引數估計指的是根據從總體中抽取出來的樣本來估計總體分佈中包含的未知引數的方法，分為點估計和區間估計兩種。
點估計的概念
依據從總體中抽取出來的樣本來估計總體分佈中的未知引數，點估計具體分為：矩估計、極大似然估計(MLE)以及最小二乘法。
區間估計的概念
依據抽取出來的樣本，根據一定的準確度和精確度要求，構造適當的區間作為對總體分佈中的未知引數的真值所在範圍的估計，比如人們常說的百分之多少把某個資料控制在某個範圍內就是區間估計最通俗的表述。
大數定律
矩估計的理論依據就是基於大數定律的，大數定律語言化的表述為：當總體的k階矩存在時，樣本的k階矩依概率收斂於總體的k階矩，即當抽取的樣本數量n充分大的時候，樣本矩將約等於總體矩。
矩估計
矩的概念
詳情見附加筆記第(1)點
樣本矩、樣本均值、樣本方差的概念
詳情見附加筆記第(2)點
矩估計實現原理
矩估計的原理總結來講為：令總體矩的k階矩分別等於樣本的k階矩即可，至於到底會涉及到k是多大就要看你要估計的總體中包含幾個未知引數了，包含幾個k就應該是幾。
通俗的講，為什麼k階樣本矩分別等於k階總體矩就能算出總體的引數，原因在於，樣本中的期望和方差是我們可以直觀計算出來的常數，而總體的期望和方差是帶有未知引數的，兩者分別相等能夠聯立出等式計算出未知引數。
一個簡單的例子
詳情見附加筆記第(3)點
關於樣本均值、樣本方差、總體均值、總體方差的符號說明
詳情見附加筆記第(4)點
矩估計的優缺點
優點：在不清楚總體分佈具體屬於什麼分佈的情況下，只需要根據均值和方差進行估計即可。
缺點：如果在總體分佈已知的情況下，並不能很好的使用對應分佈型別的資訊，因為矩估計根本就不看重總體分佈到底屬於那種型別。
關於樣本方差公式中除以n-1而不是n的思考
這樣做的目的純粹是為了保證能夠無偏估計引數
無偏估計的概念
用樣本統計量來估計總體引數時的一種無偏判斷，如果估計量的數學期望等於被估引數的真實值，則稱此估計量為被估引數的無偏估計。
對樣本方差中除以n-1原因的探討
詳情見附加筆記第(5)點
