概率統計與機器學習：期望，方差，數學期望，樣本均值，樣本方差之間的區別
阿新 • • 發佈：2019-01-04
1.樣本均值：我們有n個樣本，每個樣本的觀測值為Xi，那麼樣本均值指的是 1/n * ∑x(i)，求n個觀測值的平均值
2.數學期望：就是樣本均值，是隨機變數，即樣本數其實並不是確定的
PS：從概率論的角度而言：樣本指的是我們現在有多少東西需要去觀測，它是一種隨機變數，即樣本的多少是不確定 的，我們得到的樣本均值並不是真正意義上的期望。
3.期望：已知其觀測值f（x）及其概率P，求其觀測值與概率乘積的累加和，∑Xi*Pi
PS：期望是一種固定值，他的觀測值是基於已知某幾類數值及其概率，是不同於數學期望中的觀測值Xi的，數學期望 的觀測值有一點取決於樣本數量的味道，也就是求和這裡的n其實是不同的
直觀的說就是：觀測值f(x)與其期望相減的差值的期望 換言之：方差反應的是觀測值與其期望的偏差 PS：因為是與期望相減，所以這裡的方差本質也是一個固定值而非隨機變數 5.樣本方差：
這裡的觀測值減去的是均值！均值的意思就是原本物質所存在的均值，即 1/n * ∑x(i) 而實際上我們可以得知方差的求解應該減去的是期望才對，其中的緣故在於我們並不能得知真正的期望是多少， 只能通過隨機變數的樣本求得一個近似的值來預估期望，即利用下式來證明：
， 當theta值是樣本均值的時候，該式值最小（每個值減他們總和的均值）那麼同理返回樣本方差的等式，上式最小意味著利用樣本均值求解樣本方差會把真實方差算小了
在樣本足夠多的情況下，可以理解為樣本均值趨近於期望E
即：1/n*∑x(i) ≈ ∑p(i)*x(i) 方差的本質是固定不變的，得到的是這個狀態正兒八經與期望的偏差， 而樣本方差是隨機變數，得到的是也是一種偏差，只不過這種偏差是對正確偏差的一種估計值。