參考文獻

Learning Theory（Error Theory） 學習筆記
https://blog.csdn.net/kinbosong/article/details/60874007

斯坦福大學機器學習——誤差理論（Error Theory）
https://blog.csdn.net/linkin1005/article/details/42563229?utm_source=blogxgwz0

模型評估與選擇 （ Bias(偏差)，Error(誤差)，和Variance(方差) ）
https://blog.csdn.net/PacosonSWJTU/article/details/59483747?utm_source=blogxgwz1

補充

期望與均值

雖然都是有平均的概念，但一個很根本的區別在於，期望是隨機變數的總體的平均，而平均值是從總體中抽取出來的樣本的平均。前者是理論上的值、理想值，後者是現實觀察到的統計量。
舉個例子，擲一枚六面均勻的骰子所得的點數 X，這是個隨機變數，X 的期望是 3.5（= [ 1 + 2 + 3 + 4 + 5 + 6 ] / 6 ）。而平均值呢？將多次擲這枚骰子所得的點數求平均——比如擲五次取平均值，每次實驗測得的平均值可能與期望 3.5 有差異。

期望和平均值的主要區別是：期望主要是針對大群體資料的計算，平均值主要針對小群體的計算。
1，均值（mean value）是針對既有的數值（簡稱母體）全部一個不漏個別都總加起來，做平均值（除以總母體個數），就叫做均值。

此法針對小群體做此加總後除以個數得到均值的方法，是很準確無誤的，這個得到的均值是準確的，不會有模糊的概念。

但是當這個數群（data group）的數量（numbers）很大很多時，我們只好做個抽樣（sampling），並“期望”透過抽樣所得到的均值，去預測整個群體的“期望值（expectation value）”。

2，在概率論和統計學中，期望值（或數學期望、或均值，亦簡稱期望，物理學中稱為期待值）是指在一個離散性隨機變數試驗中每次可能結果的概率乘以其結果的總和。

經驗誤差/期望誤差/泛化誤差的聯絡

簡單說：經驗誤差的期望等於泛化誤差。