泛化誤差上界：

對二分類問題，當假設空間是有限個函式的集合F={f1,f2,f3,...,fn}時，對任意一個函式，至少以概率，以下不等式成立：

其中，

不等式右端第一項為訓練誤差，訓練誤差越小，泛化誤差就越小

第二項為N的單調遞減函式，當N趨於無窮時其趨於0，且假設空間包含的函式越多，其值越大

以下為證明過程：

首先，因為證明過程要用到Hoeffding不等式，敘述如下：

設是獨立隨機變數X1,X2,...,Xn之和，，則對任意t>0，以下不等式成立：

現有，對任意，是N個獨立隨機變數L(Y,f(X))的樣本均值，是隨機變數L(Y,f(X))的期望值，損失函式取值於區間[0,1],即對所有i，[ai,bi]=[0,1]則有：

因為

因此，由Hoeffding不等式得：

因為，假設空間是一個有限集合，則有：

等價於：

令，則至少以概率有成立

因此，訓練誤差小的模型，泛化誤差也會小