12.計算學習理論

12.1基礎知識

計算學習理論（computationallearning theory）研究的是關於通過計算來進行學習的理論，即關於機器學習的理論基礎，其目的是分析學習任務的困難本質，為學習演算法提供理論保證，並根據分析結果指導演算法設計。理論是共性的、抽象的，是基於眾多個體總結出來的規律，反過來可以作為個體的理論依據。

12.2PAC學習

計算學習理論中最基本的是概率近似正確（probably approximately correct,pac）學習理論。

令c表示概念（concept），是從樣本空間X到標記空間Y的對映，它決定示例x的真實標記y，若對任何樣例（x,y）有c(x)=y成立，則稱c為目標概念；所有學得的目標概念所構成的集合稱為概念類（concept class），用C表示。

給定學習演算法A，其所考慮的所有可能概念的集合稱為假設空間（hypothesis space），用符號H表示。學習演算法事先並不知道概念類的真實存在，因此H和C通常是不同的。學習演算法會把自認為可能的目標概念集中起來構成H，對h∈H，由於並不能確定它是否真是目標概念，因此成為假設（hypothesis）。假設h也是從樣本空間X到標記空間Y的對映。

若目標概念c∈H，則H中存在假設能將所有示例按與真實標記一致的方式完全分開，稱該問題對學習演算法A是可分的（separable），也稱為一致性（consistent）；若c∉H，則H中不存在任何假設能將所有示例完全正確分開，稱該問題對學習演算法A是不可分的（non-separable），也稱不一致性（non-consistent）。

給定訓練集D，期望基於學習演算法A學得的模型所對應的假設h儘可能接近目標概念c。由於機器學習過程受到眾多因素制約，包括樣本數量的有限性、取樣的偶然性，因此只能接近目標概念，而不能精確，希望以比較大的把握學得比較好的模型，也就是說，以較大的概率學得誤差滿足預設上限的模型，也就是PAC定義的來由，使概率上近似正確。

如上，PAC學習給出了一個抽象地刻畫機器學習能力的框架，基於這個框架能對很多重要問題進行理論探討，如研究某任務在什麼樣的條件下可學得較好的模型？某演算法在什麼樣條件下可進行有效的學習？需多少訓練樣例才能獲得較好的模型？

PAC學習中一個關鍵因素是假設空間H的複雜度。H包含了學習演算法A所有可能輸出的假設，若在PAC學習中假設空間與概念類完全相同，即H=C，稱為恰PAC可學習（properly PAC Learnable）；直觀上理解，意味著學習演算法的能力與學習任務恰好匹配。然後，這種讓所有候選假設都來自概念類的要求並不切實際，因為現實中對概念類C通常是一無所知。因此，重要的研究假設空間與概念類不同的情形，即H≠C。一般而言，H越大，其包含任意目標概念的可能性越大，但從中找到某個具體目標概念的難度也越大。|H|有限時，稱H為有限假設空間，否則稱為無限假設空間。

12.3有限假設空間

1）可分情形

可分情形是說目標概念c屬於假設空間H，即c∈H。給定包含m個樣例的訓練集D，如何找出滿足誤差引數的假設呢？

既然D中樣例標記都是由目標概念c賦予的，並且c存在於假設空間H中，那麼任何在訓練集D上出現標記錯誤的假設肯定不是目標概念c。如此，只需保留與D一致的假設，剔除與D不一致的假設即可。

如訓練集D足夠大，則可不斷藉助D中的樣例剔除不一致的假設，直到H中僅剩下一個假設為止，這個假設就是目標概念c。通常情形下，由於訓練集規模有限，假設空間H中可能存在不止一個與D一致的等效假設，對這些等效假設，無法根據D來對它們的優劣進行進一步區分。

12.4VC維

現實學習任務所面臨的通常是無限假設空間，例如實數域中的所有區間、R^d空間中的所有線性超平面。要對這類學習任務的可學習性進行研究，通過考慮假設空間的VC（Vapnik-Chervonenkis dimension）維來度量假設空間的複雜度。先引入增長函式（growth function）、對分（dichotomy）和打散（shattering）。

12.5Rademacher複雜度

上文推出基於VC維的泛化誤差界是分佈無關、資料獨立的，即對任何資料分佈都成立，使基於VC維的可學習性分析結果具有一定的普適性；但從另一方面來說，由於沒有考慮資料自身，基於VC維得到的泛化誤差界通常比較鬆，尤其是與學習問題相差甚遠的不好分佈。

Rademacher複雜度（Rademachercomplexity）是另一種刻畫假設空間複雜度的途徑。和VC維不同的是，它在一定程度上考慮了資料分佈。

12.6穩定性

基於VC維和Rademacher複雜度來推導泛化誤差界，所得結果與具體演算法無關，對所有學習演算法適用，是通用性演算法可學習性的刻畫。學習理論的意義就在於從個體中總結出一般規律，從而應用於實際。與演算法無關的學習理論，固然可以脫離具體學習演算法設計而考慮學習問題本身的性質，但若要獲得與演算法有關的分析結果，則需另闢蹊徑；穩定性（stability）分析就是分析演算法相關的。

演算法的穩定性考察的是演算法在輸入發生變化時，輸出是否也隨之發生變化。學習演算法的輸入是訓練集，先定義兩種訓練集的變化。

給定D={ z₁=(x₁,y₁),z₂= (x₂,y₂),…, z_m= (x_m,y_m)}，x_i∈X是來自分佈D的獨立同分布示例，y_i∈{-1,+1}。對假設空間H：X->{-1,+1}和學習演算法A，令A_D∈H表示基於訓練集D從假設空間H中學得的假設，考慮下面兩種變化：

1）D^\i表示移除D中第i個樣例得到的集合D^\i={z₁, z₂,…, z_i-1, z_i+1,…, z_m}；

2）Dⁱ表示替換D中第i個樣例得到的集合Dⁱ={z₁, z₂,…, z_i-1, z*_i ,z_i+1,…,z_m}；

其中z*_i={x*_i, y*_i}，x*_i服從分佈D並獨立於訓練集。

損失函式Loss(A_D(x),y):YxY->R⁺刻畫了假設A_D的預測標記A_D(x)與真實標記y之間的差別，記為Loss(A_D,z)。下面定義關於假設A_D的幾種損失：

1）泛化損失：Loss(A,D)=E_{x∈X,z=(x,y)}[ Loss(A_D,z)]。