引入

監督學習的任務就是學習一個模型（或者得到一個目標函式）,應用這一模型，對給定的輸入預測相應的輸出。這一模型的一般形式為一個決策函式Y=f(X)，或者條件概率分佈P(Y|X)。
監督學習方法又可以分為生成方法(generative approach)和判別方法(discriminative approach)。所學到的模型分別為生成模型(generative model)和判別模型(discriminative model)。

決策函式和條件概率分佈

決策函式Y=f(X)

決策函式Y=f(X)：你輸入一個X，它就輸出一個Y，這個Y與一個閾值比較，根據比較結果判定X屬於哪個類別。例如兩類（w1和w2）分類問題，如果Y大於閾值，X就屬於類w1，如果小於閾值就屬於類w2。這樣就得到了該X對應的類別了。

條件概率分佈P(Y|X)

你輸入一個X，它通過比較它屬於所有類的概率，然後輸出概率最大的那個作為該X對應的類別。例如：如果P(w1|X)大於P(w2|X)，那麼我們就認為X是屬於w1類的。

小結

兩個模型都可以實現對給定的輸入X預測相應的輸出Y的功能。實際上通過條件概率分佈P(Y|X)進行預測也是隱含著表達成決策函式Y=f(X)的形式的。
而同樣，很神奇的一件事是，實際上決策函式Y=f(X)也是隱含著使用P(Y|X)的。因為一般決策函式Y=f(X)是通過學習演算法使你的預測和訓練資料之間的誤差平方最小化，而貝葉斯告訴我們，雖然它沒有顯式的運用貝葉斯或者以某種形式計算概率，但它實際上也是在隱含的輸出極大似然假設（MAP假設）。也就是說學習器的任務是在所有假設模型有相等的先驗概率條件下，輸出極大似然假設。

生成方法和生成模型

生成模型：無窮樣本==》概率密度模型 = 產生模型==》預測

生成方法由資料學習聯合概率分佈P(X,Y)，然後求出條件概率分佈P(Y|X)=P(X,Y)/P(X)作為預測的模型。這樣的方法之所以成為生成方法，是因為模型表示了給定輸入X產生輸出Y的生成關係。用於隨機生成的觀察值建模，特別是在給定某些隱藏引數情況下。典型的生成模型有：樸素貝葉斯法、馬爾科夫模型、高斯混合模型。這種方法一般建立在統計學和Bayes理論的基礎之上。

生成方法的特點

• 從統計的角度表示資料的分佈情況，能夠反映同類資料本身的相似度;
• 生成方法還原出聯合概率分佈，而判別方法不能；
• 生成方法的學習收斂速度更快、即當樣本容量增加的時候，學到的模型可以更快地收斂於真實模型；
• 當存在隱變數時，扔可以用生成方法學習，此時判別方法不能用

判別方法和判別模型

判別模型：有限樣本==》判別函式 = 預測模型==》預測

判別方法由資料直接學習決策函式f(X)或者條件概率分佈P(Y|X)作為預測的模型，即判別模型。判別方法關心的是對給定的輸入X，應該預測什麼樣的輸出Y。典型的判別模型包括：k近鄰法、感知機、決策樹、邏輯斯蒂迴歸模型、最大熵模型、支援向量機、boosting方法和條件隨機場等。判別模型利用正負例和分類標籤，關注在判別模型的邊緣分佈。

判別方法的特點

• 判別方法尋找不同類別之間的最優分類面，反映的是異類資料之間的差異;
• 判別方法利用了訓練資料的類別標識資訊，直接學習的是條件概率P(Y|X)或者決策函式f(X)，直接面對預測，往往學習的準確率更高；
• 由於直接學習條件概率P(Y|X)或者決策函式f(X)，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。
• 缺點是不能反映訓練資料本身的特性

判別模型和生成模型對比

（1）訓練時，二者優化準則不同
生成模型優化訓練資料的聯合分佈概率；
判別模型優化訓練資料的條件分佈概率，判別模型與序列標記問題有較好的對應性。
（2）對於觀察序列的處理不同
生成模型中，觀察序列作為模型的一部分；
判別模型中，觀察序列只作為條件，因此可以針對觀察序列設計靈活的特徵。
（3）訓練複雜度不同
判別模型訓練複雜度較高。
（4）是否支援無指導訓練
生成模型支援無指導訓練。
（5）本質區別
discriminative model 估計的是條件概率分佈(conditional distribution)p(class|context)
generative model 估計的是聯合概率分佈（joint probability distribution）p()

另外，由生成模型可以得到判別模型，但由判別模型得不到生成模型。

對於跟蹤演算法

由於之前用Camshift方法做人臉的跟蹤，這裡看到了有關跟蹤演算法的說明，特此陳述一下。

跟蹤演算法一般來說可以分為兩類：基於外觀模型的生成模型或者基於外觀模型的判別模型。
生成模型：一般是學習一個代表目標的模型，然後通過它去搜索影象區域，然後最小化重構誤差。類似於生成模型描述一個目標，然後就是模式匹配了，在影象中找到和這個模型最匹配的區域，就是目標了。
判別模型：將跟蹤問題看成一個二分類問題，然後找到目標和背景的決策邊界。它不管目標是怎麼描述的，那隻要知道目標和背景的差別在哪，然後你給一個影象，它看它處於邊界的那一邊，就歸為哪一類。