近來slam技術在無人汽車領域比較火熱，所以現在打算把cousera上的robots_estimation and learning的4周課程刷一遍。做作業做了，但是沒有提交(之前買的課到期了)，所以也就沒有驗證正確性。

一、課程背景介紹

我們知道SLAM問題的本質，對運動主體自身和周圍環境空間不確定性的估計。本次課程屬於slam技術的後端優化模組，我們將會從有噪聲的、不完整的、不確定的資料中估計世界的狀態，並用先驗知識提升演算法在不確定因素中的表現。

這裡所指的不確定性包括：

。sensor noise

。lack of knowledge about the world

。dynamic changes in motion and environment

這裡，我們只用概率模型求解上述問題【暫時不涉及深度學習技術】。

本次博文將介紹如何利用高斯概率分佈對顏色特徵進行建模，以及如何求解模型引數，從一維單核、多維單核到多維多核，逐步遞進。本次作業最終要求，檢測每張圖片中的黃色網球，並標註球心位置。

二、一維+單核

1.一維高斯概率模型

為什麼高斯概率分佈這麼重要？

根據中心極限定理(central limit theorem)，當樣本量N逐漸趨於無窮大時，N個抽樣樣本的均值的頻數逐漸趨於正態分佈，其對原總體的分佈不做任何要求，意味著無論總體是什麼分佈，其抽樣樣本的均值的頻數的分佈都隨著抽樣數的增多而趨於正態分佈，也就是說，對於大量資料而言，我們使用高斯分佈可以表達任意隨機變數。

給定如下圖片，如何讓計算機識別出紅色網球、黃色網球？

一個個遍歷畫素點，根據RGB值標註圖片中的黃色或紅色區域是不現實的，因為小球的顏色有噪聲，很難用一兩個RGB值表達黃色還是紅色。也許，可以把RGB顏色空間轉換為HSV顏色空間，然後統計Hue分量的直方圖。

  有了上述訓練樣本的顏色直方圖後，我們可以在測試樣本上逐畫素遍歷，並判斷每個畫素點的顏色是否落入上述直方圖，以此判斷是否為黃球。

但是這樣，我們檢測目標時就要儲存整個直方圖，這樣非常耗費資源。我們能否用一個更精煉的數學模型，來表達這個直方圖呢？我們可以使用高斯概率分佈。

一維單核的高斯概率分佈數學表達如下：

2.最大似然估計求解一維高斯概率模型

給定N個觀測變數x，如何求他的均值和方差呢？

   我們可以用Maximum Likelihood Estimate(MLE)，來計算引數。這裡不擴充套件MLE的推導過程(取對數、求偏導數)，cousera視訊裡都有，比較簡單。給出MLE的最終解：

三、多維+單核

1.多維高斯模型

  接下來我們擴充套件到多維資料的場景，對網球顏色進行多通道建模。這樣顏色特徵更豐富，比單通道魯棒性更強。

如果把黃色小球的顏色值，在RGB三維空間畫出來，如下圖所示：

多維單核高斯分佈的數學表達如下：

這裡D=3是觀測的資料維度，mu是均值向量，sigma是協方差矩陣。協方差矩陣表達了各個觀測資料之間的相關性。(A correlation component represents how much on variable is related to another variable.)

另外，注意協方差是正定矩陣(矩陣對稱，行列式值為正)，這個在變數初始化，matlab程式設計時很重要，須注意。

2.最大似然估計求解多維高斯模型

接下來，我們看看如何利用多維觀測資料，求解模型引數。同樣不擴充套件MLE的推導步驟，直接給出最終結論。注意，這裡的xi是多維向量了，不是單個變量了。

四、混合高斯概率模型，多維+多核

1.混合高斯概率模型GMM（Gaussian Mixture Model）

前面我們介紹了單核的高斯模型，它的缺陷很明顯，如下圖所示，即數學表達能力不夠，，單核高斯模型是對稱的，因此無法表達有多個波峰波谷的圖形。

因此，我們打算將多個單核高斯累加，得到混合高斯模型，如下圖所示：

   我再貼個2d觀測資料，單核高斯模型與多核高斯模型直觀對比下

我們可以發現多核高斯的表達能力更強。它的數學表達公式如下：

這裡w代表每個單核高斯的權重，為了簡便，統一取1/K，w沒有漸變更新。gk的函式如下：

混合高斯模型的好處是模型足夠靈活，表達能力強。理論上，只要有足夠多的高斯模型，就能表達或擬合任意形狀。

缺點是引數過多，比如你要決定用多少核的高斯，無確定解(no analytic solution)，容易過擬合。

2.EM迭代法

  接下來，我們看看如何求多核多維高斯的引數。由於取對數後，高斯函式以相加而非相乘的形式在對數函式內，因此無法化簡，no closed form solution exists。既然MLE無法使用，只能用迭代的方式求區域性極值。

EM，Expectation-Maximization迭代求解混合高斯概率模型，忽略推導步驟，較麻煩。

首先引入latent variable

  這樣，其他引數模型的計算如下：

  因此，整個演算法流程，在給定初始化值後，可以分為兩部：

1. 固定mu和sigma，更新z

1. 固定z，更新mu和sigma

注意，這裡咱要理清資料的維度關係：

X: N*D

Mu: K*D

Sigma: K*D*D

Z: K*1

Gk: 1*1

五、作業講解

接下來，講講程式設計實現吧。賓夕法尼亞的課程，越到後面開放性越大，指引很少，比如混合高斯模型的閾值、如果有個網球，根據它的提示只能檢測一個黃色網球。Train資料夾下有19張圖片，需要學生自己標註黃色小球樣本，然後根據這些樣本計算模型引數。然後在測試集上，標註黃球的位置。

我已標註19張圖片，訓練了4核和6核模型

我還要坦白，我現在計算的模型無法區分紅球和黃球，尼瑪，有人挑出毛病的，直接留言，感激不盡。難道是閾值不對?還是模型迭代次數不到位？

完整的程式碼見：