本節課是對監督學習的講解，ng以自動駕駛為例，告訴我們汽車對方向的預測是連續值，故而是迴歸問題。

什麼是迴歸問題？（regression）

確定兩種或兩種以上變數相互依賴的定量關係的一種統計分析方法

迴歸與分類問題的不同

迴歸與分類都屬於預測問題，而回歸預測的結果是連續的值，而分類的結果是離散的值。迴歸問題的要求就是：給定一個模式，根據訓練集推斷它所對應的輸出的y值是多少。也就是使用y=g(x)來推斷任一輸入x所對應的輸出值，分類問題是：給定一個新的模式，根據訓練集推斷它所對應的類別（如：+1，-1）。也就是使用y=sign(g(x))來推斷任一輸入x所對應的類別。綜上，迴歸問題和分類問題的本質一樣，不同僅在於他們的輸出的取值範圍不同。分類問題中，輸出只允許取兩個值；而在迴歸問題中，輸出可取任意實數。

線性迴歸（Linear Regression)

統計學中，線性迴歸(Linear Regression)是利用稱為線性迴歸方程的最小平方函式對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析。

邏輯迴歸(Logistic regression)

邏輯迴歸的模型 是一個非線性模型，sigmoid函式，又稱邏輯迴歸函式。但是它本質上又是一個線性迴歸模型，因為除去sigmoid對映函式關係，其他的步驟，演算法都是線性迴歸的。邏輯迴歸線上性迴歸的基礎上，用了這個邏輯函式。

線性迴歸問題舉例

m:訓練資料的大小。x表示輸入變數，是向量，y表示輸出變數，是實數，（x,y）是一個訓練例項，（x(i),y(i))表示第i個訓練例項。

如果用線性問題解決，假設函式如下：

m是樣例的數目，我們找出使這個函式最小的引數值，就得到了擬合訓練集的最佳引數。

優化引數

梯度下降（gradient descent)

Gradient descent 又叫 steepest descent，是利用一階的梯度資訊找到函式區域性最優解的一種方法，也是機器學習裡面最簡單最常用的一種優化方法.

 更新規則：

運用這個規則直到收斂，就是批梯度下降演算法（batch gradient descent）。其
中，收斂的判斷有兩種規則，一是判斷兩次迭代後引數的變化，二是判斷兩次迭
代後目標函式的變化；規則中的α是學習速率，這個需要在實踐中進行調整，其
值過小會導致迭代多次才能

資料量較大時，每迭代一次就要遍歷全部資料一次，
這樣會使得執行變成龜速。為了解決這個問題，一般採用如下的方法：

Repeat Until Converge{
For i=1 to m{
? ? ≔ ? ? − α(ℎ ? (? (?) ) − ? (?) )? ?
(?)(for every j)
}
}

正規方程法

最小二乘法可以將誤差方程轉化為有確定解的代數方程組（其方程式數目正好等於未知數的個數），從而可求解出這些未知引數。這個有確定解的代數方程組稱為最小二乘法估計的正規方程（或稱為法方程）。

梯度下降演算法是求目標函式最優值的一種解法，對於上類問題，我們可以直接求出引數值而不用迭代的方法，這就是正規方程法。

如果定義函式f（A）為：

則有

定義一個矩陣，作為設計矩陣，表示樣本輸入，xθ

得到結果後，我們令導數為0，得到：

參考資料

迴歸問題：http://blog.csdn.net/omenglishuixiang1234/article/details/50247143

正規方程法：http://blog.csdn.net/hahajinbu/article/details/49904665