一.Multivariate Linear regression(多元線性迴歸)

最後介紹的是第i個訓練樣本的第j個特徵量，用來表示。舉個具體的例子來說：

，即對應著圖1-4中第二個訓練樣本的第三個數。

的（看清楚這裡是下標）值設為1。具體而言，這意味著對於第i個樣本，都有一個等於1。一開始的時候有n個特徵量，由於另外定義了額外的第0個特徵向量，並且它的取值總是1，所以我現在的特徵向量x是一個從0開始標記的n+1維的向量。同時，我也把我的引數θ也都

看做一個n+1維的向量。如圖1-7所示

二.Gradient Descent for Multiple Variables(多元線性迴歸的梯度下降)

現假設有多元線性迴歸，並約定x0=1，該模型的引數是從θ0到θn，如圖2-1所示，

圖2-1

這裡不要認為這是n+1個單獨的引數，我們要把這n+1個θ引數想象成一個n+1維的向量θ。

我們一開始的代價函式如圖2-2黑色字型所示，

圖2-2

但同樣地我們不要把函式J想成是一個關於n+1個自變數的函式，而是看成帶有一個n+1維向量的函式。

-----------------------------------------------------------------------------

關於圖2-2的這個公式要深入理解下，見圖2-3的練習

圖2-3

一開始選了2和4，提交後得知應該選擇1和2。分析如下：

選項1.其實這裡的x⁽ⁱ⁾拆開後是，然後和θ的轉置相乘，結果與是一樣的。

選項2.將括號裡的拆開後就是，可見選項2也是對的。

選項3.從1開始錯誤，我們規定了要從0開始。

選項4.，因為我們的y不像x有x0，x1，x2等等，y是沒有下標只有上標的，所以選項4錯誤。

-----------------------------------------------------------------------------

講完代價函式講梯度下降，如圖2-4所示，

圖2-4

同理這裡把函式J想成是帶有一個n+1維向量的函式。當我們實現梯度下降法後，我們可以仔細觀察一下它的偏導數項，圖2-5是我們當特徵個數n=1時梯度下降的情況。我們有兩條針對引數θ0和θ1不同的更新規則，

圖2-5

圖2-5的兩個式子不同點在於對引數θ1我們有另一個更新規則，即在最後多了一項

以上是特徵數量只有1個的情況下的梯度下降法的實現。當特徵數量大於等於1個的時候，我們的梯度下降更新規則，變成了如圖2-6的形式。

圖2-6

其實圖2-5和圖2-6這兩種新舊演算法實際上是一回事兒。考慮這樣一個情況，假設我們有3個特徵數量，我們就會有對θ1、θ2、θ3的三條更新規則。如圖2-7所示，

圖2-7

仔細觀察θ0的更新規則，就會發現這跟之前圖2-5中n=1的情況是相同的。它們之所以是等價的是因為在我們的標記約定裡有=1。

如果再仔細觀察θ1的更新規則，會發現這裡的這一項是和圖2-5對引數θ1的更新項是等價的。在圖2-7中我們只是用了新的符號來表示我們的第一個特徵。其實當n=1的時候，和是一樣的。因為圖2-7的新演算法應用更普遍，更廣泛，所以以後不管是單特徵變數還是多特徵變數我們都用圖2-7的演算法來做梯度下降。