<div class="markdown_views"><hr>

這篇文章是一系列 Andrew Ng 在 Coursera 上的機器學習課程的練習的一部分。這篇文章的原始程式碼，練習文字，資料檔案可從這裡獲得。

在 我的機器學習系列文章的第一部分，我們完成了 Andrew Ng 的 Machine Learning 練習 1 的第一部分。在本篇文章中，我們將完成 練習 1 的第 2 部分以結束整個 練習 1。如果你還記得，在第一部分，我們實現了線性迴歸以預測基於城市人口的食品卡車要放在哪裡。在第二部分，我們有了新任務——預測房子的銷售價格。這次的不同之處是我們有多個因變數——如：房子的平方英尺數和房子裡的臥室數。我們能迅速的拓展我們之前的程式碼來處理多元線性迴歸嗎？
讓我們找出來吧！
首先，讓我們看一看資料。

path = os.getcwd() + '\data\ex1data2.txt'  
data2 = pd.read_csv(path, header=None, names=['Size', 'Bedrooms', 'Price'])  
data2.head()  

• 1
• 2
• 3

• 1
• 2
• 3

注意，每個變數的數值規模是截然不同的。一個房子通常有 2-5 間臥室但可能面積有從幾百到幾千平方英尺的。如果我們就這樣的在這些資料上運用我們的迴歸

data2 = (data2 - data2.mean()) / data2.std()  
data2.head()  

• 1
• 2

• 1
• 2

接下來，我們需要修改在第一部分中的線性迴歸實現以處理多個自變數。我們真的需要嗎？讓我們再次看看梯度下降的程式碼。

defgradientDescent(X, y, theta, alpha, iters):  
    temp = np.matrix(np.zeros(theta.shape))
    parameters = int(theta.ravel().shape[1])
    cost = np.zeros(iters)

    for i in range(iters):
        error = (X * theta.T) - y

        for j in range(parameters):
            term = np.multiply(error, X[:,j])
            temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))

        theta = temp
        cost[i] = computeCost(X, y, theta)

    return theta, cost

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16

仔細看計算誤差項的那行程式碼：error = (X * theta.T) - y。起初可能並不明顯，但我們正在使用矩陣運算！這就是線性代數的力量。這段程式碼將會正確的執行不管多少變數（列）屬於 X 的行數一致。最重要的是，它是一個非常高效的計算。這是一個強大的方法一下將任何表示式應用到大量的例項中。

既然我們的梯度下降和代價函式用的都是矩陣運算，事實上沒有改變程式碼來處理多元線性迴歸的必要。讓我們來試一試。我們首先需要執行一些初始化來建立合適的矩陣以傳遞給我們的函式。

# add ones column
data2.insert(0, 'Ones', 1)

# set X (training data) and y (target variable)
cols = data2.shape[1]  
X2 = data2.iloc[:,0:cols-1]  
y2 = data2.iloc[:,cols-1:cols]

# convert to matrices and initialize theta
X2 = np.matrix(X2.values)  
y2 = np.matrix(y2.values)  
theta2 = np.matrix(np.array([0,0,0])) 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

現在，我們已經準備好試一試了。讓我們看看會怎麼樣。

# perform linear regression on the data set
g2, cost2 = gradientDescent(X2, y2, theta2, alpha, iters)

# get the cost (error) of the model
computeCost(X2, y2, g2)  

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

0.13070336960771897

• 1

• 1

看起來不錯！我們也可以繪製訓練過程以確認每次梯度下降迭代後誤差事實上都在下降。

fig, ax = plt.subplots(figsize=(12,8))  
ax.plot(np.arange(iters), cost2, 'r')  
ax.set_xlabel('Iterations')  
ax.set_ylabel('Cost')  
ax.set_title('Error vs. Training Epoch')  

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

代價函式或者解的誤差，在每次成功的迭代後都下降了直到觸底。這正是我們所期待的。這看起來像我們的演算法執行正常。
值得注意的是，我們不必從頭開始實現任何演算法來解決這個問題。
Python 的一個好處是，它有龐大的開發者社群和大量的開源軟體。在機器學習領域，頂尖的 Python 庫是 scikit-learn 。讓我們看看怎麼用 scikit-learn 的線性迴歸類處理我們第一部分的簡單線性迴歸任務。

from sklearn import linear_model  
model = linear_model.LinearRegression()  
model.fit(X, y)  

• 1
• 2
• 3

• 1
• 2
• 3

沒有什麼比這個更容易了。fit 方法有很多引數供我們調整，這取決於我們想要的演算法功能，對於我們的問題預設的已經足夠了，所以我留下了他們。讓我們試著繪製擬合引數（ the fitted parameters）看看和我們之前的解有何差別。

x = np.array(X[:, 1].A1)  
f = model.predict(X).flatten()

fig, ax = plt.subplots(figsize=(12,8))  
ax.plot(x, f, 'r', label='Prediction')  
ax.scatter(data.Population, data.Profit, label='Traning Data')  
ax.legend(loc=2)  
ax.set_xlabel('Population')  
ax.set_ylabel('Profit')  
ax.set_title('Predicted Profit vs. Population Size') 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

注意：為了畫出這條線，我使用了 predict 函式來獲取預測的 y 值。這比試圖手動設定更容易。Scikit-learn 有十分優秀的 API 對典型的機器學習工作流提供很多便捷的函式。在以後的文章裡我們將更仔細地研究其中的一些。

今天就這麼多。在第三部分，我們將看看 練習 2 並且用邏輯迴歸的方法進行一些分類任務。