在這部分中，你將使用多變數線性迴歸去預測房屋價格，假設你要賣掉房子而且你想知什麼是一個好的市場價格，去做的一個方式就是首先收集最近出售的房子資訊並製作房屋價格的模型，檔案ex1data2/txt包含了一個房屋價格在Portland的訓練集，第一列是房子大小，第二列是臥室的數量，第三列是房屋價格，ex1_multi.m腳步已經給你寫好了你只需要填空，

發現數據集中房屋大小大約是臥室數量的1000倍，當特徵相差了幾個數量級時，首先進行特徵縮放會使使用梯度下降收斂變得更快，你的任務要完成把資料集中所有資料減去減取均值後在除以標準差。

注：這裡吳恩達只對X 沒對預測價格Y做標準化（從下面的圖4：適當學習率下梯度下降收斂過程

就能看出來） 我個人感覺這樣做出來的誤差會很大 當然初學階段也就將就了

標準差是一種測量變化量的方法 在特定值的範圍內 （大多數資料點將位於正負2個標準差之中）當然還有另外一種方式來確定取值範圍 那就是通過最大值MAX-最小值MIN

請注意這些矩陣X的列對應於一個特徵

實現注意：在標準化特徵時，去儲存用於標準化的值——用於計算的均值和標偏差是很重要的。在從模型中學習引數之後我們經常想預測我們之前從來沒有見過的房加，給定一個新的X值（客廳面積和寢室數量）我們必須首先使用之前從訓練集中計算出來的均值和標準差去歸一化X

以前，你在一元迴歸上使用了梯度下降，現在唯一的不同是矩陣X多了一個特徵，假設假設函式和批量更新的梯度下降規則保持不變。你應該在computeCostMulti和gradientDescentMulti中完成程式碼實現多元線性迴歸的代價函式和梯度下降。如果你已經完成，為了確保你的程式碼支援所有數量的特徵而且能很好的向量化，你可以使用size(X,2)去找出資料集中有多少特徵。

執行注意事項:在多元的情況下，代價函式也可以寫成如下向量化的形式:

當你使用像Octave / MATLAB（Python.numpy）這樣的數字計算工具時，向量化版本是非常給力的，如果你是操作矩陣的專家，你可以向自己證明這兩種形式是等價的。

可選練習：尋找學習率

在這部分練習中，你將為資料集試測不同的學習率並找出那個收斂速度更快的。

下一階段ex1將在選中的學習率中呼叫你的gradientDescent函式進行大約50次迭代，這個函式應該能返回向量J中每一次J（θ）值的歷史記錄，在最後一次迭代後,ex1.multi指令碼將繪製迭代次數與J(θ)值的影象

如果你是在一個很好的範圍裡選擇學習率的，你繪製出的圖會很像圖4，如果你的圖表看上去完全不一樣，尤其是你的J（θ）呈爆炸型增長時，調整你的學習率然後重試一次。我們推薦你嘗試的學習率的刻度是：對上一個學習率乘以3，即（0.3、0.1、0.03、0.01等等）你可能還需要調整執行的迭代次數以幫助你看到曲線的整體走勢。

圖4：適當學習率下梯度下降收斂過程

執行注意事項：如果你選的學習率過大，J(θ)可能會爆炸性增長然後發散，導致計算機計算代價太大，在這種情況下，Octave/MATLAB會返回結果NaNs。NaN代表不是一個數字而且總是導致未定義的-1和+1的操作（看不懂這段）

Octave/MATLAB小貼士：為比較不同學習率對收斂的影響，把多個學習率跟J（θ）畫在同一幅圖中是很有幫助的，在OCTAVE/MATLAB中可以通過使用hold on命令在之間執行多次梯度下降來繪製，具體而言，如果你嘗試3個不同的α（你應該嘗試使用更多的α值）並將代價值儲存在J1 J2 J3上，你可以使用下面的命令把他們繪製在同一張圖上：plot()……

函式中的brk代表不同的顏色。

注意收斂曲線隨著學習率的變化而變化，採用一個很小的學習率你會發現梯度下降法將花費大量時間去收斂到最優值，反之大的學習率可能會不收斂甚至發散！在你發現最好的學習率後執行它，去預測一個1650平米，3個臥室的房子的價格，隨後你將使用值去檢查你的執行的正規方程。別忘了在預測過程中去做標準化處理！

在教學視訊中，你已經學到了線性迴歸的封閉解（closed-form solution）是

使用這個公式不需要進行任何特徵縮放，你就會在計算中得到一個精確解，不會像梯度下降那樣在收斂前進行迴圈迭代，完成標準方程的程式碼，使用上面公式計算θ，記住儘管你不需要縮放特徵，我們仍然需要新增“全是1”的這列作為X的第一列。

可選擇的練習：現在一旦你用這個方法找到了θ，用它來預測3間臥室1650平米的房子，你應該會發現預測出的價格和之前梯度下降法預測出的一樣。

注意：本人程式碼中通過梯度下降法得到的引數θ2<0說明隨著臥室數量增加價格反而減小 可能有點問題。-0-

執行結果：

程式碼：

import numpy as np
import matplotlib.pyplot as plt

def featureNormalization(X):
    AVGmu = np.mean(X, axis=0)
    SDsigma = np.std(X, axis=0, ddof=0)  # axis=0代表對列做 ddof=0代表是有偏的 （數理統計對樣本標準差的定義是ddof=1是無偏的即預設情況下分母是n-1,若是想除以n則加上ddof=0)
    xxnormal = (X - AVGmu) / SDsigma #每個樣本減去均值除以有偏標準差
    #print(AVGmu)
    # print(SDsigma)
    # print(xxnormal)
    return AVGmu,SDsigma,xxnormal

def featureNormalization2(X):#把資料對映到0~1
    max = np.max(X, axis=0)
    min = np.min(X, axis=0)  # axis=0代表對列做 ddof=0代表是有偏的 （數理統計對樣本標準差的定義是ddof=1是無偏的即預設情況下分母是n-1,若是想除以n則加上ddof=0)
    xxnormal = (X - min) / (max-min) #每個樣本減去均值除以有偏標準差
    print(max)
    print(min)
    print(xxnormal)
    return max,min,xxnormal

def gradientDescent(X,y,theta,num,studyrate,iterations):
    m=num
    J_every=np.zeros((iterations,1))#用於儲存每次迭代計算出的costfunction值
    theta_every=np.zeros((interations,2))
    XT=X.T#為保證矩陣乘法行列要求 接下來計算會用到X的轉置
    for i in range(interations):
        dJdivdtheta = (np.dot(XT,((np.dot(X, theta) - y))/m ))
        theta = theta - studyrate * dJdivdtheta
        theta_every[i][0]=theta[0][0]
        theta_every[i][1]=theta[1][0]
        J_every[i] = computeCost(X, y, theta,num)
    return theta,J_every,theta_every

def computeCost(X,y,theta,num):
    m = num
    result = (np.sum((np.dot(X, theta) - y) ** 2)) / (2 * m)
    return result

def showCostfunction(interations):
  for i in range(interations):
    print('第',i+1,'次迭代的代價函式值為',costhistory[i],'theta0和theta1分別是',thetahistory[i])

def showJValueWithInterations(costhistory1,costhistory2,costhistory3):#繪製不同學習率下代價值與迭代次數的關係圖
    plt.xlabel('Number of Iterations')
    plt.ylabel('Value of Cost')
    plt.plot(np.arange(np.size(costhistory1, 0)), costhistory1, '-b', lw=2)
    plt.plot(np.arange(np.size(costhistory2, 0)), costhistory2, '-g', lw=2)
    plt.plot(np.arange(np.size(costhistory3, 0)), costhistory3, '-r', lw=2)
    plt.show()

def predictProfitByGradientDescent(x1,x2,AVGmu,SDsgm,thetai):
  Xtest=( np.array(([x1, x2])-AVGmu)/SDsgm)
  print("樣本均值是",AVGmu)
  print("樣本標準差是",SDsgm)
  print(Xtest)
  Xtest = np.hstack((1, Xtest))  # 這是矩陣拼接的另外一個方法
  predict=np.dot(Xtest,thetai)#預測
  print("通過梯度下降法:",x1,'佔地面積',x2,'個臥室的房子預測價格是',(predict[0]))

def normalEquations(x,y):
     theta=np.dot(np.dot((np.linalg.inv(np.dot(np.transpose(x),x))),np.transpose(x)),y)
     return theta

def predictProfitBynormalEquations(x1,x2,thetai):
    Xtest = np.array([x1, x2])
    Xtest = np.hstack((1, Xtest))  # 這是矩陣拼接的另外一個方法
    predict = np.dot(Xtest, thetai)  # 預測
    print("通過正規方程法",x1, '佔地面積', x2, '個臥室的房子預測價格是', (predict[0]))


#####下面都是主函式######

#####這裡都是讀取文字######
dataset = np.loadtxt('ex1data2.txt', delimiter=',')  # 讀取資料集文字
xx = dataset[:, 0:2]  # 取出文字的1 2列（房子面積、臥室數量）
yy = dataset[:, 2]  # 取出文字的第3列（錢）
num = len(xx)
#print(num) #看看有多少個數據 (有47個數據)
x = xx.reshape(num, 2)  # 轉成num行的列向量
y = yy.reshape(num, 1)  # 同上

#print(featureNormalization(x))#用於檢測
AVGmu,SDsigma,XX= featureNormalization(x)#AVGmu代表均值 SDsigma代表標準差 XX代表歸一化後的矩陣
print(AVGmu)#用於檢測
print(SDsigma)#用於檢測
#print(XX)#用於檢測標準化後的矩陣
#max,min,XX= featureNormalization2(x) #代表用最大值最小值那個方法進行歸一化
X0=np.ones((len(x), 1))#因為假設函式有常數項theta0所以考慮給實際運算的矩陣多加一列111……
juzhenXX=np.array(XX).reshape(len(XX),2)#資料集中屬性x轉換成一個n行1列的矩陣 （這行程式碼的轉換好像有點累贅）
X = np.c_[X0, juzhenXX]#把歸一化後的juzhenXX(47行2列)拼在X0(47行1列)右邊 形成一個97行3列的矩陣X
#print(X)#看看原始資料
thetainit=np.zeros((3,1))#由題設theta包含三個引數常數項theta0、一階係數theta1和theta2 後面會更新theta所以初始化是一個空矩陣 是3行1列的矩陣
print("Costfunction的初始值是",computeCost(X,y,thetainit,num))#檢視還未更新的代價函式值
studyrate=0.1#根據試探 0.01 0.03 0.1發現最好
studyrate2=0.03
studyrate3=0.01
interations=50
thetai,costhistory,thetahistory=(gradientDescent(X,y,thetainit,num,studyrate,interations))
thetai2,costhistory2,thetahistory2=(gradientDescent(X,y,thetainit,num,studyrate2,interations))
thetai3,costhistory3,thetahistory3=(gradientDescent(X,y,thetainit,num,studyrate3,interations))
#showCostfunction(interations)
print("梯度下降出來引數分別是",thetai)
showJValueWithInterations(costhistory,costhistory2,costhistory3)
predictProfitByGradientDescent(1650,3,AVGmu,SDsigma,thetai)
#下面是normal equations方法的程式碼
normalequationsjuzhenXX=np.array(x).reshape(len(x),2)
normalequationsX = np.c_[X0, normalequationsjuzhenXX]
normalequationtheta=normalEquations(normalequationsX,y)
print("正規方程出來的引數分別是",normalequationtheta)
predictProfitBynormalEquations(1650,3,normalequationtheta)