今天和一位師兄決定複習一下Andrew Ng的機器學習和深度學習教程理論知識，用Python實現教程中的練習。教程分為：

    我們決定從機器學習開始，逐漸實現。

    寫這個系列主要是方便以後學習，也是對前期學習的一個總結。歡迎大家共同討論！

今天是第一篇：線性迴歸

1、理論

具體理論就不細講了，大家可以看教程，在這裡貼上幾個重要的公式：

注意：裡面的學習率設定為0.07

2、程式碼（python）

# -*- coding: utf-8 -*-
"""
Created on Fri Dec 11 09:55:23 2015

@author: Administrator
"""

import matplotlib.pyplot as plt
import sys
import numpy as np
"""
#載入資料
def load(file_name):
    data=[]
    try:
        file_txt=open(file_name,"r")
    except IOError:
        print >> sys.stderr, "File could not be opened"
        sys.exit(1)
    lines = file_txt.readlines()
    for line in lines:
        cur_line = line.strip().split('\n')
        data.append('%f4'%float(cur_line[0]))
        #data.append(cur_line)
    data1 = np.array(data)
    file_txt.close()
    return data1
"""
#載入資料
def load_data(data_name):
    dataMat = []
    fr = open(data_name)
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0])])#在第一列加上1.0
    return dataMat
    
#載入標籤
def load_label(label_name):
    labelMat = []
    fr = open(label_name)
    for line in fr.readlines():
        lineArr = line.strip().split()
        labelMat.append(float(lineArr[0]))
    return labelMat
    
    
if __name__ == "__main__":
    x = load_data(r'ex2x.dat')
    #print x
    y = load_label(r'ex2y.dat')
    """
    plt.figure(figsize=(5,4))
    plt.xlabel(r'Age in years')
    plt.ylabel(r'Height in meters')
    plt.title(r'Linear Regression')
    plt.plot(x[1:50][1],y,'o')列印圖，在此不列印了
    """
    x = np.mat(x)#用np.mat轉換成矩陣
    y = np.mat(y).transpose()#將標籤轉置
    m,n = np.shape(x)#獲得矩陣行，列數
    lr = 0.07
    theat = np.mat(np.zeros(n))
    for i in range(1000):#迭代次數可以設定的大些
        h = np.dot(x,theat.transpose())
        det_h = h-y
        det_t = lr*(1.0/m)*np.dot(det_h.transpose(),x)
        theat = theat-det_t
        print theat
 

     由於是第一次用python編寫機器學習的相關程式碼，因此遇到了很多問題，尤其是有關矩陣的操作，在這裡和大家分享，但是我沒有按照問題出現的順序書寫，順序有點亂！

（1）TypeError: unsupported operand type(s) for *: 'builtin_function_or_method' and 'float'

      這個問題的出現主要是在矩陣轉置的時候用transpose函式時沒有加上括號，如treat.transpose是錯誤的，treat.transpose（）正確！

錯誤分析：

def load_data(data_name):
    dataMat = []
    fr = open(data_name)
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0])])#在第一列加上1.0
    return dataMat
 

dataMat.append([1.0,float(lineArr[0])])#在第一列加上1.0

a = '%nf'%float(str)

（3）Python main函式

使用python最不習慣的一點就是不用寫主函式程式就能執行。但是有一個主函式，無論是讀程式還是除錯程式，對我們都有幫助，其實我們可以用下面的語句定義個主函式（注意格式

if __name__=="__main__":

<span style="font-size:18px;">#hello.py
def foo():
    str="function"
    print(str);
if __name__=="__main__":
    print("main")
    foo()</span>

（4）讀取*****.dat檔案

開始以為讀取這個型別的檔案需要自己寫個函式，後來發現，讀取這個型別的檔案與讀取****.txt檔案沒有什麼區別。

<span style="font-size:18px;">import sys
try:
    file=open("client.dat","w")
except IOError,message:
    print >> sys.stderr, "File could not be opened",message
    sys.exit(1)
print "Enter the accout,name and age."
while 1:
    try:
        accountline=raw_input("?")
    except EOFError:
        break
    else:
        print >>file,accountline
file.close()</span>

（5）list（列表）轉換成mat（矩陣）

    python中使用的最多的是list，mat反而用的很少，但是一些理論推導中用的都是矩陣，所以乾脆我把list轉成了mat型別。

x = np.mat(x)#將list轉換成mat
y = np.mat(y).transpose()#將標籤轉置
m,n = np.shape(x)#獲得矩陣行，列數
theat = np.mat(np.zeros(n))#建立一個元素為0的矩陣

python中計算兩個矩陣的點乘用np.dot(mat1,mat2)函式

<span style="font-size:18px;">h = np.dot(x,theat.transpose())</span>