Logistics迴歸雖然名字叫回歸，但是其實是一種分類演算法，用來計算離散的變數。

但是我的理解是Logistics迴歸演算法實際上和線性迴歸的本質是一樣的，只是為了計算離散變數，限制結果的區間，利於sigmoid函式將計算結果限制在（0,1）區間之內。對於引數的求解方法我實驗中採用了梯度上升，梯度上升和梯度下降是相同的演算法，只是一個用來求最大值而另一個用來求最小值而已。

實驗程式碼參考自《機器學習實戰》，為了加深理解程式碼，我自己給大部分程式碼作了註釋。

程式碼如下：

from numpy import *
import matplotlib.pyplot as plt

# 載入訓練集
 
def loadDataSet():
    dataMat = [];labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        #x0 = 1 , x1 = lineArr[0] , x2 = lineArr[1]
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        #y = lineArr[2]
labelMat.append(int
 
(lineArr[2]))
    return dataMat, labelMat

#使用Logistic函式將任意實數對映到[0,1]的區間內
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

#通過梯度上升計算引數向量
def gradAscent(dataMatIn, classLabels):
    #將樣本元素list轉換成mat
dataMatrix = mat(dataMatIn)
    #將樣本結果list轉化成mat並轉置
labelMat = mat(classLabels).transpose()
    # m ,n  = 
 
樣本數量
m, n = shape(dataMatrix)
    #初始學習率 α = 0.001
alpha = 0.001
#最大迭代次數 = 500
maxIteration = 500
#引數向量
weights = ones((n, 1))
    #梯度上升 ，開始迭代
for k in range(maxIteration):
        # 計算sigmoid函式
h = sigmoid(dataMatrix * weights)
        # 殘差
error = (labelMat - h)
        # 更新引數向量 θ = θ + α * x^T * (y - x*θ)
weights = weights + alpha * dataMatrix.transpose() * error
    return weights


#繪製樣本影象
def plotBestFit(weights):
    #從檔案讀取樣本
dataMat, labelMat = loadDataSet()
    #將樣本元素儲存為array
dataArr = array(dataMat)
    # n = 樣本數量
n = shape(dataArr)[0]
    xcord1 = [];    ycord1 = []
    xcord2 = [];    ycord2 = []
    #遍歷樣本
for i in range(n):  # get x,y locate at xcord ycord
        #如果 y = 1 ，將樣本加入到 cord1
if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i, 1]);
            ycord1.append(dataArr[i, 2])
        #如果 y = 0 ，將樣本加入到 cord2
else:
            xcord2.append(dataArr[i, 1]);
            ycord2.append(dataArr[i, 2])
    #figuer() 建立圖形
fig = plt.figure()
    # add_subplot(111) 引數一：子圖的總行數 引數二：子圖的總列數 引數三：子圖的位置
ax = fig.add_subplot(111)
    #將y = 1的樣本畫圖 引數s:標量或形如shape(n,)陣列，可選，預設為20 引數c:色彩或顏色序列 marker:MarkerStyle
ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    # 將y = 0的樣本畫圖
ax.scatter(xcord2, ycord2, s=30, c='green')
    # x軸範圍 -3.0起始 3.0終止 步長0.1
x = arange(-3.0, 3.0, 0.1)
    # y軸範圍
y = (-weights[0] - weights[1] * x) / weights[2]
    ax.plot(x, y)
    plt.xlabel('X1');    plt.ylabel('X2')
    plt.show()


if __name__ == "__main__":
    #獲取樣本
dataArr, labelMat = loadDataSet()
    print(dataArr)
    print(labelMat)
    #獲取經過梯度上升計算之後的引數向量
weights = gradAscent(dataArr, labelMat)
    print(weights)
    #繪製圖像
plotBestFit(weights.getA())