本人是一名數學系研究生，於2017年底第一次接觸python和機器學習，作為一名新手，歡迎與大家交流。

我主要給大家講解程式碼，理論部分給大家推薦3本書：

《機器學習實戰中文版》

《機器學習》周志華

《統計學習方法》李航

以上3本書，第一本是基於python2的程式碼實現；剩餘兩本主要作為第一本書理論省略部分的補充，理論大部分都講得很細。

部落格上關於機器學習實戰理論解釋都很多，參差不齊，好作品也大都借鑑了以上3本書，網上有很多電子版的書。

與其看看一些沒用的部落格，真心不如以上3本書有收穫。

說實話，學習一定要靜下心來，切忌浮躁。不懂可以每天看一點，每天你懂一點，天天積累就多了。

作業系統：windows8.1

python版本：python3.6

執行環境：spyder（anaconda）

# -*- coding: utf-8 -*-
"""
Created on Wed Mar  7 15:53:24 2018

@author: Loulch C.C
"""

from numpy import *
import matplotlib.pyplot as plt

#建立單層決策樹的資料集
def loadSimpData():
    datMat = matrix([[ 1. ,  2.1],
        [ 1.5,  1.6],
        [ 1.3,  1. ],
        [ 1. ,  1. ],
        [ 2. ,  1. ]])
    classLabels = [1.0, 1.0, -1.0, -1.0, 1.0]
    return datMat,classLabels

#資料視覺化
def showDataSet(dataMat, labelMat):
    data_plus = []                                  #正樣本
    data_minus = []                                 #負樣本
    for i in range(len(dataMat)):
        if labelMat[i] > 0:
            data_plus.append(dataMat[i])
        else:
            data_minus.append(dataMat[i])
    data_plus_np = array(data_plus)                        #轉換為numpy矩陣
    data_minus_np = array(data_minus)                      #轉換為numpy矩陣
    plt.scatter(data_plus_np.T[0], data_plus_np.T[1])      #正樣本散點圖
    plt.scatter(data_minus_np.T[0],data_minus_np.T[1])     #負樣本散點圖
    plt.show()
"""
if __name__ == '__main__':
    dataArr,classLabels = loadSimpData()
    showDataSet(dataArr,classLabels)
#"""

#單層決策樹生成函式
def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):
    """
    函式說明：單層決策樹分類函式
    Parameters:
        dataMatrix - 資料矩陣
        dimen - 第dimen列，也就是第幾個特徵
        threshVal - 閾值
        threshIneq - 標誌,不等號
    Returns:
        retArray - 分類結果
    """
    retArray = ones((shape(dataMatrix)[0],1))                #初始化retArray為1
    if threshIneq == 'lt':                                   #lt:less than
        retArray[dataMatrix[:,dimen] <= threshVal] = -1.0   
        #通過陣列過濾，如果小於等於閾值,則賦值為-1
    else:
        retArray[dataMatrix[:,dimen] > threshVal] = -1.0    
        #通過陣列過濾，如果大於閾值,則賦值為-1
    return retArray

def buildStump(dataArr,classLabels,D):
    """
    函式說明：找到資料集上"最佳"的單層決策樹
    Parameters:
        dataArr - 資料矩陣
        classLabels - 資料標籤
        D - 樣本權重
    Returns:
        bestStump - 最佳單層決策樹資訊
        minError - 最小誤差
        bestClasEst - 最佳的分類結果
    """
    dataMatrix = mat(dataArr); labelMat = mat(classLabels).T
    m,n = shape(dataMatrix)
    numSteps = 10.0; bestStump = {}; bestClasEst =mat(zeros((m,1)))
    minError = float('inf')                  #最小誤差初始化為正無窮大
    for i in range(n):                       #第一層迴圈遍歷資料集上所有特徵
        rangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max() 
        #找到特徵中最小的值和最大值
        stepSize = (rangeMax - rangeMin) / numSteps         #計算步長
        for j in range(-1, int(numSteps) + 1):  #用來j控制閾值threshVal，然後遍歷                        
            for inequal in ['lt', 'gt']:  
                #遍歷大於和小於。lt:less than，gt:greater than
                threshVal = (rangeMin + float(j) * stepSize)#計算閾值
                predictedVals = stumpClassify(dataMatrix, i, threshVal, inequal)
                #計算分類結果
                errArr = mat(ones((m,1)))                #初始化誤差矩陣
                errArr[predictedVals == labelMat] = 0        
                #通過陣列過濾，分類正確的,賦值為0
                weightedError = D.T * errArr             #計算誤差
                print("split: dim %d, thresh %.2f, thresh ineqal: %s,\
                      the weighted error is %.3f" % (i, threshVal, inequal, weightedError))
                if weightedError < minError:             #找到誤差最小的分類方式
                    minError = weightedError
                    bestClasEst = predictedVals.copy()
                    bestStump['dim'] = i
                    bestStump['thresh'] = threshVal
                    bestStump['ineq'] = inequal
    return bestStump,minError,bestClasEst
"""
if __name__ == '__main__':
    dataArr,classLabels = loadSimpData()
    D = mat(ones((5, 1)) / 5)
    bestStump,minError,bestClasEst = buildStump(dataArr,classLabels,D)
    print('bestStump:\n', bestStump)
    print('minError:\n', minError)
    print('bestClasEst:\n', bestClasEst)
#"""
#基於單層決策樹的AdaBoost訓練過程
def adaBoostTrainDS(dataArr, classLabels, numIt = 40):   #numIt迭代次數
    weakClassArr = []
    m = shape(dataArr)[0]
    D = mat(ones((m, 1)) / m)                            #初始化權重
    aggClassEst = mat(zeros((m,1))) #用於記錄每個資料點的類別估計累計值，初始化為零
    for i in range(numIt):
        bestStump, error, classEst = buildStump(dataArr, classLabels, D)     
        #print("D:",D.T)
        alpha = float(0.5 * log((1.0 - error) / max(error, 1e-16))) 
        #計算弱學習演算法權重alpha,使error不等於0,因為分母不能為0
        bestStump['alpha'] = alpha                       #儲存弱學習演算法權重
        weakClassArr.append(bestStump)                   #儲存單層決策樹
        #print("classEst: ", classEst.T)
        expon = multiply(-1 * alpha *mat(classLabels).T, classEst)#計算e的指數項
        D = multiply(D, exp(expon))                                      
        D = D / D.sum()                           #根據樣本權重公式，更新樣本權重
        aggClassEst += alpha * classEst        
        #alpha是每個弱分類器的權重值，每個弱分類器給出預測值都會與相應的alpha進行加權，最後輸出值                         
        print("aggClassEst: ", aggClassEst.T)
        aggErrors = multiply(sign(aggClassEst) !=mat(classLabels).T, ones((m,1)))
        errorRate = aggErrors.sum() / m
        print("total error: ", errorRate)
        if errorRate == 0.0: break                   #誤差為0，退出迴圈
    return weakClassArr, aggClassEst
"""
if __name__ == '__main__':
    dataArr,classLabels = loadSimpData()
    weakClassArr, aggClassEst = adaBoostTrainDS(dataArr, classLabels)
    print(weakClassArr)
    print(aggClassEst)
#"""

#測試演算法：基於AdaBoost的分類


def adaClassify(datToClass,classifierArr):
    """
    函式說明：AdaBoost分類函式
    Parameters:
        datToClass - 待分類樣例
        classifierArr - 訓練好的分類器
    Returns:
        分類結果
    """
    dataMatrix =mat(datToClass)
    m = shape(dataMatrix)[0]
    aggClassEst =mat(zeros((m,1)))
    for i in range(len(classifierArr)):               #遍歷所有分類器，進行分類
        classEst = stumpClassify(dataMatrix, classifierArr[i]['dim'],\
                                 classifierArr[i]['thresh'], classifierArr[i]['ineq'])            
        aggClassEst += classifierArr[i]['alpha'] * classEst
        print(aggClassEst)
    return sign(aggClassEst)
"""
if __name__ == '__main__':
    dataArr,classLabels = loadSimpData()
    weakClassArr, aggClassEst = adaBoostTrainDS(dataArr, classLabels)
    print(adaClassify([[0,0],[5,5]], weakClassArr))
#"""  
    
#示例：在一個難資料集——馬疝病資料集上應用AdaBoost
def loadDataSet(fileName):
    numFeat = len((open(fileName).readline().split('\t')))
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat - 1):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat, labelMat
"""
if __name__ == '__main__':
    dataArr, LabelArr = loadDataSet('horseColicTraining2.txt')
    weakClassArr, aggClassEst = adaBoostTrainDS(dataArr, LabelArr)
    testArr, testLabelArr = loadDataSet('horseColicTest2.txt')
    print(weakClassArr)
    predictions = adaClassify(dataArr, weakClassArr)
    errArr = mat(ones((len(dataArr), 1)))
    print('訓練集的錯誤率:%.3f%%' % float(errArr[predictions !=\
                                          mat(LabelArr).T].sum() / len(dataArr) * 100))
    predictions = adaClassify(testArr, weakClassArr)
    errArr = mat(ones((len(testArr), 1)))
    print('測試集的錯誤率:%.3f%%' % float(errArr[predictions !=\
                                          mat(testLabelArr).T].sum() / len(testArr) * 100))
"""