收拾下心情，繼續上路。

最近開始看Peter Harrington的《Machine Learning in Action》...

的中文版《機器學習實戰》。準備在部落格裡面記錄些筆記。

這本書附帶的程式碼和資料及可以在這裡找到。

這本書裡程式碼基本是用python寫的，而且經常用到numpy等一些常用的庫。

這個時候當然是直接裝個 anaconda 比較方便。IDE的話，pycharm是個不錯的選擇。

好了廢話不多說，咱們開始吧。

第一章《機器學習基礎》是些緒論，就跳過吧。從第二章《k-近鄰演算法》開始。

------------------------------------------------------------------------------------------------

k-近鄰演算法（k-nearest neighbors algorithm，KNN）

（1）是個【分類】演算法。是個最簡單、最基礎的演算法。

（2）基本思想：通過測量特徵值之間的距離（歐氏距離）給資料進行分類。

（3）詳細點兒說：

a.訓練樣本集中的每條資料都有一個標籤

b.輸入一條待分類的資料。把它的每個特徵和樣本集中資料對應的特徵進行距離比較

c.選擇最相似（距離最短）的前k條資料，看這k條資料哪個標籤最多，就把待分類的資料分到哪個標籤下。

（4）優點：精度高、對異常值不敏感

 缺點：複雜度高

 適用範圍：數值型 / 離散型 資料

------------------------------------------------------------------------------------------------

第一個例子很簡單。每條資料就2個特徵（2維），就叫特徵1和特徵2好了。

然後每條資料配一個標籤，標籤的種類有2種：A和B。

第一步是匯入資料，這個資料呢我們就直接從程式碼裡拿到手，後面的例子會從檔案裡摳出來，而且會做些預處理。

#!/usr/bin/python
#coding:utf-8

from numpy import *
import operator

def createDataSet():
	group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0,0.1]])
	labels = ['A', 'A', 'B', 'B',]
	return group, labels
 

要注意的是，group其實是個矩陣，它的型別是numpy包裡的array。往後的資料集都是用矩陣，也就是array型別來表示。labels則是個常見的list型別。

group是個4*2的矩陣，代表有四條資料，每條資料有2維。接下來這段程式碼就是用於分類的函式。

def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX, (dataSetSize,1)) - dataSet
	sqDiffMat = diffMat**2
	sqDistances = sqDiffMat.sum(axis=1)
	distances = sqDistances**0.5
	sortedDistIndices = distances.argsort()
	classCount={}
	for i in range(k):
		voteIlabel = labels[sortedDistIndices[i]]
		classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
	sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),reverse=True)
	return sortedClassCount[0][0]

解釋一下。

classify0 接受四個引數：

（1）inX: 待分類的資料。例：[0,0]
（2）dataSet: 訓練集矩陣。例：
    [[1.0, 1.1],
     [1.0, 1.0],
     [0.0, 0.0],
     [0.0, 0.1]]
（3）labels: 訓練集對應的標籤。例：['A', 'A', 'B', 'B',]
（4）k: k鄰近的k

第2行：shape 是 array的每一維的大小，比如上面那個矩陣，是4*2的，shape[0]就是4，也就是說dataSetSize是資料集的資料條數4。

第3行：tile() 作用是按行 / 列複製array。例：tile(inX, (4,1))將[0,0] 複製為：

[[0, 0],
 [0, 0],
 [0, 0],
 [0, 0]]
再按矩對應元素陣減去dataSet，之後得到：

diffMat
[[-1.0, -1.1],
[-1.0, -1.0],
[-0.0, -0.0],
[-0.0, -0.1]]

第4~6行：矩陣的每一行，平方，求和，開方，求歐氏距離。分別得到：

sqDiffMat

[[ 1.  ,  1.21],
 [ 1.  ,  1.  ],
 [ 0.  ,  0.  ],
 [ 0.  ,  0.01]]

sqDistances

    [2.21,  2.0,  0.0,  0.01]

distances

[1.49, 1.41, 0.0, 0.1]

第7行：用 argsort 得到這四個距離的大小次序：[2, 3, 1, 0]。意思就是下標2的排第1，下標3的排第2，下標1的排第3，下標0的排第4

接下來就是統計標籤。把距離最小的前k條資料的標籤拿出來計數，並從大到小排序，決出最有可能的標籤

classCount 是個字典，鍵是標籤（A或B），值是標籤的計數。

通後得到 classCount：{'A': 1, 'B': 2}

然後按值的大小排序，得到 sortedClassCount ：[('B', 2), ('A', 1)]

取 sortedClassCount[0][0] 就是 'B'

主函式：

if __name__ == "__main__":
	group,labels = createDataSet()
	print classify0([0, 0], group, labels, 3)