2. 程式人生 > >機器學習實戰---k近鄰演算法（程式碼及執行）

機器學習實戰---k近鄰演算法（程式碼及執行）

阿新 • • 發佈：2019-02-16
import numpy as np #匯入numpy import operator #運算子模組 #k-近鄰演算法 #計算距離 def classify0(inX,dataSet,labels,k): dataSetSize=dataSet.shape[0] #shape讀取資料矩陣第一維度的長度 diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet #tile重複陣列inX，有dataSet行 1個dataSet列，減法計算差值 sqDiffMat=diffMat**2 #**是冪運算的意思，這裡用的歐式距離 sqDisttances=sqDiffMat.sum(axis
=1) #普通sum預設引數為axis=0為普通相加，axis=1為一行的行向量相加 distances=sqDisttances**0.5 sortedDistIndicies=distances.argsort() #argsort返回數值從小到大的索引值（陣列索引0,1,2,3） #選擇距離最小的k個點 classCount={} for i in range(k): voteIlabel=labels[sortedDistIndicies[i]] #根據排序結果的索引值返回靠近的前k個標籤 classCount[voteIlabel]=classCount.get(voteIlabel,0
)+1 #各個標籤出現頻率 sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #排序頻率 #!!!!! classCount.iteritems()修改為classCount.items() #sorted(iterable, cmp=None, key=None, reverse=False) --> new sorted list。 # reverse預設升序 key關鍵字排序itemgetter（1）按照第一維度排序(0,1,2,3)
return sortedClassCount[0][0] #找出頻率最高的 #建立資料集 def createDataSet(): group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B','B'] return group,labels #import kn #group,labels=kn.createDataSet() def file2matrix(filename): fr=open(filename) arrayOLines=fr.readlines() numberOfLines=len(arrayOLines) #讀出資料行數 returnMat=np.zeros((numberOfLines,3)) #建立返回矩陣 classLabelVector=[] index=0 for line in arrayOLines: line=line.strip() #刪除空白符 listFromLine=line.split('\t') #split指定分隔符對資料切片 returnMat[index,:]=listFromLine[0:3] #選取前3個元素（特徵）儲存在返回矩陣中 classLabelVector.append(int(listFromLine[-1])) #-1索引表示最後一列元素,位label資訊儲存在classLabelVector index+=1 return returnMat,classLabelVector #datingDatMat,datingLabels=kn.file2matrix('datingTestSet2.txt') ##使用matplotlib建立散點圖 #import matplotlib #import matplotlib.pyplot as plt ##figure指定圖表名稱 #fig=plt.figure() ##在整張圖上加入一個子圖，111的意思是在一個1行1列的子圖中的第一張 #ax=fig.add_subplot(111) ##標明畫散點圖，plot為預設為華連線圖 #ax.scatter(datingDatMat[:,1],datingDatMat[:,2]) ##一定要加上這句話才能讓畫顯示在螢幕上 #plt.show #ax=fig.add_subplot(121) #ax.scatter(datingDatMat[:,1],datingDatMat[:,2],15.0*np.array(datingLabels),15.0*np.array(datingLabels)) #plt.show #ax=fig.add_subplot(131) ##第一二列屬性 #ax.scatter(datingDatMat[:,0],datingDatMat[:,1],15.0*np.array(datingLabels),15.0*np.array(datingLabels)) #plt.show #歸一化特徵值 #歸一化公式 ：（當前值-最小值）/range def autoNorm(dataSet): minVals=dataSet.min(0) #存放每列最小值，引數0使得可以從列中選取最小值，而不是當前行 maxVals=dataSet.max(0) #存放每列最大值 ranges = maxVals - minVals normDataSet=np.zeros(np.shape(dataSet)) #初始化歸一化矩陣為讀取的dataSet m=dataSet.shape[0] #m儲存第一行 # 特徵矩陣是3x1000，min max range是1x3 因此採用tile將變數內容複製成輸入矩陣同大小 normDataSet=dataSet-np.tile(minVals,(m,1)) normDataSet=normDataSet/np.tile(ranges,(m,1)) return normDataSet, ranges, minVals #normMat,ranges,minVals=kn.autoNorm(datingDatMat) #測試約會網站分類結果程式碼 def datingClassTest(): hoRatio = 0.10 #hold out 10% datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom file normMat, ranges, minVals = autoNorm(datingDataMat) m = normMat.shape[0] numTestVecs = int(m*hoRatio) errorCount = 0.0 for i in range(numTestVecs): classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3) print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])) if (classifierResult != datingLabels[i]): errorCount += 1.0 print("the total error rate is: %f" % (errorCount/float(numTestVecs))) #print(errorCount) #完整的約會網站預測：給定一個人，判斷時候適合約會 def classifyPerson(): resultList=['not at all','in small doses','in large doses'] percentTats=float(input("percentage of time spent playing video games?")) #書中raw_input在python3中修改為input（） ffMiles=float(input("frequent flier miles earned per year?")) iceCream=float(input("liters of ice cream consumed per year?")) datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')#原書沒有2 normMat, ranges, minVals = autoNorm(datingDataMat) inArr=np.array([ffMiles,percentTats,iceCream]) classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLabels,3) print("You will probably like this person:", resultList[classifierResult-1]) #kn.classifyPerson() import os#, sys def img2vector(filename): returnVect=np.zeros((1,1024))#每個手寫識別為32x32大小的二進位制影象矩陣 轉換為1x1024 numpy向量陣列returnVect fr=open(filename)#開啟指定檔案 for i in range(32):#迴圈讀出前32行 lineStr=fr.readline() for j in range(32): returnVect[0,32*i+j]=int(lineStr[j])#將每行的32個字元值儲存在numpy陣列中 return returnVect #testvector=kn.img2vector('testDigits/0_13.txt') #測試演算法 def handwritingClassTest(): hwLabels=[] trainingFileList=os.listdir('trainingDigits')#修改 import os 這裡加上os. m=len(trainingFileList) trainingMat=np.zeros((m,1024)) #定義檔案數x每個向量的訓練集 for i in range(m): fileNameStr=trainingFileList[i] fileStr=fileNameStr.split('.')[0]#解析檔案 classNumStr=int(fileStr.split('_')[0])#解析檔名 hwLabels.append(classNumStr)#儲存類別 trainingMat[i,:]=img2vector('trainingDigits/%s'%fileNameStr) #訪問第i個檔案內的資料 #測試資料集 testFileList=os.listdir('testDigits') errorCount=0.0 mTest=len(testFileList) for i in range(mTest): fileNameStr=testFileList[i] fileStr=fileNameStr.split('.')[0] classNumStr=int(fileStr.split('_')[0])#從檔名中分離出數字作為基準 vectorUnderTest=img2vector('testDigits/%s'%fileNameStr)#訪問第i個檔案內的測試資料，不儲存類 直接測試 classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3) print("the classifier came back with: %d,the real answer is: %d" %(classifierResult,classNumStr)) if(classifierResult!=classNumStr): errorCount+=1.0 print("\nthe total number of errors is: %d" % errorCount) print("\nthe total rate is:%f"% (errorCount/float(mTest))) #kn.handwritingClassTest()

相關推薦

機器學習實戰---k近鄰演算法（程式碼及執行）

import numpy as np #匯入numpy import operator #運算子模組 #k-近鄰演算法 #計算距離 def classify0(inX,dataSet,labels,k): dataSetSize=dataSet.shape[0] #shape讀取資料矩

機器學習實戰--K近鄰演算法實現（一）

KNN演算法的工作原理為： 存在一個樣本資料的集合，也稱作訓練樣本集合，並且樣本集的每個資料都存在標籤。輸入沒有標籤的新資料後，將新資料的每個特徵與樣本集中資料對應的特徵進行比較，然後演算法提取樣本集中特徵最相似的分類標籤，一般只選擇樣本集中前K個最相似的資料，前K個相似資

機器學習實戰k近鄰演算法(kNN)應用之手寫數字識別程式碼解讀

from numpy import * from os import listdir import operator import time #k-NN簡單實現函式 def classify0(inX,dataSet,labels,k): #求出樣本集的行數，也就是labels標籤的數目

小白python學習——機器學習篇——k-近鄰演算法（KNN演算法）

一、演算法理解 一般給你一資料集，作為該題目的資料（一個矩陣，每一行是所有特徵），而且每一組資料都是分了類，然後給你一個數據，讓這個你預測這組資料屬於什麼類別。你需要對資料集進行處理，如：歸一化數值。處理後可以用matplotlib繪製出影象，一般選兩個特徵繪製x，y軸，然後核心是計算出預測點到

機器學習實戰——k-近鄰演算法Python實現問題記錄

  準備 kNN.py 的python模組 from numpy import * import operator def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

機器學習之K-近鄰演算法（二）

本章內容： K-近鄰分類演算法 從文字檔案中解析和匯入資料 使用matplotlib建立擴散圖 歸一化數值 2-1 K-近鄰演算法概述 簡單的說，K-近鄰演算法採用測量不同特徵值之間的距離方法進行分類。 K-近鄰演算法 優點：精度高、對異常

機器學習實戰—k近鄰演算法(kNN)02-改進約會網站的配對效果

示例：使用k-近鄰演算法改進約會網站的配對效果 在約會網站上使用k-近鄰演算法： 1.收集資料：提供文字檔案。 2.準備資料：使用Python解析文字檔案。 3.分析資料：使用matplotlib畫二維擴散圖。 4.訓練演算法：此步驟不適用於k-近鄰演

機器學習實戰——k-近鄰演算法概述

k近鄰演算法是最基礎的分類演算法，它的原理很簡單，就是拿當前的測試樣本與訓練樣本集中的所有樣本進行比較，採用歐式距離進行比較。 然後按照距離大小進行排序，從小到大排。然後在根據k的數值，選取前k個訓練樣本的分類結果進行統計，統計結果中出現的類別次數最多的類別，即為測試樣本的

【機器學習】k-近鄰演算法（k-nearest neighbor, k-NN）

前言 kk近鄰學習是一種常用的監督學習方法。 kk近鄰法的輸入為例項的特徵向量，對應於特徵空間的點；輸出為例項的類別，可以取多類。 kk近鄰法的工作機制很簡單：給定測試樣本，基於某種距離度量（關於

《機器學習實戰》學習筆記——K-近鄰演算法（KNN）(二)海倫約會網站匹配實戰

《機器學習實戰》中KNN演算法例項一：關於這個實戰的故事背景可以搜尋“海倫 約會網站”基本上就可以瞭解。 這個實驗的目的是根據已有的海倫整理出來的約會物件的資料和海倫對約會物件的評價，構造分類器，使對

機器學習之K-近鄰演算法程式碼分析

在看Peter的K-近鄰實戰時，發現原來“手寫識別系統”不止是影象處理和影象識別可以解決，原來從影象也是矩陣資料的層面來看，不同數字的識別也是資料分類問題（2333……又打開了思維的新視角）。因本身是學影象處理出身，所以關於手寫識別系統，思維受限在怎樣進行影象處理、怎樣訓練數字模型、怎樣進行數字識別了。 該

機器學習實戰k-鄰近演算法(kNN)簡單實施程式碼解讀

一.概念 k-鄰近演算法是最簡單的機器學習演算法之一。 k-鄰近演算法採用測量不同特徵值之間的距離（具體說是歐氏距離）的方法進行分類。 輸入待分類的資料後，計算輸入特徵與樣本集資料對應特徵的距離，選擇樣本集中與輸入特徵距離最小的前k個樣本，統計這k個樣本資

機器學習實戰 k-近鄰算法 實施kNN分類算法

OS 環境 clas attr blog 環境變量 變量 技術 機器學習 2.預測數據分類時，出現 ‘dict’ object has no attribute ‘iteritems‘ 如： 最常見的解決辦法是 更改環境變量順序 如 註意：哪個版本在上面，cmd

機器學習：K近鄰演算法，kd樹

https://www.cnblogs.com/eyeszjwang/articles/2429382.html kd樹詳解 https://blog.csdn.net/v_JULY_v/article/details/8203674 一、K-近鄰演算法（KNN）概述 

C++單刷《機器學習實戰》——kNN演算法完整程式碼

#include <iostream> #include <cmath> #include<map> #include<string> #include<sstream> #include<fstream> #include&l

機器學習實戰----kNN近鄰演算法問題記錄

1.import kNN。報錯：only 2 non-keyword arguments accepted 原因：group =array([1.0,1.1],[1.0,1.0],[0,0],[0,0.1]) 粗心少寫了兩個中括號 正確寫法: group=array([

機器學習之決策樹 機器學習之K-近鄰演算法

　　都說萬事開頭難，可一旦開頭，就是全新的狀態，就有可能收穫自己未曾預料到的成果。從2018.12.28開始，決定跟隨《機器學習實戰》的腳步開始其征程，記錄是為了更好的監督、理解和推進，學習過程中用到的資料集和程式碼都將上傳到github 　　機器學習系列部落格：（1） 機器學習之K-近鄰演算法

機器學習實踐-k近鄰演算法-約會網站配對原始碼

原始碼如下： #-*- coding: utf-8 -*- from numpy import * import operator import pdb import matplotlib import matplotlib.pyplot as plt from mat

機器學習—使用k-近鄰演算法改進約會網站的配對效果

沒寫完先發出去，後面會修改QAQ python中zeros函式的用法 用於建立矩陣 將文字記錄轉化為numpy的解析程式 def file2matrix(filename): fr=open(filename) arrayOLines

【機器學習】K近鄰演算法

Knn演算法是一種簡單的監督學習演算法，雖然效能並不算非常出色，但是可解釋性非常強。理論上可以證明，Knn可以以任意精度擬合真實分類高維曲面。 一、Knn演算法分析 1、該演算法在處理樣本分佈不均勻的時候效果比較差。比如正類的樣本數量為1000，反類的樣本數量為100，即