2. 程式人生 > >一文搞懂K近鄰演算法(KNN)，附帶多個實現案例

一文搞懂K近鄰演算法(KNN)，附帶多個實現案例

阿新 • • 發佈：2019-01-03

640?wx_fmt=jpeg


簡介：本文作者為 CSDN 部落格作者董安勇，江蘇泰州人，現就讀於昆明理工大學電子與通訊工程專業碩士，目前主要學習機器學習，深度學習以及大資料，主要使用python、Java程式語言。平時喜歡看書，打籃球，程式設計。學習為了進步，進步為了更好的學習！


一、KNN回顧


k 近鄰學習是一種常用的監督學習方法，比如：判斷一個人的人品，只需要觀察與他來往最密切的幾個人的人品好壞就可以得出，即“近朱者赤，近墨者黑”。


理論/原理：“物以類聚，人以群分”


  • 相同/近似樣本在樣本空間中是比較接近的，所以可以使用和當前樣本比較近的其他樣本的目標屬性值作為當前樣本的預測值。


k 近鄰法的工作機制很簡單：


  • 給定測試樣本，基於某種距離度量（一般使用歐幾里德距離）找出訓練集中與其最靠近的k個訓練樣本，然後基於這k個“鄰居”的資訊來進行預測。


二、KNN三要素


1、K值的選擇


  • 對於K值的選擇，一般根據樣本分佈選擇一個較小的值，然後通過交叉驗證來選擇一個比較合適的最終值；

  • 當選擇比較小的K值的時候，表示使用較小領域中的樣本進行預測，訓練誤差會減小，但是會導致模型變得複雜，容易導致過擬合；

  • 當選擇較大的K值的時候，表示使用較大領域中的樣本進行預測，訓練誤差會增大，同時會使模型變得簡單，容易導致欠擬合；


2、距離度量


  • 一般使用歐幾里德距離

  • 關於距離度量，還有其他方式


3、決策規則


KNN在做迴歸和分類的主要區別在於最後做預測時的決策方式不同：


（1）分類預測規則：一般採用多數表決法或者加權多數表決法


640?wx_fmt=png


假設圖中 “？”表示待預測樣本，紅色圓表示一類，藍色方塊表示一類，2和3表示到待預測樣本的距離


1. 多數表決法：


  • 每個鄰近樣本的權重是一樣的，也就是說最終預測的結果為出現類別最多的那個類；

  • 如圖，待預測樣本被預測為紅色圓


2. 加權多數表決法：


  • 每個鄰近樣本的權重是不一樣的，一般情況下采用權重和距離成反比的方式來計算，也就是說最終預測結果是出現權重最大的那個類別；

  • 如圖，紅色圓到待預測樣本的距離為3，藍色方塊到待預測樣本的距離為2，權重與距離成反比，所以藍色的權重比較大，待預測樣本被預測為藍色方塊。


（2）迴歸預測規則：一般採用平均值法或者加權平均值法


640?wx_fmt=png


假設上圖中的2和3表示鄰近樣本的目標屬性值（標籤值），此時沒有類別，只有屬性值


1、平均值法


  • 每個鄰近樣本的權重是一樣的，也就是說最終預測的結果為所有鄰近樣本的目標屬性值的均值；

  • 如圖，均值為(3+3+3+2+2)/5=2.6


2、加權平均值法


640?wx_fmt=png


圖中，雙箭頭線上的數表示到待預測樣本的距離


  • 每個鄰近樣本的權重是不一樣的，一般情況下采用權重和距離成反比的方式來計算，也就是說在計算均值的時候進行加權操作；

  • 如圖，權重分別為（各自距離反比佔距離反比總和的比例）:

  • 屬性值為3的權重：

640?wx_fmt=jpeg

  • 屬性值為2的權重：

    640?wx_fmt=png

  • 待預測樣本的加權平均值為：

640?wx_fmt=png


三、手寫 k 近鄰演算法


實現kNN分類演算法的虛擬碼：


對未知類別屬性的資料集中的每個點依次執行一下操作：


（1）計算已知類別資料集中的點與當前點之間的距離

（2）按照距離遞增次序排序

（3）選取與當前點距離最小的k個點

（4）確定前k個點所在類別的出現頻數

（5）返回當前k個點出現頻數最高的類別作為當前點的預測分類


歐氏距離公式：

 

640?wx_fmt=png

例如求點(1,0,0,1) (1,0,0,1)(1,0,0,1)和(7,6,9,4) (7,6,9,4)(7,6,9,4)之間的距離：

640?wx_fmt=png

檢測分類器效果：

  • 可以使用已知類別的資料（當然不告訴分類器），檢驗分類器給出的結果是否與已知類別相同，通過大量的測試資料，我們可以計算出分類器的錯誤率。


以上演算法的實現是用於分類的，決策規則使用了多數表決法；此演算法通過改變決策規則，同樣可以用於迴歸。


原始碼可見：https://github.com/Daycym/Machine_Learning/tree/master/03_KNN；01_k近鄰演算法.py


四、使用手寫k kk 近鄰演算法的案例


1、案例1：約會網站的配對效果


樣本包括3種特徵：


  • 每年獲得的飛行常客里程數

  • 玩視訊遊戲所耗時間百分比

  • 每週消費的冰淇淋公升數


樣本包括3種標籤：


  • 不喜歡的人

  • 魅力一般的人

  • 極具魅力的人


部分資料格式為：


640?wx_fmt=png


程式碼可見：02_約會網站的配對效果.py


2、案例2：手寫數字識別系統


  • 資料集包括訓練集和測試集

  • 資料是32*32的二進位制文字檔案

  • 需要將文字資料轉換為Numpy陣列


如下是0的一種表示：



  
 100000000000001100000000000000000
 200000000000011111100000000000000
 300000000000111111111000000000000
 400000000011111111111000000000000
 500000001111111111111100000000000
 600000000111111100011110000000000
 700000001111110000001110000000000
 800000001111110000001110000000000
 900000011111100000001110000000000
1000000011111100000001111000000000
1100000011111100000000011100000000
1200000011111100000000011100000000
1300000011111000000000001110000000
1400000011111000000000001110000000
1500000001111100000000000111000000
1600000001111100000000000111000000
1700000001111100000000000111000000
1800000011111000000000000111000000
1900000011111000000000000111000000
2000000000111100000000000011100000
2100000000111100000000000111100000
2200000000111100000000000111100000
2300000000111100000000001111100000
2400000000011110000000000111110000
2500000000011111000000001111100000
2600000000011111000000011111100000
2700000000011111000000111111000000
2800000000011111100011111111000000
2900000000000111111111111110000000
3000000000000111111111111100000000
3100000000000011111111110000000000
3200000000000000111110000000000000

  


  
預測錯誤的總數為：10

  
手寫數字識別系統的錯誤率為：0.010571

  


  
程式碼可見：03_手寫數字識別系統.py

  


  
五、KD樹

  


  
KNN演算法的重點在於找出K個最鄰近的點，主要方法如下：

  


  
1、蠻力實現(brute)

  


  
    
   
  • 計算出待預測樣本到所有訓練樣本的訓練資料，然後選擇最小的K個距離即可得到K個最鄰近點；
    • 
   
  • 當特徵數比較多，樣本數比較多的時候，演算法的執行效率比較低。
    • 
  

  


  
2、KD樹(KD_Tree)

  


  
    
   
  • KD_Tree演算法中，首先是對訓練資料進行建模，構建KD樹，然後再根據構建好的模型來獲取鄰近樣本資料
    • 
   
  • KD_Tree是KNN演算法中用於計算最近鄰的快速、便捷構建方式
    • 
  

  


  
除此之外，還有一些從KD_Tree修改後的求解最鄰近點的演算法，比如：Ball Tree、BBF Tree、MVP Tree等

  


  
    
   
  • 當樣本資料量少的時候，我們可以使用brute這種暴力的方式進行求解最近鄰，即計算到所有樣本的距離。
    • 
   
  • 當樣本量比較大的時候，直接計算所有樣本的距離，工作量有點大，所以在這種情況下，我們可以使用kd tree來快速的計算。
    • 
  

  


  
（1）KD數的構建

  


  
KD樹採用從m個樣本的n維特徵中，分別計算n個特徵取值的方差，用方差最大的第 k 維特徵640?wx_fmt=jpeg作為根節點。對於這個特徵，選擇取值的中位數640?wx_fmt=jpeg作為樣本的劃分點，對於小於該值的樣本劃分到左子樹，對於大於等於該值的樣本劃分到右子樹，對左右子樹採用同樣的方式找方差最大的特徵作為根節點，遞迴即可產生KD樹。

  


  
假設二維樣本為：{(2, 3), (5, 4), (9, 6), (4, 7), (8, 1), (7, 2)}，下面我們來構建KD樹：

  


  
1、計算每個特徵的方差，取方差最大的作為根節點

  


  
640?wx_fmt=png

  
方差表示資料的離散程度，離散程度越大，值越大。因此，選擇第1維特徵x1作為根節點。

  


  
2、選取中位數作為劃分點

  


  
x1取值為2,4,5,7,8,9 2,4,5,7,8,92,4,5,7,8,9中位數取7來劃分，小於該值的放在左子樹，大於該值的放在右子樹

  


  
640?wx_fmt=png

  


  
3、特徵空間劃分：

  


  
640?wx_fmt=png

  


  
（2）KD tree查詢最近鄰

  


  
當我們生成KD樹以後，就可以取預測測試集裡面的樣本目標點了。

  
    
   
  • 對於一個目標點，我們首先在KD樹裡面尋找包含目標點的葉子節點；
    • 
   
  • 以目標點為圓心，以目標點到葉子節點樣本例項的距離為半徑，得到一個超球體，最近鄰的點一定在這個超球體內部；
    • 
   
  • 然後返回葉子節點的父節點，檢查另一個子節點包含的超矩形體是否和超球體相交，如果相交就到這個子節點尋找是否有更加近的近鄰，有點話就更新最近鄰；如果不相交那就直接返回父節點的父節點，在另一個子樹繼續搜尋最近鄰；
    • 
   
  • 當回溯到根節點時，演算法就結束了，儲存最近鄰節點就是最終的最近鄰。
    • 
  

  


  
假設要尋找點(2,2.5) (2,2.5)(2,2.5)的最近鄰點：

  


  
640?wx_fmt=png

  


  
六、KNN案例

  


  
1、鳶尾花資料分類

  


  
640?wx_fmt=png

  
640?wx_fmt=png

  
640?wx_fmt=png

  
    
   
  • 使用Logistic演算法和KNN演算法對鳶尾花資料進行分類，比較結果；
    • 
   
  • 具體內容在程式碼的註釋中有介紹；
    • 
   
  • 畫出下面兩張圖，需要將程式碼整合起來，才能畫出來。
    • 
  

  


  
程式碼可見：https://github.com/Daycym/Machine_Learning；02_Logistic迴歸下05_鳶尾花資料分類.py，以及03_KNN目錄下04_鳶尾花資料分類.py。

  


  
2、信貸審批

  
640?wx_fmt=png

  
640?wx_fmt=png

  
具體內容將在程式碼中介紹

  


  
程式碼可見：https://github.com/Daycym/Machine_Learning；02_Logistic迴歸下03_信貸審批.py，以及03_KNN目錄下05_信貸審批.py。

  


  
七、總結

  


  
    
   
  • 本篇主要通過簡單的暴力求解的方式實現KNN演算法，有助於理解KNN演算法
    • 
   
  • 後面又介紹了KD樹找K個最近鄰，此演算法是最快捷的
    • 
   
  • 最後通過sklearn庫下的KNeighborsClassifier實現了兩個案例，來屬性KNN模型的構建
    • 
  

  

  
原文連結：

  
https://blog.csdn.net/Daycym/article/details/84452786

  


  
（*本文為AI科技大本營轉載文章，轉載請聯絡原作者）

  


  
◆

  
推薦

  
◆

  

  
640?wx_fmt=jpeg

  


  
推薦閱讀

  
  
640?wx_fmt=png

  

  

  
 
  
   
 
 
 
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
一文搞懂K近鄰演算法(KNN)，附帶多個實現案例

     
  
 
  
  
  
  簡介：本文作者為 CSDN 部落格作者董安勇，江蘇泰州人，現就讀於昆明理工大學電子與通訊工程專業碩士，目前主要學習機器學習，深度學習以及大資料，主要使用python、Java程式語言。平時喜歡看書，打籃球，程式設計。學習為了進步，進步為了更好的學習！
  
  一、KNN回顧
  



  
 

    


    
    
一文搞懂k近鄰（k-NN）演算法（一）

     
  
  
  
 分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow
 
 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
 
 
          



  
 

    


    
    
一看就懂的K近鄰演算法(KNN)，K-D樹，並實現手寫數字識別！

     
 1. 什麼是KNN
1.1 KNN的通俗解釋
何謂K近鄰演算法，即K-Nearest Neighbor algorithm，簡稱KNN演算法，單從名字來猜想，可以簡單粗暴的認為是：K個最近的鄰居，當K=1時，演算法便成了最近鄰演算法，即尋找最近的那個鄰居。
用官方的話來說，所謂K近鄰演算法，即是給定一個訓練資 



  
 

    


    
    
一文搞懂反向傳播演算法

     
 一、前言
這是一場以誤差（Error）為主導的反向傳播（Back Propagation）運動，旨在得到最優的全域性引數矩陣，進而將多層神經網路應用到分類或者回歸任務中去。前向傳遞輸入訊號直至輸出產生誤差，反向傳播誤差資訊更新權重矩陣。這兩句話很好的形容了資訊的流動方向，權重得以在資訊雙向流動中得到優化，這讓 



  
 

    


    
    
K近鄰演算法(KNN)原理解析及python實現程式碼

     
  
 
 KNN演算法是一個有監督的演算法，也就是樣本是有標籤的。KNN可以用於分類，也可以用於迴歸。這裡主要講knn在分類上的原理。KNN的原理很簡單： 
            放入一個待分類的樣本，使用者指定k的大小，然後計算所有訓練樣本與該樣 



  
 

    


    
    
一文看懂梯度下降演算法的演化（含程式碼實現）

     
 
                目錄

0 前言









































0 前言

梯度下降法是目前最流行的優化演算法之一，也是目前最常用的神經網路優化方法。同時，每一個最先進的深度學習庫都包含各種演算法的實現來優化梯度下降（如caffe,kera 



  
 

    


    
    
夯實Java基礎系列6：一文搞懂抽象類和介面，從基礎到面試題，揭祕其本質區別！

     
 目錄

抽象類介紹

為什麼要用抽象類
一個抽象類小故事
一個抽象類小遊戲

介面介紹

介面與類相似點：
介面與類的區別：
介面特性
抽象類和介面的區別
介面的使用：
介面最佳實踐：設計模式中的工廠模式

介面與抽象類的本質區別是什麼？

基本語法區別
設計思想區別
如何回答面試題：介面和抽象類的區別?

 



  
 

    


    
    
夯實Java基礎系列19：一文搞懂Java集合類框架，以及常見面試題

     
 本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫裡檢視

https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈
文章首發於我的個人部落格：

www.how2playlife.com


本文參考 https://ww 



  
 

    


    
    
資料結構與演算法隨筆之------二叉樹的遍歷（一文搞懂二叉樹的四種遍歷）

     
  
 
 
 二叉樹的遍歷 
 
  二叉樹的遍歷（traversing binary tree）是指從根結點出發，按照某種次序依次訪問二叉樹中所有的結點，使得每個結點被訪問依次且僅被訪問一次。 
  遍歷分為四種，前序遍歷，中序遍歷，後序遍歷及層序遍歷 
 
 
  
   
    前序 
    中 
 



  
 

    


    
    
機器學習實戰（一）k-近鄰演算法kNN（k-Nearest Neighbor）

     
 
                目錄

0. 前言





簡單案例






學習完機器學習實戰的k-近鄰演算法，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。



如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~


0. 前言

k-近鄰演算法kNN（k-Neare 



  
 

    


    
    
一文搞懂Raft演算法

     
   raft是工程上使用較為廣泛的強一致性、去中心化、高可用的分散式協議。在這裡強調了是在工程上，因為在學術理論界，最耀眼的還是大名鼎鼎的Paxos。但Paxos是：少數真正理解的人覺得簡單，尚未理解的人覺得很難，大多數人都是一知半解。本人也花了很多時間、看了很多材料也沒有真正理解。直到看到raft的論文，兩 



  
 

    


    
    
一文搞懂：Adaboost及手推演算法案例

     
 boosting

Boosting 演算法的特點在於：將表現一般的弱分類器通過組合變成更好的模型。代表自然就是我們的隨即森林了。

GBDT和Adaboost是boost演算法中比較常見的兩種，這裡主要講解Adaboost。

Adaboost

Adaboost演算法的核心就是兩個權重。對於資料有一個權重 



  
 

    


    
    
一文搞懂高頻面試題之限流演算法，從演算法原理到實現，再到對比分析

     
 限流是指在系統面臨高併發、大流量請求的情況下，限制新的流量對系統的訪問，從而保證系統服務的安全性。常用的限流演算法有計數器固定視窗演算法、滑動視窗演算法、漏斗演算法和令牌桶演算法，下面將對這幾種演算法進行分別介紹，並給出具體的實現。本文目錄如下，略長，讀者可以全文閱讀，同樣也可以只看感興趣的部分。

[TOC 



  
 

    


    
    
五大常用演算法：一文搞懂分治演算法

     
 >原創公眾號：bigsai 
>文章收錄在 [bigsai-algorithm](https://github.com/javasmall/bigsai-algorithm)

## 前言

分治演算法（divide and conquer）是五大常用演算法(分治演算法、動態規劃演算法、貪心演算法 



  
 

    


    
    
一文搞懂各種 Docker 網絡 - 每天5分鐘玩轉 Docker 容器技術（72）

     
 docker   教程   容器   前面各小節我們先後學習了 Docker Overaly，Macvaln，Flannel，Weave 和 Calico 跨主機網絡方案。目前這個領域是百家爭鳴，而且還有新的方案不斷湧現。本節將從不同維度比較各種網絡方案，大家在選擇的時候可以參考。CloudMan 的建議是： 



  
 

    


    
    
一文搞懂 Java 線程中斷

     
 回復   代碼   信號   過程   執行   except   實例   二維   微信公眾   在之前的一文《如何"優雅"地終止一個線程》中詳細說明了 stop 終止線程的壞處及如何優雅地終止線程，那麽還有別的可以終止線程的方法嗎？答案是肯定的，它就是我們今天要分享的——線程中斷。
下面的這斷代碼大家應 



  
 

    


    
    
學習筆記（一）：使用K近鄰演算法檢測web異常操作

     
  
 
 黑客入侵Web伺服器後，通常會通過系統漏洞進一步提權，獲得ROOT許可權。我們可以通過蒐集LINUX伺服器的bash操作日誌，通過訓練識別出特定使用者的操作習慣，然後進一步識別出異常操作的行為。 
 1.資料蒐集 
        訓練集包括50個使用者的操作 



  
 

    


    
    
一文搞懂：詞法作用域、動態作用域、回撥函式、閉包

     
  
 
 不管什麼語言，我們總要學習作用域(或生命週期)的概念，比如常見的稱呼：全域性變數、包變數、模組變數、本地變數、區域性變數等等。不管如何稱呼這些作用域的範圍，實現它們的目的都一樣： 
  
  (1)為了避免名稱衝突; 
  (2)為了限定變數的生命週期(本文以變數名說事，其它的名稱在規則上是一樣的) 



  
 

    


    
    
Python裝飾器是一款神奇的神器！你知道怎麼用嗎？一文搞懂它！

     
  
 
  
   
  
   
 進群：548377875  即可獲取小編精心準備的教程以及大量的PDF呢！ 
 1.引子 
 #功能函式
def add(x,y):
 return x+y
#裝飾函式
def logger(fn):
 print('frist')
 x = 



  
 

    


    
    
一文讀懂PID控制演算法（拋棄公式，從原理上真正理解PID控制）

     
 
                PID控制演算法的C語言實現一 PID演算法原理

   最近兩天在考慮一般控制演算法的C語言實現問題，發現網路上尚沒有一套完整的比較體系的講解。於是總結了幾天，整理一套思路分享給大家。

   在工業應用中PID及其衍生演算法是應用最廣泛的演算法之一，是當之無愧的萬能演算法