2. 程式人生 > >【機器學習】Kmeans聚類

【機器學習】Kmeans聚類

阿新 • • 發佈：2018-12-20

寫在篇前

  Kmeans演算法是一種經典的聚類演算法，屬於無監督學習的範疇。所謂聚類，即指對於給定的一個樣本集，按照樣本之間的距離大小，將樣本集劃分為K個簇，且讓簇內的點儘量緊密的連在一起，而讓簇間的距離儘量的大。

優點：

  • 原理簡單
  • 速度快
  • 對大資料集有比較好的伸縮性

缺點：

  • 需要指定聚類數量K
  • 對異常值敏感
  • 對初始值敏感

原理概述

演算法流程

                         以下描述基於 Lloyd’s 演算法

  1. 設定一個k值，即設定需要聚類多少個簇
  2. 隨機選擇k個質心（centroids）
  3. 計算各個樣本點到質心的距離，劃分簇
  4. 重複第2、3步驟，直至迭代次數達到設定的最大值或者質心不再移動

評價準則

  The k-means algorithm divides a set of N samples X into K disjoint clusters C, each described by the mean μj\mu_j of the samples in the cluster. The means are commonly called the cluster “centroids”; note that they are not, in general, points from X, although they live in the same space. The K-means algorithm aims to choose centroids that minimise the inertia

, or within-cluster sum of squared criterion: E=∑i=1k∑x∈Ci∣∣x−μi∣∣22 E = \sum\limits_{i=1}^k\sum\limits_{x \in C_i} ||x-\mu_i||_2^2 attention, μj\mu_j is just the so-called centroids: μi=1∣Ci∣∑x∈Cix \mu_i = \frac{1}{|C_i|}\sum\limits_{x \in C_i}x

  值得注意的是：

  • Inertia假設聚類是凸的和各向同性的（convex and isotropic），但它對細長簇或具有不規則形狀資料聚類不佳；

  • Inertia不是標準化的度量標準：我們只知道較低的值更好，零是最佳的；

演算法改進

Kmeans ++

  k個初始化的質心的位置選擇對最後的聚類結果和執行時間都有很大的影響，因此需要選擇合適的k個質心。K-Means++演算法就是對K-Means隨機初始化質心的方法的優化：

  • 從輸入的資料點集合中隨機選擇一個點作為第一個聚類中心\mu_1

  • 對於資料集中的每一個點x_i，計算它與已選擇的聚類中心中最近聚類中心的距離 D(xi)=arg  min∣∣xi−μr∣∣22    r=1,2,...kselected D(x_i) = arg\;min||x_i- \mu_r||2^2\;\;r=1,2,...k{selected}

  • 選擇一個新的資料點作為新的聚類中心，選擇的原則是：D(x)較大的點，被選取作為聚類中心的概率較大

  • 重複b和c直到選擇出k個聚類質心

  • 利用這k個質心來作為初始化質心去執行標準的K-Means演算法

elkan

  在傳統的K-Means演算法中，我們在每輪迭代時，要計算所有的樣本點到所有的質心的距離，這樣會比較的耗時。elkan K-Means演算法就是從這塊入手加以改進。它的目標是減少不必要的距離的計算。elkan K-Means利用了兩邊之和大於等於第三邊,以及兩邊之差小於第三邊的三角形性質，來減少距離的計算。利用上邊的兩個規律，elkan K-Means比起傳統的K-Means迭代速度有很大的提高。但是如果我們的樣本的特徵是稀疏的，有缺失值的話，這個方法就不使用了，此時某些距離無法計算，則不能使用該演算法。

mini-batch

 MiniBatch-KMeans是KMeans演算法的一種變體，它使用mini-batch來減少計算時間，同時仍試圖優化相同的目標函式。mini-batch是輸入資料集的子集，在每次訓練迭代中隨機取樣。它大大減少收斂到區域性最優值所需的計算量，並達到大致相同的效果。

演算法實現

  在本篇主要藉助sklearn包提供的介面來實現kmeans演算法，具體的實現當然我們可以直接看原始碼啦~首先看一下建構函式：

    
    def __init__(self,
                 n_clusters=8,  # 即理論部分的k值
                 init='k-means++',  # 質心初始化方法
                 n_init=10,  # 質心初始化次數，最後結果取結果最好的一個
                 max_iter=300,  # 最大迭代次數
                 tol=1e-4,  # 容忍度，即kmeans執行準則收斂的條件
                 precompute_distances='auto',  # 是否需要提前計算距離,並將其放入記憶體
                 verbose=0,  # 冗長模式，深入看原始碼你會發現和作業系統底層有關，個人認為與演算法本身無關
                 random_state=None,  # 實際上是種子，改引數會傳入check_random_state()函式
                 copy_x=True,  # 當平行計算時，必須為True，為資料建立copy
                 n_jobs=1,  # 平行計算程序數，-1時表示佔滿cpu
                 algorithm='auto'  # ‘auto’, ‘full’, ‘elkan’, 其中 'full’表示用EM方式實現,即傳統的kmeans演算法計算距離
                )

  上面這些引數可以一一對應到上面講的理論部分，為了進一步瞭解我們繼續深入，看看一個Kmeans物件有哪些屬性和方法，同樣直接看程式碼：

#! /usr/bin/python
# _*_ coding: utf-8 _*_
__author__ = 'Jeffery'

import numpy as np
from sklearn.cluster import KMeans

data = np.random.rand(100, 3)  # 生成一個隨機資料,shape(100, 3)
estimator = KMeans(n_clusters=3,
                   init='k-means++',
                   n_init=10,
                   max_iter=300,
                   tol=1e-4,
                   precompute_distances='auto', 
                   verbose=0,
                   random_state=None,
                   copy_x=False,
                   n_jobs=1,
                   algorithm='auto') # 對於非稀疏資料，會選擇elkan演算法

estimator.fit(data)  # 聚類

# --------------------屬性-------------------------
# 獲取estimator建構函式中設定的屬性
print('n_clusters:', estimator.n_clusters)
print('init:', estimator.init)
print('max_iter:', estimator.max_iter)
print('tol:', estimator.tol)
print('precompute_distances:', estimator.precompute_distances)
print('verbose:', estimator.verbose)
print('random_state:', estimator.random_state)
print('copy_x:', estimator.copy_x)
print('n_jobs:', estimator.n_jobs)
print('algorithm:', estimator.algorithm)
print('n_init:', estimator.n_init)

# 其他重要屬性
print('n_iter_:', estimator.n_iter_)  # 實際迭代次數
print('cluster_centers_:', estimator.cluster_centers_)  # 獲取聚類中心點結果
print('inertia_:', estimator.inertia_)  # 獲取聚類準則的總和，越小越好
print('labels_:', estimator.labels_)  # 獲取聚類標籤結果
# --------------------函式-------------------------
print('get_params:', estimator.get_params(deep=True))  # 與set_params()相對

# 這裡的介紹先不講 fit()、transform()、fit_transform()、fit_predict()、predict()、score()等函式
# 這些函式放在案例裡面

案例

  這個示例來源於官網，這個示例旨在說明k-means的一些不合適的場景：在前三個圖中，輸入資料不符合k-means所產生的一些隱含假設，結果產生了不希望的聚類結果；在最後一個圖中，k-means返回直觀、合理的簇，儘管大小不均勻。這個示例很簡單，但是一定要充分看到kmeans的應用關鍵，比如k選取的重要性、聚類各向異性資料的侷限性

#! /usr/bin/python
# _*_ coding: utf-8 _*_
__author__ = 'Jeffery'
__date__ = '2018/11/11 13:55'

import numpy as np
import matplotlib.pyplot as plt

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs

plt.figure(figsize=(12, 12))

n_samples = 1500
random_state = 170
X, y = make_blobs(n_samples=n_samples, random_state=random_state)

# Incorrect number of clusters
y_pred = KMeans(n_clusters=2, random_state=random_state).fit_predict(X)

plt.subplot(221)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.title("Incorrect Number of Blobs")

# Anisotropicly distributed data
transformation = [[0.60834549, -0.63667341], [-0.40887718, 0.85253229]]
X_aniso = np.dot(X, transformation)
y_pred = KMeans(n_clusters=3, random_state=random_state).fit_predict(X_aniso)

plt.subplot(222)
plt.scatter(X_aniso[:, 0], X_aniso[:, 1], c=y_pred)
plt.title("Anisotropicly Distributed Blobs")

# Different variance
X_varied, y_varied = make_blobs(n_samples=n_samples,
                                cluster_std=[1.0, 2.5, 0.5],
                                random_state=random_state)
y_pred = KMeans(n_clusters=3, random_state=random_state).fit_predict(X_varied)

plt.subplot(223)
plt.scatter(X_varied[:, 0], X_varied[:, 1], c=y_pred)
plt.title("Unequal Variance")

# Unevenly sized blobs
X_filtered = np.vstack((X[y == 0][:500], X[y == 1][:100], X[y == 2][:10]))
y_pred = KMeans(n_clusters=3,
                random_state=random_state).fit_predict(X_filtered)

plt.subplot(224)
plt.scatter(X_filtered[:, 0], X_filtered[:, 1], c=y_pred)
plt.title("Unevenly Sized Blobs")

plt.show()

在這裡插入圖片描述

寫在篇後

  如果有足夠的時間，K-means將最終收斂，但這可能是區域性最優值，這很大程度上取決於質心的初始化；另外，對於大資料集，可以先做PCA等降維處理（PCA請參考降維技術-PCA），然後再進行聚類，以減少計算資源的消耗以及可能的提升聚類效果。

相關推薦

【機器學習】Kmeans聚類

寫在篇前   Kmeans演算法是一種經典的聚類演算法，屬於無監督學習的範疇。所謂聚類，即指對於給定的一個樣本集，按照樣本之間的距離大小，將樣本集劃分為K個簇，且讓簇內的點儘量緊密的連在一起，而讓簇間的距離儘量的大。 優點： 原理簡單 速度快 對大資料集有比較

【機器學習】---密度聚類從初識到應用

max 一個 eight log div 指定 聚類 空間 mar 一.前述 密度聚類是一種能降噪的算法。 二.相關概念 先看些抽象的概念（官方定義）： 1.：對象O的是與O為中心，為半徑的空間，參數，是用戶指定每個對象的領域半徑值。 2.MinPts（領域密度閥值）：對象

【機器學習】層次聚類

寫在篇前   層次聚類（hierarchical clustering）是一種通用的聚類演算法之一，它通過自下而上合併或自上而下拆分來構建巢狀聚類。這種簇的層次結構表示為樹（或樹狀圖），樹的根匯聚所有樣本，樹的葉子是各個樣本。本篇部落格會簡述層次聚類的原理，重點

【機器學習】常用聚類演算法原型

1. 聚類簡介 在機器學習中，分為監督學習、無監督學習和半監督學習。前一篇部落格中提到的迴歸和分類都屬於監督學習，本文著重探討無監督學習中的聚類演算法。 博主之前看過一些資料，這兩天也翻閱了網上的各大部落格後，也想總結一下，寫一寫聚類相關的知識點，對

機器學習之kMeans聚類

機器學習之kMeans聚類 # -*- coding: utf-8 -*- """ Created on Wed Nov 28 16:23:36 2018 @author: muli """ from sklearn.datasets.samples_generat

機器學習之--kmeans聚類簡單算法實例

rpo src datasets += atp 中心 ets att erp import numpy as np import sklearn.datasets #加載原數據 import matplotlib.pyplot as plt

【機器學習】：Kmeans均值聚類演算法原理(附帶Python程式碼實現)

這個演算法中文名為k均值聚類演算法，首先我們在二維的特殊條件下討論其實現的過程，方便大家理解。 第一步.隨機生成質心 由於這是一個無監督學習的演算法，因此我們首先在一個二維的座標軸下隨機給定一堆點，並隨即給定兩個質心，我們這個演算法的目的就是將這一堆點根據它們自身的座標特徵分為兩類，因此選取了兩個質心，什麼時

【機器學習】DBSCAN Algorithms基於密度的聚類算法

多次 使用 缺點 有效 結束 基於 需要 att 共享 一、算法思想： DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一個比較有代表性的基於密度的聚

【機器學習】接地氣地解釋K-means聚類演算法

       俗話說“物以類聚，人以群分”，這句話在K-means聚類演算法裡面得到了充分的繼承。而K-means演算法的實際應用範圍可謂是大到無法估量，基本可以說，只要你想不到，沒有聚類聚不起來的東西！       &nbs

【機器學習】K-means聚類演算法初探

資料聚類是對於靜態資料分析的一門技術，在許多領域內都被廣泛地應用，包括機器學習、資料探勘、模式識別、影象分析、資訊檢索以及生物資訊等。聚類是把相似的物件通過靜態分類的方法分成不同的組別或者更多的子集，這樣讓在同一個子集中的成員物件都有相似的一些屬性，常見的包括在座標系中

【機器學習】人像識別（三）——K-Means聚類

簡介 　　K-Means聚類是一種非監督的聚類方式，原理參看資料探勘十大演算法 | k-means。 　　 程式碼 import sys import random import numpy as np from sklearn.decomposit

【機器學習】【層次聚類演算法-1】HCA(Hierarchical Clustering Alg)的原理講解 + 示例展示數學求解過程

層次聚類(Hierarchical Clustering)是聚類演算法的一種，通過計算不同類別資料點間的相似度來建立一棵有層次的巢狀聚類樹。在聚類樹中，不同類別的原始資料點是樹的最低層，樹的頂層是一個聚類的根節點。建立聚類樹有自下而上合併和自上而下分裂兩種方法，本篇文章介紹合併方法。層次聚類的合併演算法層次聚

【機器學習】聚類演算法：層次聚類

本文是“漫談 Clustering 系列”中的第 8 篇，參見本系列的其他文章。 系列不小心又拖了好久，其實正兒八經的 blog 也好久沒有寫了，因為比較忙嘛，不過覺得 Hierarchical Clustering 這個話題我能說的東西應該不多，所以還是先寫了吧（我準

王小草【機器學習】筆記--無監督演算法之聚類

標籤（空格分隔）： 王小草機器學習筆記 1. 聚類的概述 存在大量未標註的資料集，即只有特徵，沒有標籤的資料。 根據這些特徵資料計算樣本點之間的相似性。 根據相似性將資料劃分到多個類別中。 使得，同一個類別內的資料相似度大，類別之間的資料相似度小。

【機器學習】聚類演算法：層次聚類、K-means聚類

     所謂聚類，就是將相似的事物聚集在一 起，而將不相似的事物劃分到不同的類別的過程，是資料分析之中十分重要的一種手段。比如古典生物學之中，人們通過物種的形貌特徵將其分門別類，可以說就是 一種樸素的人工聚類。如此，我們就可以將世界上紛繁複雜的資訊，簡化為少數方便人們理解的類別，可以說是人類認知這個

【機器學習】聚類

1. 距離計算   當對一些沒有 Label 的資料進行分類的時候，需要滿足一些的基本性質： 非負性：dist(xi,xj)≥0dist(xi,xj)≥0； 同一性：dist(xi,xj)=0dist(xi,xj)=0，當且僅當 xi=xjxi=xj； 對

【機器學習】筆記之聚類Cluster—— 層次聚類 Hierarchical clustering

什麼是層次聚類Hierarchical clustering? 平面聚類是高效且概念上簡單的，但它有許多缺點。 演算法返回平坦的非結構化簇集合，需要預先指定的簇數目作為輸入並且這個數目是不確定的。 分層聚類（或分層聚類）輸出層次結構，這種結構比平面聚類返回的非結構化聚類

【機器學習】神經網路（一）——多類分類問題

一、問題引入 早在監督學習中我們已經使用Logistic迴歸很好地解決二類分類問題。但現實生活中，更多的是多類分類問題（比如識別10個手寫數字）。本文引入神經網路模型解決多類分類問題。 二、神經網路模型介紹 神經網路模型是一個非常強大的模型，起源於嘗試讓機

【無監督學習】DBSCAN聚類演算法原理介紹，以及程式碼實現

前言：無監督學習想快一點複習完，就轉入有監督學習 聚類演算法主要包括哪些演算法？主要包括：K-m

機器學習sklearn19.0聚類演算法——Kmeans演算法

一、關於聚類及相似度、距離的知識點 二、k-means演算法思想與流程 三、sklearn中對於kmeans演算法的引數 四、程式碼示例以及應用的知識點簡介 （1）make_blobs：聚類資料生成器 sklearn.datasets.m