基本思想

　k-means演算法需要事先指定簇的個數k，演算法開始隨機選擇k個記錄點作為中心點，然後遍歷整個資料集的各條記錄，將每條記錄歸到離它最近的中心點所在的簇中，之後以各個簇的記錄的均值中心點取代之前的中心點，然後不斷迭代，直到收斂，演算法描述如下：

　　上面說的收斂，可以看出兩方面，一是每條記錄所歸屬的簇不再變化，二是優化目標變化不大。演算法的時間複雜度是O(K*N*T)，k是中心點個數，N資料集的大小，T是迭代次數。

優化目標

　　k-means的損失函式是平方誤差：

　　其中表示第k個簇，表示第k個簇的中心點，是第k個簇的損失函式，表示整體的損失函式。優化目標就是選擇恰當的記錄歸屬方案，使得整體的損失函式最小。

中心點的選擇

　　k-meams演算法的能夠保證收斂，但不能保證收斂於全域性最優點，當初始中心點選取不好時，只能達到區域性最優點，整個聚類的效果也會比較差。可以採用以下方法：k-means中心點

　　1、選擇彼此距離儘可能遠的那些點作為中心點；

　　2、先採用層次進行初步聚類輸出k個簇，以簇的中心點的作為k-means的中心點的輸入。

　　3、多次隨機選擇中心點訓練k-means，選擇效果最好的聚類結果

k值的選取

　　k-means的誤差函式有一個很大缺陷，就是隨著簇的個數增加，誤差函式趨近於0，最極端的情況是每個記錄各為一個單獨的簇，此時資料記錄的誤差為0，但是這樣聚類結果並不是我們想要的，可以引入結構風險對模型的複雜度進行懲罰：

　　是平衡訓練誤差與簇的個數的引數，但是現在的問題又變成了如何選取了，有研究[參考文獻1]指出，在資料集滿足高斯分佈時，，其中m是向量的維度。

　　另一種方法是按遞增的順序嘗試不同的k值，同時畫出其對應的誤差值，通過尋求拐點來找到一個較好的k值，詳情見下面的文字聚類的例子。 

k-means文字聚類

　　我爬取了36KR的部分文章，共1456篇，分詞後使用sklearn進行k-means聚類。分詞後資料記錄如下：

 　　使用TF-IDF進行特徵詞的選取，下圖是中心點的個數從3到80對應的誤差值的曲線：

　　從上圖中在k=10處出現一個較明顯的拐點，因此選擇k=10作為中心點的個數，下面是10個簇的資料集的個數。

{0: 152, 1: 239, 2: 142, 3: 61, 4: 119, 5: 44, 6: 71, 7: 394, 8: 141, 9: 93}

簇標籤生成

　　聚類完成後，我們需要一些標籤來描述簇，聚類完後，相當於每個類都用一個類標，這時候可以用TFIDF、互資訊、卡方等方法來選取特徵詞作為標籤。關於卡方和互資訊特徵提取可以看我之前的文章文字特徵選擇，下面是10個類的tfidf標籤結果。

Cluster 0: 商家 商品 物流 品牌 支付 導購 網站 購物 平臺 訂單
Cluster 1: 投資 融資 美元 公司 資本 市場 獲得 國內 中國 去年
Cluster 2: 手機 智慧 硬體 裝置 電視 運動 資料 功能 健康 使用
Cluster 3: 資料 平臺 市場 學生 app 移動 資訊 公司 醫生 教育
Cluster 4: 企業 招聘 人才 平臺 公司 it 移動 網站 安全 資訊
Cluster 5: 社交 好友 交友 寵物 功能 活動 朋友 基於 分享 遊戲
Cluster 6: 記賬 理財 貸款 銀行 金融 p2p 投資 網際網路 基金 公司
Cluster 7: 任務 協作 企業 銷售 溝通 工作 專案 管理 工具 成員
Cluster 8: 旅行 旅遊 酒店 預訂 資訊 城市 投資 開放 app 需求
Cluster 9: 視訊 內容 遊戲 音樂 圖片 照片 廣告 閱讀 分享 功能

實現程式碼

#!--encoding=utf-8

from __future__ import print_function
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import HashingVectorizer
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans, MiniBatchKMeans


def loadDataset():
    '''匯入文字資料集'''
    f = open('36krout.txt','r')
    dataset = []
    lastPage = None
    for line in f.readlines():
        if '< title >' in line and '< / title >' in line:
            if lastPage:
                dataset.append(lastPage)
            lastPage = line
        else:
            lastPage += line
    if lastPage:
        dataset.append(lastPage)
    f.close()
    return dataset

def transform(dataset,n_features=1000):
    vectorizer = TfidfVectorizer(max_df=0.5, max_features=n_features, min_df=2,use_idf=True)
    X = vectorizer.fit_transform(dataset)
    return X,vectorizer

def train(X,vectorizer,true_k=10,minibatch = False,showLable = False):
    #使用取樣資料還是原始資料訓練k-means，    
    if minibatch:
        km = MiniBatchKMeans(n_clusters=true_k, init='k-means++', n_init=1,
                             init_size=1000, batch_size=1000, verbose=False)
    else:
        km = KMeans(n_clusters=true_k, init='k-means++', max_iter=300, n_init=1,
                    verbose=False)
    km.fit(X)    
    if showLable:
        print("Top terms per cluster:")
        order_centroids = km.cluster_centers_.argsort()[:, ::-1]
        terms = vectorizer.get_feature_names()
        print (vectorizer.get_stop_words())
        for i in range(true_k):
            print("Cluster %d:" % i, end='')
            for ind in order_centroids[i, :10]:
                print(' %s' % terms[ind], end='')
            print()
    result = list(km.predict(X))
    print ('Cluster distribution:')
    print (dict([(i, result.count(i)) for i in result]))
    return -km.score(X)
    
def test():
    '''測試選擇最優引數'''
    dataset = loadDataset()    
    print("%d documents" % len(dataset))
    X,vectorizer = transform(dataset,n_features=500)
    true_ks = []
    scores = []
    for i in xrange(3,80,1):        
        score = train(X,vectorizer,true_k=i)/len(dataset)
        print (i,score)
        true_ks.append(i)
        scores.append(score)
    plt.figure(figsize=(8,4))
    plt.plot(true_ks,scores,label="error",color="red",linewidth=1)
    plt.xlabel("n_features")
    plt.ylabel("error")
    plt.legend()
    plt.show()
    
def out():
    '''在最優引數下輸出聚類結果'''
    dataset = loadDataset()
    X,vectorizer = transform(dataset,n_features=500)
    score = train(X,vectorizer,true_k=10,showLable=True)/len(dataset)
    print (score)
#test()
out()