K均值聚類--利用k-means演算法分析NBA近四年球隊實力
阿新 • • 發佈：2019-01-04
分類作為一種監督學習方法，要求必須事先明確知道各個類別的資訊，並且斷言所有待分類項都有一個類別與之對應。但是很多時候上述條件得不到滿足，尤其是在處理海量資料的時候，如果通過預處理使得資料滿足分類演算法的要求，則代價非常大，這時候可以考慮使用聚類演算法。聚類屬於無監督學習，相比於分類，聚類不依賴預定義的類和類標號的訓練例項。本文首先介紹聚類的基礎——距離與相異度，然後介紹一種常見的聚類演算法——k-means演算法，並利用k-means演算法分析NBA近四年球隊實力。因為本人比較喜歡觀看NBA比賽，所以用這個當做例子了，通過這個例子大家可以用到各種實際的生活和生產環境中。
在正式討論聚類前，我們要先弄清楚一個問題：如何定量計算兩個可比較元素間的相異度。用通俗的話說，相異度就是兩個東西差別有多大，例如人類與章魚的相異度明顯大於人類與
設
，其中X，Y是兩個元素項，各自具有n個可度量特徵屬性，那麼X和Y的相異度定義為：=f(X,Y)%20%5Cto%20R "d(X,Y)=f(X,Y) \to R")
，其中R為實數域。也就是說相異度是兩個元素對實數域的一個對映，所對映的實數定量表示兩個元素的相異度。下面介紹不同型別變數相異度計算方法：
1.標量
標量也就是無方向意義的數字，也叫標度變數。現在先考慮元素的所有特徵屬性都是標量的情況。例如，計算X={2,1,102}和Y={1,3,2}的相異度。一種很自然的想法是用兩者的歐幾里得距離來作為相異度，歐幾里得距離的定義如下：
=%5Csqrt%7B(x_1-y_1)%5E2+(x_2-y_2)%5E2+...+(x_n-y_n)%5E2%7D "d(X,Y)=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2+...+(x_n-y_n)^2}")
其意義就是兩個元素在歐氏空間中的集合距離，因為其直觀易懂且可解釋性強，被廣泛用於標識兩個標量元素的相異度。將上面兩個示例資料代入公式，可得兩者的歐氏距離為：
=%5Csqrt%7B(2-1)%5E2+(1-3)%5E2+(102-2)%5E2%7D=100.025 "d(X,Y)=\sqrt{(2-1)^2+(1-3)^2+(102-2)^2}=100.025")
除歐氏距離外，常用作度量標量相異度的還有曼哈頓距離和閔可夫斯基距離，兩者定義如下：
曼哈頓距離：=%7Cx_1-y_1%7C+%7Cx_2-y_2%7C+...+%7Cx_n-y_n%7C "d(X,Y)=|x_1-y_1|+|x_2-y_2|+...+|x_n-y_n|")
閔可夫斯基距離：=%5Csqrt%5Bp%5D%7B%7Cx_1-y_1%7C%5Ep+%7Cx_2-y_2%7C%5Ep+...+%7Cx_n-y_n%7C%5Ep%7D "d(X,Y)=\sqrt[p]{(x_1-y_1)^p+(x_2-y_2)^p+...+(x_n-y_n)^p}")
歐氏距離和曼哈頓距離可以看做是閔可夫斯基距離在p=2和p=1下的特例。另外這三種距離都可以加權，這個很容易理解，不再贅述。
下面要說一下標量的規格化問題。上面這樣計算相異度的方式有一點問題，就是取值範圍大的屬性對距離的影響高於取值範圍小的屬性。例如上述例子中第三個屬性的取值跨度遠大於前兩個，這樣不利於真實反映真實的相異度，為了解決這個問題，一般要對屬性值進行規格化。所謂規格化就是將各個屬性值按比例對映到相同的取值區間，這樣是為了平衡各個屬性對距離的影響。通常將各個屬性均對映到[0,1]區間，對映公式為：
%7D%7Bmax(a_i)-min(a_i)%7D "{a}'_i=\frac{a_i-min(a_i)}{max(a_i)-min(a_i)}")
其中max(ai)和min(ai)表示所有元素項中第i個屬性的最大值和最小值。例如，將示例中的元素規格化到[0,1]區間後，就變成了X’={1,0,1}，Y’={0,1,0}，重新計算歐氏距離約為1.732。
2.二次變數
所謂二元變數是隻能取0和1兩種值變數，有點類似布林值，通常用來標識是或不是這種二值屬性。對於二元變數，上一節提到的距離不能很好標識其相異度，我們需要一種更適合的標識。一種常用的方法是用元素相同序位同值屬性的比例來標識其相異度。
設有X={1,0,0,0,1,0,1,1}，Y={0,0,0,1,1,1,1,1}，可以看到，兩個元素第2、3、5、7和8個屬性取值相同，而第1、4和6個取值不同，那麼相異度可以標識為3/8=0.375。一般的，對於二元變數，相異度可用“取值不同的同位屬性數/單個元素的屬性位數”標識。
上面所說的相異度應該叫做對稱二元相異度。現實中還有一種情況，就是我們只關心兩者都取1的情況，而認為兩者都取0的屬性並不意味著兩者更相似。例如在根據病情對病人聚類時，如果兩個人都患有肺癌，我們認為兩個人增強了相似度，但如果兩個人都沒患肺癌，並不覺得這加強了兩人的相似性，在這種情況下，改用“取值不同的同位屬性數/(單個元素的屬性位數-同取0的位數)”來標識相異度，這叫做非對稱二元相異度。如果用1減去非對稱二元相異度，則得到非對稱二元相似度，也叫Jaccard係數，是一個非常重要的概念。
3.分類變數
分類變數是二元變數的推廣，類似於程式中的列舉變數，但各個值沒有數字或序數意義，如顏色、民族等等，對於分類變數，用“取值不同的同位屬性數/單個元素的全部屬性數”來標識其相異度。
4.序數變數
序數變數是具有序數意義的分類變數，通常可以按照一定順序意義排列，如冠軍、亞軍和季軍。對於序數變數，一般為每個值分配一個數，叫做這個值的秩，然後以秩代替原值當做標量屬性計算相異度。
5.向量
對於向量，由於它不僅有大小而且有方向，所以閔可夫斯基距離不是度量其相異度的好辦法，一種流行的做法是用兩個向量的餘弦度量，其度量公式為：
=%5Cfrac%7BX%5EtY%7D%7B%7C%7CX%7C%7C%7C%7CY%7C%7C%7D "s(X,Y)=\frac{X^tY}{||X||||Y||}")
其中||X||表示X的歐幾里得範數。要注意，餘弦度量度量的不是兩者的相異度，而是相似度！
討論完相異度,我們可以正式定義聚類問題,所謂聚類問題，就是給定一個元素集合D，其中每個元素具有n個可觀察屬性，使用某種演算法將D劃分成k個子集，要求每個子集內部的元素之間相異度儘可能低，而不同子集的元素相異度儘可能高。其中每個子集叫做一個簇。與分類不同，分類是示例式學習，要求分類前明確各個類別，並斷言每個元素對映到一個類別，而聚類是觀察式學習，在聚類前可以不知道類別甚至不給定類別數量，是無監督學習的一種。目前聚類廣泛應用於統計學、生物學、資料庫技術和市場營銷等領域，相應的演算法也非常的多。本文僅介紹一種最簡單的聚類演算法——k均值（k-means）演算法。
在正式討論聚類前，我們要先弄清楚一個問題：如何定量計算兩個可比較元素間的相異度。用通俗的話說，相異度就是兩個東西差別有多大，例如人類與章魚的相異度明顯大於人類與
設
1.標量
標量也就是無方向意義的數字，也叫標度變數。現在先考慮元素的所有特徵屬性都是標量的情況。例如，計算X={2,1,102}和Y={1,3,2}的相異度。一種很自然的想法是用兩者的歐幾里得距離來作為相異度，歐幾里得距離的定義如下：
其意義就是兩個元素在歐氏空間中的集合距離，因為其直觀易懂且可解釋性強，被廣泛用於標識兩個標量元素的相異度。將上面兩個示例資料代入公式，可得兩者的歐氏距離為：
除歐氏距離外，常用作度量標量相異度的還有曼哈頓距離和閔可夫斯基距離，兩者定義如下：
曼哈頓距離：
閔可夫斯基距離：
歐氏距離和曼哈頓距離可以看做是閔可夫斯基距離在p=2和p=1下的特例。另外這三種距離都可以加權，這個很容易理解，不再贅述。
下面要說一下標量的規格化問題。上面這樣計算相異度的方式有一點問題，就是取值範圍大的屬性對距離的影響高於取值範圍小的屬性。例如上述例子中第三個屬性的取值跨度遠大於前兩個，這樣不利於真實反映真實的相異度，為了解決這個問題，一般要對屬性值進行規格化。所謂規格化就是將各個屬性值按比例對映到相同的取值區間，這樣是為了平衡各個屬性對距離的影響。通常將各個屬性均對映到[0,1]區間，對映公式為：
其中max(ai)和min(ai)表示所有元素項中第i個屬性的最大值和最小值。例如，將示例中的元素規格化到[0,1]區間後，就變成了X’={1,0,1}，Y’={0,1,0}，重新計算歐氏距離約為1.732。
2.二次變數
所謂二元變數是隻能取0和1兩種值變數，有點類似布林值，通常用來標識是或不是這種二值屬性。對於二元變數，上一節提到的距離不能很好標識其相異度，我們需要一種更適合的標識。一種常用的方法是用元素相同序位同值屬性的比例來標識其相異度。
設有X={1,0,0,0,1,0,1,1}，Y={0,0,0,1,1,1,1,1}，可以看到，兩個元素第2、3、5、7和8個屬性取值相同，而第1、4和6個取值不同，那麼相異度可以標識為3/8=0.375。一般的，對於二元變數，相異度可用“取值不同的同位屬性數/單個元素的屬性位數”標識。
上面所說的相異度應該叫做對稱二元相異度。現實中還有一種情況，就是我們只關心兩者都取1的情況，而認為兩者都取0的屬性並不意味著兩者更相似。例如在根據病情對病人聚類時，如果兩個人都患有肺癌，我們認為兩個人增強了相似度，但如果兩個人都沒患肺癌，並不覺得這加強了兩人的相似性，在這種情況下，改用“取值不同的同位屬性數/(單個元素的屬性位數-同取0的位數)”來標識相異度，這叫做非對稱二元相異度。如果用1減去非對稱二元相異度，則得到非對稱二元相似度，也叫Jaccard係數，是一個非常重要的概念。
3.分類變數
分類變數是二元變數的推廣，類似於程式中的列舉變數，但各個值沒有數字或序數意義，如顏色、民族等等，對於分類變數，用“取值不同的同位屬性數/單個元素的全部屬性數”來標識其相異度。
4.序數變數
序數變數是具有序數意義的分類變數，通常可以按照一定順序意義排列，如冠軍、亞軍和季軍。對於序數變數，一般為每個值分配一個數，叫做這個值的秩，然後以秩代替原值當做標量屬性計算相異度。
5.向量
對於向量，由於它不僅有大小而且有方向，所以閔可夫斯基距離不是度量其相異度的好辦法，一種流行的做法是用兩個向量的餘弦度量，其度量公式為：
其中||X||表示X的歐幾里得範數。要注意，餘弦度量度量的不是兩者的相異度，而是相似度！
討論完相異度,我們可以正式定義聚類問題,所謂聚類問題，就是給定一個元素集合D，其中每個元素具有n個可觀察屬性，使用某種演算法將D劃分成k個子集，要求每個子集內部的元素之間相異度儘可能低，而不同子集的元素相異度儘可能高。其中每個子集叫做一個簇。與分類不同，分類是示例式學習，要求分類前明確各個類別，並斷言每個元素對映到一個類別，而聚類是觀察式學習，在聚類前可以不知道類別甚至不給定類別數量，是無監督學習的一種。目前聚類廣泛應用於統計學、生物學、資料庫技術和市場營銷等領域，相應的演算法也非常的多。本文僅介紹一種最簡單的聚類演算法——k均值（k-means）演算法。