1. 程式人生 > >連續資料離散化

連續資料離散化

#資料規範化
import pandas as pd

datafile = 'eeeee/chapter4/demo/data/discretization_data.xls' #引數初始化
data = pd.read_excel(datafile) #讀取資料
data = data[u'肝氣鬱結證型係數'].copy()
k = 4

#等寬離散化
d1 = pd.cut(data, k, labels = range(k)) #,各個類比依次命名為0,1,2,3

#等頻率離散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4
:4+k+1] #使用describe函式自動計算分位數 w[0] = w[0]*(1-1e-10) d2 = pd.cut(data, w, labels = range(k)) #聚類離散化 from sklearn.cluster import KMeans #引入KMeans kmodel = KMeans(n_clusters = k, n_jobs = 4) #建立模型,n_jobs是並行數,一般等於CPU數較好 kmodel.fit(data.reshape((len(data), 1))) #訓練模型 c = pd.DataFrame(kmodel.cluster_centers_).sort(0
) #輸出聚類中心,並且排序(預設是隨機序的) w = pd.rolling_mean(c, 2).iloc[1:] #相鄰兩項求中點,作為邊界點 w = [0] + list(w[0]) + [data.max()] #把首末邊界點加上 d3 = pd.cut(data, w, labels = range(k)) def cluster_plot(d, k): #自定義作圖函式來顯示聚類結果 import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標籤 plt.rcParams['axes.unicode_minus'
] = False #用來正常顯示負號 plt.figure(figsize = (8, 3)) for j in range(0, k): plt.plot(data[d==j], [j for i in d[d==j]], 'o') plt.ylim(-0.5, k-0.5) return plt cluster_plot(d1, k).show() cluster_plot(d2, k).show() cluster_plot(d3, k).show()