第八週(無監督學習)-【機器學習-Coursera Machine Learning-吳恩達】
阿新 • • 發佈:2018-11-26
目錄
K-means演算法
PCA(主成分分析)
a 選擇聚類中心
b 迭代優化分二步
- 針對每一個樣本劃分到所屬聚類中心
- 針對每一個聚類,重新選取聚類中心(某一類所有點座標的平均值即為新的聚類中心)
2) 優化目標 J :
每一個樣本到它所屬的聚類中心的距離的平方
3) 隨機初始化中心
區域性最優情況: 正確情況:
為了避免得到區域性最優值,可以多次執行演算法,每次隨機不同的聚類中心,最後在得到的眾多聚類方法中選擇一個代價最低的。
4) 選擇聚類數量
一般根據實際情況,或觀察,或肘部法則
錯題
選D
PCA:尋找投影子空間使投影誤差最小
降到k維,則在所有空間中利用k個向量尋找投影子空間,使投影誤差最小 1)PCA演算法
- 預處理,均一化/特徵縮放: x —> x-u(u為所有樣本平均值)
- 計算 協方差矩陣,利用奇異值分解 svd
- 降維 matlab實現: Sigma = 1/m * X'* X;
[U, S, V] = svd(Sigma);
U_reduce = U(:, 1:K);
Z =X * U_reduce;
2)降維之後的還原
U_reduce = U(:, 1:K);
X_rec = Z * U_reduce';
3)選擇維數k
降低緯度,保持差異性
簡便些:
錯題:
K-means演算法
PCA(主成分分析)
1 K-means
1)演算法原理:a 選擇聚類中心
b 迭代優化分二步
- 針對每一個樣本劃分到所屬聚類中心
- 針對每一個聚類,重新選取聚類中心(某一類所有點座標的平均值即為新的聚類中心)
2) 優化目標 J :
每一個樣本到它所屬的聚類中心的距離的平方
3) 隨機初始化中心
區域性最優情況: 正確情況:
為了避免得到區域性最優值,可以多次執行演算法,每次隨機不同的聚類中心,最後在得到的眾多聚類方法中選擇一個代價最低的。
4) 選擇聚類數量
一般根據實際情況,或觀察,或肘部法則
錯題
選D
2 主成分分析(PCA)
維度減約動機:資料壓縮、資料視覺化PCA:尋找投影子空間使投影誤差最小
降到k維,則在所有空間中利用k個向量尋找投影子空間,使投影誤差最小 1)PCA演算法
- 預處理,均一化/特徵縮放: x —> x-u(u為所有樣本平均值)
- 計算 協方差矩陣,利用奇異值分解 svd
- 降維 matlab實現: Sigma = 1/m * X'* X;
[U, S, V] = svd(Sigma);
U_reduce = U(:, 1:K);
Z =X * U_reduce;
2)降維之後的還原
U_reduce = U(:, 1:K);
X_rec = Z * U_reduce';
3)選擇維數k
降低緯度,保持差異性
簡便些:
錯題: