機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1

阿新 • • 發佈：2018-12-13

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）

非監督學習方法主要分為兩大類

Dimension Reduction (化繁為簡)
Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，無中生有（GAN為代表的）方法，以後關注。

1. Clustering

• K-means 演算法經典的非監督根據距離分類演算法：在這裡插入圖片描述

Hierarchical Agglomerative Clustering (HAC) 根據資料兩兩間的相似度，進行建立一棵樹，進行分類

2. 分佈的重表示 Distributed Representation

在這裡插入圖片描述

我們主要介紹Principle Component Analysis（PCA）：需要找到W， $? = ??$ 降低維度到 1-D:

（1）線性代數表示 在這裡插入圖片描述使得投影的結果的方差最大化多維度投影中w1和w2是正交的數學化證明，PCA與協方差有關最大化 $(w^{1})^{T} cov(x)w^{1}$ 因為S是對稱矩陣，是半正定，特徵值非負。使用拉格朗日乘子法： $w^{1}$ 是特徵向量， $\lambda_{1}$ 是最大的特徵值同理：在這裡插入圖片描述 $w^{2}$ 是特徵向量， $\lambda_{2}$ 是第二大的特徵值

PCA去相關性舉例：在這裡插入圖片描述 （2）另一種視角看PCA 舉例：手寫數字是由基本的圖片元素組成那麼7是由以下圖片元素組成

在這裡插入圖片描述我們有： PCA可以看看做是特殊的神經網路，元素間是正交的

機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）非監督學習方法主要分為兩大類 Dimension Reduction (化繁為簡) Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，

機器學習與深度學習系列連載：第一部分機器學習（十五）非監督度學習-2 Unsupervised Learning-2（Neighbor Embedding）

臨近編碼 Neighbor Embedding 在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。那我們就開始上演算法 1. Locally Linear Embedding (LLE) 我

機器學習與深度學習系列連載：第一部分機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）

生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家

機器學習與深度學習系列連載：第一部分機器學習（五）生成概率模型（Generative Model）

生成概率模型（Generative Model） 1.概率分佈我們還是從分類問題說起：當我們把問題問題看做是一個迴歸問題，分類是class 1 的時候結果是1 分類為class 2的時候結果是-1；測試的時候，結果接近1的是class1

機器學習與深度學習系列連載：第一部分機器學習（九）支援向量機2（Support Vector Machine）

另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類

機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）

決策樹2 決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法劃分選擇 vs 剪枝剪枝 (pruning) 是決策樹對付“過擬合”的主要手段！基本策略：預剪枝 (pre-pruning): 提前終止某些分支的生長後剪枝 (post-pr

機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標

機器學習與深度學習系列連載：第一部分機器學習（十二）整合學習（Ensemble）

整合學習（Ensemble） 1. Bagging 我們考慮當結果的 variance 很大，如果降低 variance。我們可以考慮“平行宇宙”，不同的training set 中生成不同的模型，然後做平均或者voting。 2. Decision Tre

機器學習與深度學習系列連載：第一部分機器學習（一）導論

什麼是機器學習？ 1.機器學習==尋找一種函式這個函式可以：語音識別:輸入一段語音訊號，輸出文字 ff()="howareyou"="howareyou" 影象識別:輸入圖片，輸出圖片的屬性 ff( )=“cat”=“cat” 智

機器學習與深度學習系列連載：第一部分機器學習（四）誤差分析（Bias and Variance）和模型調優

1.誤差分析（Bias and Variance）當我們以非常複雜的模型去進行測試的時候，可能得到的結果並不理想影響結果的主要有兩個因素：Bias 偏差、Variance 方差 Bias 偏差在這裡，我們定義偏差是指與目標結果的偏移量，這個偏

機器學習與深度學習系列連載：第一部分機器學習（十八）模型評估

模型評估模型評估中有三個關鍵問題：  如何獲得測試結果？評估方法  如何評估效能優劣？效能度量  如何判斷實質差別？比較檢驗 2. 效能度量(performance measure)是衡量模型泛化能力的評價標準，反映了任務需求（1

機器學習與深度學習系列連載：第二部分深度學習(二）梯度下降

梯度下降 Gradient Decent 我們回憶深度學習“三板斧”，選擇神經網路定義神經網路的好壞選擇最好的引數集合其中步驟三，如何選擇神經網路的好壞呢？梯度下降是目前，最有效的方法之一。方法：我們舉兩個引數的例子

機器學習與深度學習系列連載：第二部分深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）

深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B

機器學習與深度學習系列連載：第二部分深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）

迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。主要思路是： •

機器學習與深度學習系列連載：第二部分深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）

迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )

機器學習與深度學習系列連載：第二部分深度學習（十三）迴圈神經網路 1（Recurre Neural Network 基本概念）

迴圈神經網路 1（Recurre Neural Network 基本概念）迴圈神經網路的特點： • RNNs 在每個時間點連線引數值，引數只有一份 • 神經網路出了輸入以外，還會建立在以前的“記憶”的基礎上 • 記憶體的要求與輸入的規模有關當然，他的深度不只有一層：

機器學習與深度學習系列連載：第二部分深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）

卷積神經網路 3 經典的模型經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模

機器學習與深度學習系列連載：第二部分深度學習（十一）卷積神經網路 2 Why CNN for Image？

卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？原因是：一個神經元無法看到整張圖片能夠聯絡到小的區域，並且引數更少圖片壓縮畫素不改變圖片內容 1. CNN 的特點卷積：一些卷積核遠遠小於圖片大小；同樣的pat

機器學習與深度學習系列連載：第二部分深度學習（十）卷積神經網路 1 Convolutional Neural Networks

卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。卷積神經網路的靈感來自50年代的諾貝爾生物學獎

機器學習與深度學習系列連載：第二部分深度學習（九）Keras- “hello world” of deep learning

Keras Kearas 是深度學習小白程式碼入門的最佳工具之一。如果想提升、練習程式碼能力，還是建議演算法徒手python實現。複雜的深度神經網路專案還是推薦TensorFlow或者Pytorch Keras是一個高層神經網路API，Keras由純Pyt

機器學習與深度學習系列連載： 第一部分 機器學習（十四）非監督度學習-1 Unsupervised Learning-1

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）

1. Clustering

2. 分佈的重表示 Distributed Representation

相關推薦

機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1