機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）

阿新 • • 發佈：2018-12-13

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。

Transductive learning：沒有標籤的資料是測試資料
Inductive learning：沒有標籤的資料不是測試資料為什麼沒有標籤的資料會幫助我們學習呢？是因為沒有標籤資料的分佈可能會告訴我們一些潛在的規律。

1.半監督生成模型 Semi-supervised Learning for Generative Model

我們回憶一下監督學習的生成模型，計算先驗概率，然後通過概率模型估計，計算分類概率。在這裡插入圖片描述那半監督的概率生成模型是：

尋找概率最大的 $P(C_{i})$ 和 $P(x|C_{i})$
$P(x|C_{i})$ 符合高斯分佈演算法流程如下，但是最後的結果影響與初始值的初始化，結構和EM演算法類似

2. 低密度分割 Low-density Separation

大原則：非黑即白 （1）Self-training 在這裡插入圖片描述 （2）Entropy-based Regularization 我們估計的分佈函式，如何衡量他的好壞所以我們讓他越小越好：考慮到了Entropy因素，Loss函式最後可以寫成

（3）Semi-supervised SVM

semi-SVM 中，我們假設沒有標籤的資料可以任意標註在這裡插入圖片描述

我們取margin 最大的和error最小的在這裡插入圖片描述

3. 平滑性假設 Smoothness Assumption

近朱者赤，近墨者黑

假設：相似的x 有著相同的分類

x 並不是uniform 統一的
如果 $x_{1}$ 和 $x_{2}$ 在高密度區域中相似，那麼他們的結果也就y_{1} $和$ y_{2}$一致

在這裡插入圖片描述（1）聚類，然後標註 Cluster and then Label （2）以圖為基礎的方法 Graph-based Approach

在這裡插入圖片描述很顯然，當圖中的點能走通，說明是一類。建立圖的方法（ Graph Construction）：

定義 $x_{i}$ 和 $x_{j}$ 的相似度s( $x_{i}$ , $x_{j}$ )
加入邊edge K Nearest Neighbor e-Neighborhood
- edge 的權重與s( $x_{i}$ , $x_{j}$ )稱比例

s( $x_{i}$ , $x_{j}$ )一般表示為Gaussian Radial Basis Function:：在這裡插入圖片描述

定義圖的平滑程度 Define the smoothness of the labels s 越小越平滑：如果我們定義s為：

4. Better Representation

去蕪存菁，化繁為簡具體內容我們再降維的章節介紹。（下一節）

機器學習與深度學習系列連載：第一部分機器學習（五）生成概率模型（Generative Model）

生成概率模型（Generative Model） 1.概率分佈我們還是從分類問題說起：當我們把問題問題看做是一個迴歸問題，分類是class 1 的時候結果是1 分類為class 2的時候結果是-1；測試的時候，結果接近1的是class1

機器學習與深度學習系列連載：第一部分機器學習（九）支援向量機2（Support Vector Machine）

另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類

機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）

決策樹2 決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法劃分選擇 vs 剪枝剪枝 (pruning) 是決策樹對付“過擬合”的主要手段！基本策略：預剪枝 (pre-pruning): 提前終止某些分支的生長後剪枝 (post-pr

機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標

機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）非監督學習方法主要分為兩大類 Dimension Reduction (化繁為簡) Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，

機器學習與深度學習系列連載：第一部分機器學習（十五）非監督度學習-2 Unsupervised Learning-2（Neighbor Embedding）

臨近編碼 Neighbor Embedding 在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。那我們就開始上演算法 1. Locally Linear Embedding (LLE) 我

機器學習與深度學習系列連載：第一部分機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）

生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家

機器學習與深度學習系列連載：第一部分機器學習（十二）整合學習（Ensemble）

整合學習（Ensemble） 1. Bagging 我們考慮當結果的 variance 很大，如果降低 variance。我們可以考慮“平行宇宙”，不同的training set 中生成不同的模型，然後做平均或者voting。 2. Decision Tre

機器學習與深度學習系列連載：第一部分機器學習（一）導論

什麼是機器學習？ 1.機器學習==尋找一種函式這個函式可以：語音識別:輸入一段語音訊號，輸出文字 ff()="howareyou"="howareyou" 影象識別:輸入圖片，輸出圖片的屬性 ff( )=“cat”=“cat” 智

機器學習與深度學習系列連載：第一部分機器學習（四）誤差分析（Bias and Variance）和模型調優

1.誤差分析（Bias and Variance）當我們以非常複雜的模型去進行測試的時候，可能得到的結果並不理想影響結果的主要有兩個因素：Bias 偏差、Variance 方差 Bias 偏差在這裡，我們定義偏差是指與目標結果的偏移量，這個偏

機器學習與深度學習系列連載：第一部分機器學習（十八）模型評估

模型評估模型評估中有三個關鍵問題：  如何獲得測試結果？評估方法  如何評估效能優劣？效能度量  如何判斷實質差別？比較檢驗 2. 效能度量(performance measure)是衡量模型泛化能力的評價標準，反映了任務需求（1

機器學習與深度學習系列連載：第二部分深度學習(二）梯度下降

梯度下降 Gradient Decent 我們回憶深度學習“三板斧”，選擇神經網路定義神經網路的好壞選擇最好的引數集合其中步驟三，如何選擇神經網路的好壞呢？梯度下降是目前，最有效的方法之一。方法：我們舉兩個引數的例子

機器學習與深度學習系列連載：第二部分深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）

深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B

機器學習與深度學習系列連載：第二部分深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）

迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。主要思路是： •

機器學習與深度學習系列連載：第二部分深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）

迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )

機器學習與深度學習系列連載：第二部分深度學習（十三）迴圈神經網路 1（Recurre Neural Network 基本概念）

迴圈神經網路 1（Recurre Neural Network 基本概念）迴圈神經網路的特點： • RNNs 在每個時間點連線引數值，引數只有一份 • 神經網路出了輸入以外，還會建立在以前的“記憶”的基礎上 • 記憶體的要求與輸入的規模有關當然，他的深度不只有一層：

機器學習與深度學習系列連載：第二部分深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）

卷積神經網路 3 經典的模型經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模

機器學習與深度學習系列連載：第二部分深度學習（十一）卷積神經網路 2 Why CNN for Image？

卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？原因是：一個神經元無法看到整張圖片能夠聯絡到小的區域，並且引數更少圖片壓縮畫素不改變圖片內容 1. CNN 的特點卷積：一些卷積核遠遠小於圖片大小；同樣的pat

機器學習與深度學習系列連載：第二部分深度學習（十）卷積神經網路 1 Convolutional Neural Networks

卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。卷積神經網路的靈感來自50年代的諾貝爾生物學獎

機器學習與深度學習系列連載：第二部分深度學習（九）Keras- “hello world” of deep learning

Keras Kearas 是深度學習小白程式碼入門的最佳工具之一。如果想提升、練習程式碼能力，還是建議演算法徒手python實現。複雜的深度神經網路專案還是推薦TensorFlow或者Pytorch Keras是一個高層神經網路API，Keras由純Pyt

機器學習與深度學習系列連載： 第一部分 機器學習（十三）半監督學習（semi-supervised learning）

1.半監督生成模型 Semi-supervised Learning for Generative Model

2. 低密度分割 Low-density Separation

3. 平滑性假設 Smoothness Assumption

4. Better Representation

相關推薦

機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）