機器學習與深度學習系列連載：第一部分機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）

阿新 • • 發佈：2018-12-13

生成模型 Generative Models

用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理）

1. Pixel RNN

RNN目前還沒有介紹，，以後會重點講解，大家目前認為他是一個神經網路即可在這裡插入圖片描述舉例：用Pixel RNN 生成怪物精靈；我們首先進行配色編碼：然後遮蓋部門圖片，進行圖片生成

2. Variational AutoEncoder(VAE)

(1) 首先我們先看看AutoEncoder的缺點：如圖，AutoEncoder能夠生成滿月和玄月之間的月亮的圖片嗎，答案是不行。因為兩個圖片轉換為code的中間地帶，我們無法控制。在這裡插入圖片描述

（2）架構過渡：

在這裡插入圖片描述

看到如此複雜的結構是不是很暈，我們一一進行剖析：我們注意到，我們不僅要最小化生成資料和原始資料之間的差距，我們還要最小化上圖中黃框中的公式，這是為什麼？（1）從直覺上理解：我們需要在訓練資料中加一些noisy ，但是這些噪聲資料的方差是我們未知的，使用exp函式將方差非負，然後減去（1+方差），得到如圖綠曲線，方差變小。m的平方可以理解為L2函式。在這裡插入圖片描述

在這裡插入圖片描述

（2）原理迴歸的問題本質：我們其實就是想估計概率的分佈在這裡插入圖片描述

在這裡插入圖片描述

我們引入混合高斯模型的概念：在這裡插入圖片描述

在這裡插入圖片描述

在這裡插入圖片描述

在VAE中，我們假設z符合高斯分佈，但是z具體高斯分佈的引數未知，我們需要通過神經網路進行估計，每一個z代表的x的一個分佈。在這裡插入圖片描述

在這裡插入圖片描述

整體圖：

在這裡插入圖片描述

我們求概率最大化：

在這裡插入圖片描述

我們需要另外的一個概率分佈q(z|x) 在這裡插入圖片描述

在這裡插入圖片描述

然後有：

在這裡插入圖片描述

數學證明：

在這裡插入圖片描述

在這裡插入圖片描述

在這裡插入圖片描述

在這裡插入圖片描述

VAE的問題：

在這裡插入圖片描述

VAE生成的結果一般都是訓練集的結果或者訓練集結果的疊加，但是不能生成新的結果，我們可以總結為“一直在模型，從未被超越”。接下來我們簡單介紹下GAN（我們以後會詳細介紹）

3.GAN

擬態演化，到GAN 在這裡插入圖片描述

機器學習與深度學習系列連載：第一部分機器學習（五）生成概率模型（Generative Model）

生成概率模型（Generative Model） 1.概率分佈我們還是從分類問題說起：當我們把問題問題看做是一個迴歸問題，分類是class 1 的時候結果是1 分類為class 2的時候結果是-1；測試的時候，結果接近1的是class1

機器學習與深度學習系列連載：第一部分機器學習（九）支援向量機2（Support Vector Machine）

另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類

機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）

決策樹2 決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法劃分選擇 vs 剪枝剪枝 (pruning) 是決策樹對付“過擬合”的主要手段！基本策略：預剪枝 (pre-pruning): 提前終止某些分支的生長後剪枝 (post-pr

機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標

機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）非監督學習方法主要分為兩大類 Dimension Reduction (化繁為簡) Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，

機器學習與深度學習系列連載：第一部分機器學習（十五）非監督度學習-2 Unsupervised Learning-2（Neighbor Embedding）

臨近編碼 Neighbor Embedding 在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。那我們就開始上演算法 1. Locally Linear Embedding (LLE) 我

機器學習與深度學習系列連載：第一部分機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）

生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家

機器學習與深度學習系列連載：第一部分機器學習（十二）整合學習（Ensemble）

整合學習（Ensemble） 1. Bagging 我們考慮當結果的 variance 很大，如果降低 variance。我們可以考慮“平行宇宙”，不同的training set 中生成不同的模型，然後做平均或者voting。 2. Decision Tre

機器學習與深度學習系列連載：第一部分機器學習（一）導論

什麼是機器學習？ 1.機器學習==尋找一種函式這個函式可以：語音識別:輸入一段語音訊號，輸出文字 ff()="howareyou"="howareyou" 影象識別:輸入圖片，輸出圖片的屬性 ff( )=“cat”=“cat” 智

機器學習與深度學習系列連載：第一部分機器學習（四）誤差分析（Bias and Variance）和模型調優

1.誤差分析（Bias and Variance）當我們以非常複雜的模型去進行測試的時候，可能得到的結果並不理想影響結果的主要有兩個因素：Bias 偏差、Variance 方差 Bias 偏差在這裡，我們定義偏差是指與目標結果的偏移量，這個偏

機器學習與深度學習系列連載：第一部分機器學習（十八）模型評估

模型評估模型評估中有三個關鍵問題：  如何獲得測試結果？評估方法  如何評估效能優劣？效能度量  如何判斷實質差別？比較檢驗 2. 效能度量(performance measure)是衡量模型泛化能力的評價標準，反映了任務需求（1

機器學習與深度學習系列連載：第二部分深度學習(二）梯度下降

梯度下降 Gradient Decent 我們回憶深度學習“三板斧”，選擇神經網路定義神經網路的好壞選擇最好的引數集合其中步驟三，如何選擇神經網路的好壞呢？梯度下降是目前，最有效的方法之一。方法：我們舉兩個引數的例子

機器學習與深度學習系列連載：第二部分深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）

深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B

機器學習與深度學習系列連載：第二部分深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）

迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。主要思路是： •

機器學習與深度學習系列連載：第二部分深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）

迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )

機器學習與深度學習系列連載：第二部分深度學習（十三）迴圈神經網路 1（Recurre Neural Network 基本概念）

迴圈神經網路 1（Recurre Neural Network 基本概念）迴圈神經網路的特點： • RNNs 在每個時間點連線引數值，引數只有一份 • 神經網路出了輸入以外，還會建立在以前的“記憶”的基礎上 • 記憶體的要求與輸入的規模有關當然，他的深度不只有一層：

機器學習與深度學習系列連載：第二部分深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）

卷積神經網路 3 經典的模型經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模

機器學習與深度學習系列連載：第二部分深度學習（十一）卷積神經網路 2 Why CNN for Image？

卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？原因是：一個神經元無法看到整張圖片能夠聯絡到小的區域，並且引數更少圖片壓縮畫素不改變圖片內容 1. CNN 的特點卷積：一些卷積核遠遠小於圖片大小；同樣的pat

機器學習與深度學習系列連載：第二部分深度學習（十）卷積神經網路 1 Convolutional Neural Networks

卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。卷積神經網路的靈感來自50年代的諾貝爾生物學獎

機器學習與深度學習系列連載：第二部分深度學習（九）Keras- “hello world” of deep learning

Keras Kearas 是深度學習小白程式碼入門的最佳工具之一。如果想提升、練習程式碼能力，還是建議演算法徒手python實現。複雜的深度神經網路專案還是推薦TensorFlow或者Pytorch Keras是一個高層神經網路API，Keras由純Pyt