1 迴圈序列模型

1.1 序列模型的適用範圍

序列模型是一種用於處理序列資料的模型，它可以用於語音識別，音樂生成，情感分類，機器翻譯，命名實體識別等。模型的輸出也可能是一個序列。

1.2 相關的符號約定

x<k>$x^{<k>}$ 表示輸入序列中的第k個元素
y<k>$y^{<k>}$ 表示輸出序列中的第k個元素
x(i)<k>$x^{(i)<k>}$ 表示第i個輸入序列中的第k個元素
y(i)<k>$y^{(i)<k>}$ 表示第i個輸出序列中的第k個元素
Tx$T_x$ 表示輸入序列的長度
T(i)x$T_x^{(i)}$ 表示第i個輸入序列的長度

Ty$T_y$ 表示輸出序列的長度
T(i)y$T_y^{(i)}$ 表示第i個輸出序列的長度

1.3 RNN模型

1.3.1 詞的one-hot表示

構造一個詞彙表(也稱為詞典)，若詞彙個數為n，詞(word)在詞典中的位置i記作wi$w_i$，則詞可表示為一個長度為n的一維向量，向量中第wi$w_i$位置的元素為1，其他位置為0。

1.3.2 模型示意

在處理序列資料時，由於輸入和輸出長度的不同，且序列模型的維度過高，引數過多，無法使用傳統的全聯接神經網路來處理，因此必須要使用新的序列化的模型。見下圖：

在圖中，RNN單元在時刻t0$t_0$接收輸入x0$x_0$併產生輸出y0$y_0$。在下一個時刻t1$t_1$，RNN單元同時接收輸入

x1$x_1$和上一個時刻的輸出h0$h_0$，從而產生本時刻的輸出。這使得RNN可以考慮歷史輸入的影響。

1.3.3 前向傳播

從上圖的RNN單元的結構中，可以推導前向傳播的計算公式
ht=g(Wh∗ht−1+Wixt+bh)$h_t=g(W_h\ast h_{t-1}+W_i{x}_t+b_h)$
可以將Wh,Wi$W_h,W_i$橫向堆疊，將ht−1,xt$h_{t-1},x_t$縱向堆疊，則公式改寫為：
ht=g([Wh|Wi]⋅[ht−1xt]+bh)$h_t=g([W_h|W_i]\cdot [\frac{h_{t-1}}{x_t}]+b_h)$
yt=f(Wo∗ht+bo)$y_t=f(W_o\ast h_t+b_o)$

1.3.4 RNN前向傳播實現

# 實現單個RNN單元內部的計算
 

def rnn_cell_forward(xt, a_prev, parameters):

    Wax = parameters["Wax"] #alias Wt
    Waa = parameters["Waa"] #alias Wh
    Wya = parameters["Wya"] #alias Wo
    ba = parameters["ba"]   #alias bh
    by = parameters["by"]   #alias bo

    # compute next activation state 
    a_next = np.tanh(np.dot(Wax, xt) + np.dot(Waa, a_prev) + ba)
    yt_pred = softmax(np.dot(Wya, a_next) + by)

    cache = (a_next, a_prev, xt, parameters)
    return a_next, yt_pred, cache

# 實現沿時間序列向前計算
def rnn_forward(x, a0, parameters):
    caches = []

    n_x, m, T_x = x.shape
    n_y, n_a = parameters["Wya"].shape

    # initialize "a" and "y" with zeros
    a = np.zeros((n_a, m, T_x))
    y_pred = np.zeros((n_y, m, T_x))

    a_next = a0

    # loop over all time-steps
    for t in range(T_x):
        # Update next hidden state, compute the prediction, get the cache
        a_next, yt_pred, cache = rnn_cell_forward(x[:,:,t], a_next, parameters)

        a[:,:,t] = a_next
        y_pred[:,:,t] = yt_pred

        caches.append(cache)

    caches = (caches, x)
    return a, y_pred, caches

1.3.4 損失函式

單個樣本的損失函式定義為:

L<t>(yˆ<t>,y<t>)=−y<t>logyˆ<t>−(1−y<t>)log(1−

相關推薦

深度學習之五：序列模型與詞向量

1 迴圈序列模型 1.1 序列模型的適用範圍 序列模型是一種用於處理序列資料的模型，它可以用於語音識別，音樂生成，情感分類，機器翻譯，命名實體識別等。模型的輸出也可能是一個序列。 1.2 相關的符號約定 x<k>x<k>

六天搞懂“深度學習”之五：深度學習

簡單地說，深度學習就是一種採用深度神經網路的機器學習技術，深度神經網路就是一種包含2個或者2個以上隱藏層的多層神經網路。 這裡再次簡單回顧一下“深度學習”的發展歷史： l 第一代神經網路——單層神經網路，在解決機器學習面臨的實際問題時，很快就暴露出它的基本侷限性，單層神經網路只

Tensorflow深度學習之五：啟用函式

啟用函式的作用 在神經網路中，啟用函式的作用是能夠給神經網路加入一些非線性因素，使得神經網路可以更好地解決較為複雜的問題。 我們嘗試引入非線性的因素，對樣本進行分類。 在神經網路中也類似，我們需要引入一些非線性的因素，來更好地解決複雜的問題。而啟用函式恰好

機器學習之路： python 實踐 word2vec 詞向量技術

fetch 分離 ext .com work bsp re.sub 最終 mat git: https://github.com/linyi0604/MachineLearning 詞向量技術 Word2Vec 每個連續詞匯片段都會對後面有一定制約 稱為上下

分享《深度學習之TensorFlow：入門、原理與進階實戰》PDF+源代碼

image pro 源代碼 代碼 復制 進階 com nag 分享圖片 下載：https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ 更多資料：http://blog.51cto.com/3215120 《深度學習之TensorFlo

六天搞懂“深度學習”之三：多層神經網路

為了克服單層神經網路只能解決線性可分問題的侷限性，神經網路進化為多層結構。然而，花費了將近30年的時間，才將隱藏層新增到單層神經網路中。很難理解為什麼花費了這麼長時間，其中的主要問題是學習規則。 單層神經網路中的增量規則對於多層神經網路的訓練是無效的，這是因為訓練中在隱藏層產生的誤差並沒

六天搞懂“深度學習”之二：神經網路

注意對比左右兩個框圖，用神經網路代替模型，用學習規則代替機器學習。 因此，神經網路是實現機器學習的一種重要模型，確定模型（神經網路）的過程稱為學習規則。 大腦與神經網路的類比：大腦的神經元對應神經網路的節點，大腦的神經元連線對應神經網路的連線權值。 三輸入的神經

六天搞懂“深度學習”之四：基於神經網路的分類

分類用於確定資料所歸屬的類別，而回歸是根據已知的資料進行推斷或估計某個未知量，比如根據年齡和教育水平進行收入預測分析。分類的典型應用是垃圾郵件過濾和字元識別。 雖然神經網路適用於分類和迴歸，但卻很少用於迴歸。這不是因為它的效能不好，而是因為大多數迴歸問題可以用更簡單的模型來解決。（迴歸問

分散式學習之五：redis分步式鎖

前言 分散式鎖一般有三種實現方式：1. 資料庫樂觀鎖；2. 基於Redis的分散式鎖；3. 基於ZooKeeper的分散式鎖。本篇部落格將介紹第二種方式，基於Redis實現分散式鎖。雖然網上已經有各種介紹Redis分散式鎖實現的部落格，然而他們的實現卻有著各種各樣的問題，本

演算法學習之五：佇列

佇列的概念: 佇列是一種特殊的線性表，特殊之處在於它只允許在表的前端（front）進行刪除操作，而在表的後端（rear）進行插入操作。進行插入操作的端稱為隊尾，進行刪除操作的端稱為隊頭。佇列中沒有元素時，稱為空佇列。 要著重強調的地方： （1）所有刪除的操

深度學習之數學基礎（概率與統計）

3-1、為什麼使用概率？  概率論是用於表示不確定性陳述的數學框架，即它是對事物不確定性的度量。 在人工智慧領域，我們主要以兩種方式來使用概率論。首先，概率法則告訴我們AI系統應該如何推理，所以我們設計一些演算法來計算或者近似由概率論匯出的表示式。其次，我們可以用概率

深度學習之三：機器學習的策略

本文為Andrew ng深度學習課程的第三部分，主要總結了機器學習的策略方法。 1 機器學習策略之一 當我們的模型搭建出來之後，策略可以指引我們為了達到目標，如何採取下一步行動。 1.1 正交化 當設計和訓練一個監督學習的系統時，我們依賴下面四條正交

深度學習筆記五：卷積神經網路CNN(基本理論)

一.初識卷積網路結構 Ⅰ.概覽 前面已經做過手寫體識別的任務。之前我們只是使用了兩層的全連線層，或者根據喜好多加幾層。我更喜歡把這樣的結構叫做多層感知機，即使用到了一些現代的權重初始化方式，更好的啟用函式reLU等，我還是傾向於叫做多層感知機。

深度學習之路：（一）Keras中mnist資料集測試

Keras環境搭建 本地環境 MacOS 一、安裝Anaconda 1、下載Anaconda最新版本：官網下載地址 附：清華映象源 2、下載後直接安裝，點選next 3、檢測版本 開啟終端 輸入conda -

Tensorflow深度學習之七：再談mnist手寫數字識別程式

之前學習的第一個深度學習的程式就是mnist手寫字型的識別，那個時候對於很多概念不是很理解，現在回過頭再看當時的程式碼，理解了很多，現將加了註釋的程式碼貼上，與大家分享。（本人還是在學習Tensorflow的初始階段，如果有什麼地方理解有誤，還請大家不吝指出。）

深度學習之四：卷積神經網路基礎

計算機視覺在深度學習的幫助下取得了令人驚歎的進展，其中發揮重要作用的是卷積神經網路。本節總結了卷積神經的原理與實現方法。 1 卷積神經網路 1.1 計算機視覺與深度學習 計算機視覺要解決的問題是如何讓機器理解現實世界的現象。目前主要處理的問題如影象

[caffe]深度學習之MSRA影象分類模型Deep Residual Network(深度殘差網路)解讀

一、簡介         MSRA的深度殘差網路在2015年ImageNet和COCO如下共5個領域取得第一名：ImageNet recognition, ImageNet detection, ImageNet localization, COCO detection,

【深度學習之Caffe】將模型測試Classification過程生成動態連結庫dll以方便其他專案呼叫

#include "caffe_classify.h"   #include "head.h"   Classifier::Classifier(const string& model_file,const string& trained_file,const string& mean

深度學習之LSTM時間序列預測

LSTM（long short-term memory,LSTM）:長短時記憶網路，是迴圈神經網路（recurrent neural network,RNN）的一個重要結構，迴圈神經的主要用途是處理和預測序列資料。全連線神經網路（感知機，BP神經網路，RBF 神經網路等）或卷

jackson學習之五：JsonInclude註解

### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等； ###