1. 程式人生 > >【讀書1】【2017】MATLAB與深度學習——神經網路分層(1)

【讀書1】【2017】MATLAB與深度學習——神經網路分層(1)

在這裡插入圖片描述
圖2-3 節點分層結構示意圖A layered structure ofnodes

圖2-3中的方形節點組稱為輸入層。

The group of square nodes in Figure 2-3 iscalled the input layer.

輸入層的節點僅僅充當將輸入訊號傳送到下一節點的通道。

The nodes of the input layer merely act asthe passage that transmits the input signals to the next nodes.

因此,它們不計算加權和與啟用函式。

Therefore, they do not calculate theweighted sum and activation function.

這是它們由正方形表示,並區別於其它圓形節點的原因。

This is the reason that they are indicatedby squares and distinguished from the other circular nodes.

相反,最右邊的節點組被稱為輸出層。

In contrast, the group of the rightmostnodes is called the output layer.

從這些節點輸出神經網路的最終結果。

The output from these nodes becomes thefinal result of the neural network.

輸入層和輸出層之間的分層稱為隱藏層。

The layers in between the input and outputlayers are called hidden layers.

它們之所以被如此命名,是因為它們不能從神經網路外部訪問。

They are given this name because they arenot accessible from the outside of the neural network.

神經網路已經從一個簡單的體系結構發展到一個越來越複雜的結構。

The neural network has been developed froma simple architecture to a more and more complex structure.

最初,神經網路的先驅只有一個非常簡單的結構,只有輸入和輸出層,稱為單層神經網路。

Initially, neural network pioneers had avery simple architecture with only input and output layers, which are calledsinglelayer neural networks.

當隱藏層被新增到單層神經網路時,從而產生了多層神經網路。

When hidden layers are added to asingle-layer neural network, this produces a multi-layer neural network.

因此,多層神經網路由輸入層、隱藏層和輸出層組成。

Therefore, the multi-layer neural networkconsists of an input layer, hidden layer(s), and output layer.

具有單個隱藏層的神經網路被稱為淺層神經網路或沒有新意的神經網路。

The neural network that has a single hiddenlayer is called a shallow neural network or a vanilla neural network.

包含兩個或多個隱藏層的多層神經網路被稱為深度神經網路。

A multi-layer neural network that containstwo or more hidden layers is called a deep neural network.

在實際應用中使用的大多數神經網路都是深度神經網路。

Most of the contemporary neural networksused in practical applications are deep neural networks.

下表總結了依賴於分層結構的神經網路分支。

The following table summarizes the branchesof the neural network depending on the layer architecture.

將多層神經網路按以上兩種型別進行分類的原因與其發展的歷史背景有關。

The reason that we classify the multi-layerneural network by these two types has to do with its historical background ofdevelopment.

神經網路從單層神經網路發展到淺層神經網路,再到深層神經網路。

The neural network started as thesingle-layer neural network and evolved to the shallow neural network, followedby the deep neural network.

自從淺層神經網路出現二十年後,直到二十世紀中葉深層神經網路才受到重視。

The deep neural network has not beenseriously highlighted until the mid-2000s, after two decades had passed sincethe development of the shallow neural network.

因此,長期以來,多層神經網路僅僅意味著單隱層神經網路。

Therefore, for a long time, the multi-layerneural network meant just the single hidden-layer neural network.

——本文譯自Phil Kim所著的《Matlab Deep Learning》

更多精彩文章請關注微訊號:在這裡插入圖片描述

相關推薦

讀書12017MATLAB深度學習——神經網路分層(1)

圖2-3 節點分層結構示意圖A layered structure ofnodes 圖2-3中的方形節點組稱為輸入層。 The group of square nodes in Figure 2-3 iscalled the input layer. 輸入層的

讀書12017MATLAB深度學習——神經網路分層(4)

圖2-9 該示例神經網路等價於單層神經網路This example neuralnetwork is equivalent to a single layer neural network 請記住,當隱藏節點具有線性啟用函式時,隱藏層實際上是無效的。 Keep

讀書12017MATLAB深度學習——神經網路(1)

本章講解了單層神經網路的學習規則。 This chapter explains the learning rulesfor a single-layer neural network. 第3章討論了多層神經網路的學習規則。 The learning rules

讀書12017MATLAB深度學習——消失的梯度(1)

它的實現也是極其容易的。 Its implementation is extremely easy aswell. sigmoid函式將節點的輸出範圍限制為單位1,沒有考慮輸入值的大小。 The sigmoid function limits the node’soutputs

讀書12017MATLAB深度學習——過度擬合(1)

該方法儘可能簡化神經網路的結構,從而減少過擬合的發生。(編注:正則化的簡化實質也是丟棄網路節點,不過正則化是按照某種規則丟棄,而dropout是隨機丟棄) This method works as it simplifies theneural network’ architecture

讀書12017MATLAB深度學習——示例:MNIST(1)

因此,我們有8000幅MNIST影象用於訓練,2000幅影象用於神經網路的效能驗證。 Therefore, we have 8,000 MNIST images fortraining and 2,000 images for validation of the performance

讀書12017MATLAB深度學習——池化層(1)

由於它是一個二維的運算操作,文字解釋可能會導致更多的混淆,因此讓我們來舉一個例子。 As it is a two-dimensional operation, andan explanation in text may lead to more confusion, let’s go t

讀書12017MATLAB深度學習——增量規則舉例(1)

由於該神經網路是單層的,並且只包含了簡單的訓練資料,所以實現程式碼並不複雜。 As it is single-layered and contains simpletraining data, the code is not complicated. 一旦你根據

讀書12017MATLAB深度學習——交叉熵函式(1)

當我們計算輸出節點的增量時,這裡出現了一些不同之處。 The difference arises when we calculate thedelta of the output node as: e = d - y; delta = e; 與前面的示例程式碼不

讀書12017MATLAB深度學習——代價函式比較(1)

該程式的撰寫方式幾乎與第2章“SGD與批處理比較”中的SGDvsBatch.m檔案的撰寫方式相同。 The architecture of this file is almostidentical to that of the SGDvsBatch.m file

吳恩達神經網路深度學習——神經網路基礎習題1

python numpy 基礎 1.使用iPython Notebooks 2.使用numpy 函式 and numpy矩陣或向量操作 3.理解"broadcasting" 4.向量化程式碼 用numpy建立一個基礎函式 sigmoid 函式 math庫

讀書12017MATLAB深度學習——多元分類(3)

假設神經網路在給定輸入資料時產生如圖4-11所示的輸出。 Assume that the neural network produced theoutput shown in Figure 4-11 when given the input data. 圖4-11 當使用sigmo

讀書12017MATLAB深度學習——多元分類(2)

這種轉換意味著每個輸出節點都對映到向量中的一個元素,只有該元素對應的節點產生1。 This transformation implies that eachoutput node is mapped to an element of the class vector, which onl

讀書12017MATLAB深度學習——多元分類(1)

多元分類(Multiclass Classification) 本節介紹如何利用神經網路來處理三種或三種以上的分類。 This section introduces how to utilize theneural network to deal with the classific

讀書12017MATLAB深度學習——二元分類(2)

圖4-4 改變分類符號的表示方法Change the class symbolsand the data is classified differently 圖4-4所示的訓練資料是我們用來訓練神經網路的。 The training data shown in Figure 4-4

讀書12017MATLAB深度學習——二元分類(1)

圖4-2 二元分類的訓練資料格式Training data binaryclassification 圖中的前兩個數字分別表示x和y座標,符號表示該資料所屬的類別。 The first two numbers indicate the x and ycoordinates resp

讀書12017MATLAB深度學習——示例:多元分類(4)

讓我們逐一檢視。 Let’s take a look one by one. 對於第一幅影象,神經網路認為該圖為4的概率為96.66%。 For the first image, the neural networkdecided it was a 4 by 96.66% pro

讀書12017MATLAB深度學習——深度學習(1)

也許不容易理解為什麼只加入額外的一層卻花費了如此長的時間。 It may not be easy to understand why ittook so long for just one additional layer. 這是因為沒有找到多層神經網路的正確學習規則。 It w

讀書12017MATLAB深度學習——ReLU函式(1)

ReLU函式(ReLU Function) 本節通過例項介紹ReLU函式。 This section introduces the ReLU functionvia the example. DeepReLU函式利用反向傳播演算法對給定的深度神經網路進行訓練。 The fun

讀書12017MATLAB深度學習——ReLU函式(2)

該部分程式碼從輸出節點的增量開始,計算隱藏節點的輸出誤差,並將其用於下一次誤差的計算。 This process starts from the delta of theoutput node, calculates the error of the hidden node, and u