【Stanford CNN課程筆記】神經網路入門

這篇文章非常適合初學者去學！小編只是覺得題文不那麼相符，故改變了題目。

下面這個博文的網址是：http://blog.csdn.net/elaine_bao/article/details/50810598?locationNum=3&fps=1 下面就是原文啦~~

本課程筆記是基於今年斯坦福大學Feifei Li, Andrej Karpathy & Justin Johnson聯合開設的Convolutional Neural Networks for Visual Recognition課程的學習筆記。目前課程還在更新中，此學習筆記也會盡量根據課程的進度來更新。

今天終於可以開始講神經網路啦~~

1.一個簡單的介紹

我們先把那些關於人腦、神經什麼的東西拋到一邊，來簡單地理解下神經網路。在linear classification那一章，我們是通過計算輸入圖片屬於不同類別的score來判斷它到底屬於哪個類的，即s=Wx，其中W是引數矩陣，x是由輸入影象的所有pixel組成的一個特徵列向量。比如以CIFAR-10為例的話x就是[3072*1]的列向量，W是[10*3072]的矩陣，因此輸出是10個類別得分。
那麼在神經網路中，計算score的方法有所不同：s=W2max(0,W1x)。其中W1也是一個引數矩陣，他可以把原始影象特徵x轉變成比如說100維的中間層向量特徵 (則此時W1應為[100*3072]維)。函式max(0,~)是一個非線性函式，對矩陣中小於0的元素置零而保留大於0的元素值不變。這個非線性函式我們有多種選擇(後面會講)，不過這一個是比較常用的，簡單地通過0閾值來啟用元素值。最後，W

2則應該是一個[10*100]的矩陣，這樣我們最後還是得到了10個類別得分。其中W1，W2就是通過之前所說的隨機梯度下降法學習到的，其中用到反向傳播演算法來計算每一步更新的梯度哦(不瞭解這部分內容要去戳一下我前面的課程筆記了啊)。注意非線性函式部分（也稱為啟用函式），是神經網路中很重要的一個部分，但是即使我們把非線性函式部分去掉，把W1x直接和W2相乘我們也可以得到10個類別得分，但是這樣就少了一些擾動（wiggle），影響泛化效能等。
同樣的，3層的神經網路會長這個樣子：s=W3max(0,W2max(0,W1x))，就是這麼簡單！其中W1，W2，W3都是學習得到的引數。中間層特徵向量的維度是hyperparameter,我們在後面會講怎麼設定他們。
接下來讓我們再用人腦神經元之類的東西來解釋上面所說的神經網路吧。

2. 建模神經元

神經網路這一領域最早來源於對生物神經系統的建模，而後慢慢演變成一種工程的方法，並且在機器學習中取得了很好的效果。我們這邊只簡短地介紹和我們相關的生物學系統的知識。

2.1 神經元的啟用和連線

人腦中基本的計算單元叫做神經元(neuron).人的神經系統中大約包含860億個這樣的神經元，並且他們之間通過大約10^14~10^15這麼多的突觸(synapses)連線。下圖就顯示了一個神經元和它抽象出的數學模型。每個神經元會從它們的樹突(dendrites)獲得輸入訊號，然後再將輸出訊號傳給它唯一的軸突(axon)。軸突再通過突觸和其他神經元的樹突相連。
在神經元的數學模型中，軸突所攜帶的訊號(例如：x0)通過突觸進行傳遞，由於突觸的強弱不一，假設我們以w0表示，那麼我們傳到下一個神經元的樹突處的訊號就變成了w0x0。其中突觸強弱(引數w)是可學的，它控制了一個神經元對另一個神經元影響的大小和方向（正負）。然後樹突接收到訊號後傳遞到神經元內部(cell body)，與其他樹突傳遞過來的訊號一起進行加和，如果這個和的值大於某一個固定的閾值的話，神經元就會被啟用，然後傳遞衝激訊號給樹突。在數學模型中我們假設傳遞衝激訊號的時間長短並不重要，只有神經元被啟用的頻率用於傳遞資訊。我們將是否啟用神經元的函式稱為啟用函式(activation function f)，它代表了軸突接收到衝激訊號的頻率。以前我們比較常用的一個啟用訊號是sigmoid function σ，因為它接收一個實值的訊號（即上面所說的加和的值）然後將它壓縮到0-1的範圍內。我們在後面會介紹更多的啟用函式。
這裡寫圖片描述
關於上述傳播過程（前向傳播），程式碼如下：

class Neuron(object):
  # ... 
  def forward(inputs):
    """ assume inputs and weights are 1-D numpy arrays and bias is a number """
    cell_body_sum = np.sum(inputs * self.weights) + self.bias
    firing_rate = 1.0 / (1.0 + math.exp(-cell_body_sum)) # sigmoid activation function
    return firing_rate

2.2 一個神經元就是一個線性分類器

神經元的上述前向傳播過程從形式上看著很熟悉。我們之前線上性分類器中看到，分類器具有判斷score好壞的能力，在神經元中也是一樣，我們通過啟用與否來得到神經元的輸出，再通過一個恰當的損失函式就能將一個神經元轉化成線性分類器了。
Binary Softmax classifier. 比如說，我們可以把σ(∑iwixi+b)看成是某類的概率P(yi=1|xi;w)，那麼另一類的概率則是

【Stanford CNN課程筆記】神經網路入門

1.一個簡單的介紹

2. 建模神經元

2.1 神經元的啟用和連線

2.2 一個神經元就是一個線性分類器

【Stanford CNN課程筆記】神經網路入門

【學習筆記】神經網路簡介

【深度學習基礎1】神經網路基礎--邏輯迴歸

【深度學習基礎-09】神經網路-機器學習深度學習中~Sigmoid函式詳解

【深度學習基礎-07】神經網路演算法（Neural Network）上--BP神經網路基礎理論

【課程筆記】opencv+tensorflow入門人工智慧影象處理（2018-4-19）

【安全牛學習筆記】python使用入門

【機器學習筆記20】神經網路（鏈式求導和反向傳播)

【機器學習筆記21】神經網路（多層感知機)

【機器學習筆記19】神經網路（單層感知機）

【機器學習筆記22】神經網路(卷積神經網路)

【機器學習筆記23】神經網路（RNN)

【機器學習筆記24】神經網路(LSTM)

【深度學習】神經網路的優化方法

【深度學習】神經網路的學習過程

【神經網路入門】用JAVA實現感知器演算法

【機器學習】神經網路DNN的正則化

【電腦科學】【2005.12】神經網路在生物資料中的應用

【2014.10】神經網路中的深度學習綜述

【深度學習】神經網路

【Stanford CNN課程筆記】神經網路入門

1.一個簡單的介紹

2. 建模神經元

2.1 神經元的啟用和連線

2.2 一個神經元就是一個線性分類器

相關推薦