神經網路

模型表示1

• 先來看看大腦裡面神經元結構圖，如下圖：
  
  會發現神經元的中心部分就相當於我們的 h(x)，神經元的“樹突”等效於 input 端的輸入特徵 x_n，“軸突”等效於 output。

• 再來看看前面講了兩種模型：線性迴歸模型跟邏輯迴歸模型，其中都繞不開一個 h_θ(x) ，這裡的 x 是我們 input 的特徵，h_θ(x) 的值是我們模型 output 出來的值。下圖是一個邏輯迴歸模型圖：
  
  會發現前面所講的模型跟神經元很相似，而我們大腦是很多個這種神經元組合的，基於此有人想到用多個這種基礎模型互相連線組成一個神經網路。對應的每一個神經元其實也是一個學習模型，這些神經元也成為啟用單元，因此 h_θ

  (x) 也稱為啟用函式，這裡的 θ 我們經常稱為權重。

• 偏置項：前面兩週所講的兩個模型中都會有一個 x₀，這個是我們的偏置項，其實也可以稱為截距項，因為它其實是函式的截距，與線性方程 y=wx+b 中的 b 的意義是一致的。因此神經網路的引數也可以表示為：(W, b)，其中W表示引數矩陣，b表示偏置項或截距項。這裡的 W 就是前面說的 θ，b 就是前面的 x₀。

常見的神經網路如下圖：

上圖中，有三層，其中第一層為輸入層，第三層為輸出層，中間的一層因為結果值對我們是不可見的，故稱為隱藏層。
a(j)i：表示啟用單元 i 在layer j 的啟用函式。
θ(j)：表示 j 層到 j+1 層的權重。
圖中的每一個啟用函式可以用如下表示：

模型表示2

上一節通過如下的方式不停的迭代下去去計算最後的輸出hθ(x)

本節介紹另外一種使用向量的方法，會使得計算變得簡單。
第二層的隱藏層的計算可以用如下的向量表示來計算：
z(2) = θ1x
a(2) = g(z(2))
第三層的輸出層：
z(3) = θ2a(2)
hθ(x) = a(3) = g(z(3))

不難發現：第 j 層可以用如下向量表達式計算：
z

神經網路的應用

簡單應用1

用神經元來表示一個 and 操作。我們知道只有 x1 與 x2 都為 1 的時候才能為 1。
可以用如下的神經元表示一個 and 操作。

上圖不難理解它的實現，同理 or 等其它邏輯運算都可以通過神經元來實現。

簡單應用2

用幾個神經元來表示一個 xnor[異或非門] 操作。也就是隻有 x1 與 x2 都相同時的時候才能為 1。
可以用如下幾個神經元表示：

那麼更復雜的運算也是可以通過很多的神經元組成的神經網路進行計算。

多類分類

神經網路就是由一個個邏輯迴歸模型連線而成的，它們彼此作為輸入和輸出。最終輸出結果可表示為：

這與之前邏輯迴歸中的多類分類表示不同，在邏輯迴歸中，輸出y屬於類似於{1, 2, 3, 4}中的某個值，而這裡輸出的是一個向量。因此，神經網路解決多類分類問題的本質是把原分類問題分解為一類對其他類（one-vs-all）的二類分類問題。
神經網路比直接使用Logistic迴歸的優勢在於：如果給定基礎特徵的數量為100，那麼在利用Logistic迴歸解決複雜分類問題時會遇到特徵項爆炸增長，造成過擬合以及運算量過大問題。而對於神經網路，可以通過隱藏層數量和隱藏單元數量來控制假設函式的複雜程度，並且在計算時只計算一次項特徵變數。其實本質上來說，神經網路是通過這樣一個網路結構隱含地找到了所需要的高次特徵項，從而化簡了繁重的計算。