神經網路是所謂深度學習的一個基礎，也是必備的知識點，他是以人腦中的神經網路作為啟發，最著名的演算法就是backpropagation演算法，這裡就簡單的整理一下神經網路相關引數，和計算方法。

一、多層向前神經網路（Multilayer Feed-Forward Neural Network）

多層向前神經網路由一下幾個部分組成：
輸入層（input layer），隱藏層（Hidden layer），輸出層（output layer）

特點如下：
1、每層由單元（units）組成
2、輸入層是有訓練集的例項特徵向量傳入
3、經過連線接點的權重（weight）傳入下一層，一層的輸出是下一層的輸入
4、隱藏層的個數可以是任意的，輸入層有一層，輸出層有一層
5、每個單元也可以稱之為神經結點，根據生物學來源定義
6、以上成為兩層的神經網路，輸入層是不算在裡面的
7、一層中加權求和，然後根據非線性方程轉化輸出
8、作為多層向前神經網路，理論上，如果有足夠的隱藏層，和足夠的訓練集，可以模擬出任何方程

二、設計神經網路結構

1、使用神經網路訓練資料之前，必須確定神經網路的層數，以及每層單元的個數
2、特徵向量在被傳入輸入層時通常要先標準化到0-1之間（為了加速學習過程）
3、離散型變數可以被編碼成每一個輸入單元對應一個特徵值可能賦的值
比如：特徵值A可能取三個值（a0, a1, a2), 可以使用3個輸入單元來代表A。
如果A=a0, 那麼代表a0的單元值就取1, 其他取0；
如果A=a1, 那麼代表a1de單元值就取1，其他取0，以此類推
4、神經網路即可以用來做分類（classification）問題，也可以解決迴歸（regression）問題
（1）對於分類問題，如果是2類，可以用一個輸出單元表示（0和1分別代表2類），如果多餘2類，則每一個類別用一個輸出單元表示
（2）沒有明確的規則來設計最好有多少個隱藏層，可以根據實驗測試和誤差以及精準度來實驗並改進

三、交叉驗證方法（cross-Validation）

這裡有一堆資料，我們把他切成3個部分（當然還可以分的更多）
第一部分做測試集，二三部分做訓練集，算出準確度；
第二部分做測試集，一三部分做訓練集，算出準確度；
第三部分做測試集，一二部分做訓練集，算出準確度；
之後算出三個準確度的平局值，作為最後的準確度，如下圖：

四、backpropagation演算法

他是通過迭代性來處理訓練集中的例項，對比經過神經網路後，輸人層預測值與真實值之間的誤差，再通過反向法（從輸出層=>隱藏層=>輸入層）以最小化誤差來更新每個連線的權重。

- 演算法的詳細介紹
輸入：D（資料集），學習率（learning rate），一個多層向前神經網路
輸出：一個訓練好的神經網路（a trained neural network）

1.初始化權重和偏向：隨機初始化在-1到1之間，或者-0.5到0.5之間，每個單元有一個偏向
2.開始對資料進行訓練，步驟如下：

1. 由輸入層向前傳送

   
   Ij：要對其進行非線性轉化，為下一單元的值
   Oi：是輸入的值
   wij：為每個單元到下一個單元連線之間的權重
   θj:偏向

   對Ij進行非線性轉化，得到下一個單元的值
   

2. 根據誤差(error)反向傳送

   對於輸出層：
   對於隱藏層：
   Errj：用於更新偏向
   Oj：為輸出的值
   Tj：為標籤的值

   權重更新：
   括號裡為小l ，是學習率（learning rate）

   偏向更新：

3. 終止條件
   方法一：權重的更新低於某個閾值
   方法二：預測的錯誤率低於某個閾值
   方法三：達到預設一定的迴圈次數

五、Backpropagation演算法舉例

w14…w56這些權重是初始化隨機生成的，同樣θ4到θ6也是隨機生成的
將x的值與每一項的權重相乘求和算出Ij，之後對Ij進行非線性轉化，求出輸出值

之後算出結點上的誤差，並對其更新，在如此反覆