人工神經網路
摘要：
人工神經網路（artificial neural network）是感知器（perceptron）和啟用（activation）函式的集合，網路的隱藏層由多個感知器所組成，隱藏層提供非線性化，將輸入層對映為低維的輸出層。對映是累加輸入層與權重的乘積，再加上偏移值。模型（model）就是網路結構...
人工神經網路（artificial neural network）是感知器（perceptron）和啟用（activation）函式的集合，網路的隱藏層由多個感知器所組成，隱藏層提供非線性化，將輸入層對映為低維的輸出層。對映是累加輸入層與權重的乘積，再加上偏移值。模型（model）就是網路結構的全部權重值（weight）和全部偏移值（bias）。
ANN
模型的訓練過程，就是為了確定最合適的權重和偏移的值。在訓練開始時，模型的值會被隨機初始化。使用損失函式（loss function），對比訓練的結果與真值（ground truth）的差異。根據損失值，在步驟中，引數不斷地被調整。當損失值不能進一步下降時，訓練被停止。在訓練中，模型學習到資料的特徵（feature）。特徵是原始影象的抽象。
在通用的逼近定理（approximation theory）中，神經網路可以近似任何函式。隱藏層也可以被稱之為全連線層（dense layer）。每一層都含有一個啟用函式。層的數量取決於問題的難度。
反向傳播：
- 隨機初始化引數；
- 根據反向傳播原理，鏈式求導，獲得計算引數梯度的公式；
- 將其他引數，帶入梯度公式，即w1的導數值，由其他引數w決定；
- 獲得梯度值，再乘以學習率，下降的具體梯度值；
- 引數值，減去梯度值，完成梯度下降；