[ch02-00] 反向傳播與梯度下降的通俗解釋
系列部落格，原文在筆者所維護的github上：https://aka.ms/beginnerAI，
點選star加星不要吝嗇，星越多筆者越努力。
第2章 神經網路中的三個基本概念
2.0 通俗地理解三大概念
這三大概念是：反向傳播，梯度下降，損失函式。
神經網路訓練的最基本的思想就是：先“猜”一個結果，我們叫預測結果a，看看這個預測結果和事先標記好的訓練集中的真實結果y之間的差距，然後調整策略，再試一次，這一次就不是“猜”了，而是有依據地向正確的方向靠近。如此反覆多次，一直到預測結果和真實結果之間相差無幾，亦即|a-y|->0，就結束訓練。
在神經網路訓練中，我們把“猜”叫做初始化，可以隨機，也可以根據以前的經驗給定初始值。即使是“猜”，也是有技術含量的。
這三個概念是前後緊密相連的，講到一個，肯定會牽涉到另外一個。但由於損失函式篇幅較大，我們將在下一章中再詳細介紹。
下面我們舉幾個例子來直觀的說明下這三個概念。
2.0.1 例一：猜數
甲乙兩個人玩兒猜數的遊戲，數字的範圍是[1,50]：
甲：我猜5
乙：太小了
甲：50
乙：有點兒大
甲：30
乙：小了
......
在這個遊戲裡：
- 目的：猜到乙心中的數字；
- 初始化：甲猜5；
- 前向計算：甲每次猜的新數字；
- 損失函式：乙在根據甲猜的數來和自己心中想的數做比較，得出“大了”或“小了”的結論；
- 反向傳播：乙告訴甲“小了”、“大了”；
- 梯度下降：甲根據乙的反饋中的含義自行調整下一輪的猜測值。
這裡的損失函式是什麼呢？就是“太小了”，“有點兒大”，很不精確！這個“所謂的”損失函式給出了兩個資訊：
- 方向：大了或小了
- 程度：“太”，“有點兒”，但是很模糊
2.0.2 例二：黑盒子
假設有一個黑盒子如圖2-1。
圖2-1 黑盒子
我們只能看到輸入和輸出的數值，看不到裡面的樣子，當輸入1時，輸出2.334，然後黑盒子有個資訊顯示：我需要輸出值是4。然後我們試了試輸入2，結果輸出5.332，一下子比4大了很多。那麼我們第一次的損失值是\(2.334-4=-1.666\)，而二次的損失值是\(5.332-4=1.332\)。
這裡，我們的損失函式就是一個簡單的減法，用實際值減去目標值，但是它可以告訴你兩個資訊：1）方向，是大了還是小了；2）差值，是0.1還是1.1。這樣就給了我們下一次猜的依據。
- 目的：猜到一個輸入值，使得黑盒子的輸出是4
- 初始化：輸入1
- 前向計算：黑盒子內部的數學邏輯
- 損失函式：在輸出端，用輸出值減4
- 反向傳播：告訴猜數的人差值，包括正負號和值
- 梯度下降：在輸入端，根據正負號和值，確定下一次的猜測值，goto前向計算
2.0.3 例三：打靶
小明拿了一支步槍，射擊100米外的靶子。這支步槍沒有準星，或者是準星有問題，或者是小明眼神兒不好看不清靶子，或者是霧很大，或者風很大，或者由於木星的影響而側向引力場異常......反正就是遇到各種干擾因素。
第一次試槍後，拉回靶子一看，彈著點偏左了，於是在第二次試槍時，小明就會有意識地向右側偏幾毫米，再看靶子上的彈著點，如此反覆幾次，小明就會掌握這支步槍的脾氣了。圖2-2顯示了小明的5次試槍過程。
圖2-2 打靶的彈著點記錄
在有監督的學習中，需要衡量神經網路輸出和所預期的輸出之間的差異大小。這種誤差函式需要能夠反映出當前網路輸出和實際結果之間一種量化之後的不一致程度，也就是說函式值越大，反映出模型預測的結果越不準確。
這個例子中，小明預期的目標是全部命中靶子的中心，最外圈是1分，之後越向靶子中心分數是2，3，4分，正中靶心可以得10分。
- 每次試槍彈著點和靶心之間的差距就叫做誤差，可以用一個誤差函式來表示，比如差距的絕對值，如圖中的紅色線。
- 一共試槍5次，就是迭代/訓練了5次的過程 。
- 每次試槍後，把靶子拉回來看彈著點，然後調整下一次的射擊角度的過程，叫做反向傳播。注意，把靶子拉回來看和跑到靶子前面去看有本質的區別，後者容易有生命危險，因為還有別的射擊者。一個不恰當的比喻是，在數學概念中，人跑到靶子前面去看，叫做正向微分；把靶子拉回來看，叫做反向微分。
- 每次調整角度的數值和方向，叫做梯度。比如向右側調整1毫米，或者向左下方調整2毫米。如圖中的綠色向量線。
上圖是每次單發點射，所以每次訓練樣本的個數是1。在實際的神經網路訓練中，通常需要多個樣本，做批量訓練，以避免單個樣本本身取樣時帶來的誤差。在本例中，多個樣本可以描述為連發射擊，假設一次可以連打3發子彈，每次的離散程度都類似，如圖2-3所示。
圖2-3 連發彈著點記錄
- 如果每次3發子彈連發，這3發子彈的彈著點和靶心之間的差距之和再除以3，叫做損失，可以用損失函式來表示。
那小明每次射擊結果和目標之間的差距是多少呢？在這個例子裡面，用得分來衡量的話，就是說小明得到的反饋結果從差9分，到差8分，到差2分，到差1分，到差0分，這就是用一種量化的結果來表示小明的射擊結果和目標之間差距的方式。也就是誤差函式的作用。因為是一次只有一個樣本，所以這裡採用的是誤差函式的稱呼。如果一次有多個樣本，就要叫做損失函數了。
其實射擊還不這麼簡單，如果是遠距離狙擊，還要考慮空氣阻力和風速，在神經網路裡，空氣阻力和風速可以對應到隱藏層的概念上。
在這個例子中：
- 目的：打中靶心；
- 初始化：隨便打一槍，能上靶就行，但是要記住當時的步槍的姿態；
- 前向計算：讓子彈飛一會兒，擊中靶子；
- 損失函式：環數，偏離角度；
- 反向傳播：把靶子拉回來看；
- 梯度下降：根據本次的偏差，調整步槍的射擊角度，goto前向計算。
損失函式的描述是這樣的：
- 1環，偏左上45度；
- 6環，偏左上15度；
- 7環，偏左；
- 8環，偏左下15度；
- 10環。
這裡的損失函式也有兩個資訊：
- 距離；
- 方向。
所以，梯度，是個向量！ 它應該即告訴我們方向，又告訴我們數值。
2.0.4 黑盒子的真正玩兒法
以上三個例子比較簡單，容易理解，我們把黑盒子再請出來：黑盒子這件事真正的意義並不是猜測當輸入是多少時輸出會是4。它的實際意義是：我們要破解這個黑盒子！於是，我們會有如下破解流程：
- 記錄下所有輸入值和輸出值，如表2-1。
表2-1 樣本資料表
| 樣本ID | 輸入(特徵值) | 輸出(標籤) |
|---|---|---|
| 1 | 1 | 2.21 |
| 2 | 1.1 | 2.431 |
| 3 | 1.2 | 2.652 |
| 4 | 2 | 4.42 |
- 搭建一個神經網路，給出初始權重值，我們先假設這個黑盒子的邏輯是：\(z=x + x^2\)；
- 輸入1，根據\(z=x + x^2\)得到輸出為2，而實際的輸出值是2.21，則誤差值為\(2-2.21=-0.21\)，小了；
- 調整權重值，比如\(z=1.5x+x^2\)，再輸入1.1，得到的輸出為2.86，實際輸出為2.431，則誤差值為\(2.86-2.431=0.429\)，大了；
- 調整權重值，比如\(z=1.2x+x^2\)再輸入1.2......
- 調整權重值，再輸入2......
- 所有樣本遍歷一遍，計算平均的損失函式值；
- 依此類推，重複3，4，5，6過程，直到損失函式值小於一個指標，比如0.001，我們就可以認為網路訓練完畢，黑盒子“破解”了，實際是被複制了，因為神經網路並不能得到黑盒子裡的真實函式體，而只是近似模擬。
從上面的過程可以看出，如果誤差值是正數，我們就把權重降低一些；如果誤差值為負數，則升高權重。
2.0.5 總結
簡單總結一下反向傳播與梯度下降的基本工作原理：
- 初始化；
- 正向計算；
- 損失函式為我們提供了計算損失的方法；
- 梯度下降是在損失函式基礎上向著損失最小的點靠近而指引了網路權重調整的方向；
- 反向傳播把損失值反向傳給神經網路的每一層，讓每一層都根據損失值反向調整權重；
- goto 2，直到精度足夠好（比如損失函式值小於0.001）。