P7 Gradient Descent (Demo by AOE) 筆記：

在進行Gradient Decent時，我們可以類似玩遊戲帝國時代時探索地圖的情況。

在地圖沒有探索前，你的視野範圍只有很小的一個圈，你不知道圈外的黑幕下面有什麼東西。

現在我們假設地圖上的海拔就是loss function的值，我們現在要尋找地圖上海拔的最低點。

我們控制一個單位，這個單位所在位置就是一個初始點。使用gradient decent方法來尋找最低點，其實就類似於我們看看可視圈的範圍內哪一邊比較低，我們就控制單位向低點走去。到新點後，我們再次重複上述過程，再向更低點走去。

重複多次後，我們找到了一個最低點，這個位置就是local minima位置。

但是我們無法知道這個local minima位置是否就是global minima的位置。

P8 Gradient Descent (Demo by Minecraft) 筆記：

我們還可以類比在Minecraft遊戲中玩的情況。

如圖，我們現在想找出這個人物前面的洞內的最低點。

我們現在觀察到人物的右前方是比較低的，按照gradient decent，我們操作人物向右前方前進。

接下來再次觀察，我們發現人物的右前方還是比較低的，按照gradient decent，我們操作人物再向右前方前進。

接下來我們發現人物前面和右邊比較低，但是右前方卻是比較高的，但按照gradient decent，我們的人物仍然向右前方前進了。這時就出現了沒有向local minima收斂的情況。