一、神經網絡
二、激活函數
三、評價神經網絡的效果
四、梯度下降算法
五、參數與超參數區別
六、習題

一、神經網絡 neural network

w11a1+w12a2+w13a3 + bias1=b1
w21a1+w22a2+w23a3 + bias2=b2

從網絡層1到網絡層2，可能是線性運算，可能是非線性運算。

二、激活函數
經典激活函數：Sigmoid函數

激活函數引入非線性，使得原本不可分變為可分，且可以被作為概率看待。

三、評價神經網絡的效果
（1）使用隨機值初始化神經網絡參數 隨機設定權重w和偏移量bias
（2）損失函數 評價神經網絡效果的函數
損失函數

四、梯度下降算法
一次求導，朝著梯度最大的方向前進。 https://www.cnblogs.com/pinard/p/5970503.html

五、參數與超參數區別
超參數 α = 學習速率 learning rate。【調參點】

六、習題
1、“手工編程計算圓的面積”中，3.14是“參數”還是“超參數”？ 參數
2、一個如本次實驗所描述的神經網絡有兩層，第一層有10個神經元，第二層有20個神經元，請問這兩層神經元之間有多少條連接？第一層到第二層之間由這些連接所表示的線性變換矩陣尺寸是多少？ 200個
3、“使用深度學習預測股票走勢曲線”是分類問題還是回歸問題？ 回歸問題
4、“根據人臉圖片識別人的性別”是分類問題還是回歸問題？ 分類問題
5、如果說，有監督學習的訓練數據data由輸入X和正確答案Y組成，那無監督學習的訓練數據應該是什麽樣的？ 輸入數據集長度m，聚類得到X1，X2，Xn 個聚類
6、[選做題]sigmoid函數對x求導結果是什麽？
7、[選做題]2.6.1小節中的圖片裏，為什麽“學習速率適中”圖中每次更新的“步子”越來越短，而“學習速率過大”圖中每次更新的“步子”越來越長？
學習速率是比率，合適的學習速率，越接近極值，下降越慢，基數越小，步子越短。
過大的學習速率，越學越超出範圍，自然增長快，步子大。

8、[選做題]你能自己想出一種求損失函數梯度的方法嗎
梯度：偏導向量。對損失函數求偏導，得到梯度，梯度最大的地方就是下降最快的地方。

參考：
https://www.shiyanlou.com/courses/814

01. 深度學習基本概念