一、神經網絡
1.為了進行梯度下降，誤差函數不能是離散的，而必須是連續的。誤差函數必須是可微分的。同時，要將離散預測變成連續預測，方法是將激活函數從階躍函數變成S函數。

2.最大似然法：選出實際發生的情況所對應的概率更大的模型。

3.交叉熵(損失函數)：將得到的概率取對數，對它們的相反數進行求和。準確的模型得到較低的交叉熵。
交叉熵可以告訴我們兩個向量是相似還是不同。

4.Logistic回歸(對數幾率回歸)
機器學習中最熱門和最有用的算法之一，也是所有機器學習的基石。基本上是這樣的：
1)獲得數據；
2)選擇一個隨機模型；
3)計算誤差；
4)最小化誤差，獲得更好的模型；
5)完成！
計算誤差函數：

5.感知器算法和對數概率很相似，分類錯誤的點都會告訴直線靠近點，不同的是對於分類正確的點，感知器算法會說什麽也不要做，而對數概率會說遠離它。

機器學習工程師 - Udacity 深度學習