1.線性單元

定義：使用一個可導的線性函式來替代感知器的階躍函式，這種感知器就叫做線性單元

個人理解：感知器還是那個感知器，只是啟用函式變成一個可導的線性函式：如f（x）=x

如下圖：線性單元與前面所學的感知器（使用階躍函式）的對比，只有啟用函式改為”可導的線性函式“

2.監督學習和無監督學習的概念

監督學習：為了訓練一個模型，我們要提供這樣一堆訓練樣本：每個訓練樣本既包括輸入特徵x，也包括對應的輸出y(也叫做標記，label)

無監督學習：訓練樣本中只有x而沒有y

目前只考慮監督學習：

其中監督學習的所有樣本誤差的和函式為：

其中：

所以可以寫成

 由公式可知：模型的訓練，實際上就是求取到合適的w，使(式2)取得最小值。這在數學上稱作優化問題，而E（W）就是我們優化的目標，稱之為目標函式

 個人理解：模型的訓練是求取到合適的w，而通過觀察誤差和函式，實際上模型的訓練的過程即對E(w)求取最小值，因此可以通過梯度下降演算法優化我們的模型

3.梯度下降演算法　　

公式和介紹：

因此我們的E(w)可以套入梯度下降的演算法，對於神經網路模型訓練的權值w

我們可以寫出：

最終：

個人見解：

與上一節的感知器學習對比，權重w的訓練更新公式替換成了如上圖所示的公式，這樣可以更快地訓練出合適的w

總結：1.使用”可導的線性函式“作為感知器的啟用函式，此時感知器叫做“線性單元”

2.監督學習和無監督學習的區別在於訓練樣本有無y，即實際值

3.梯度下降的演算法可以優化神經網路模型，具體使用在對權值w的訓練上