參考Quora
為python作者Sebastian Raschka的回答

要回答這個問題，首先從線性迴歸（Linear Regression）說起，然後過度到邏輯迴歸（Logistic Regression），最後，過度到神經網路（Neural Network）

1.線性迴歸（Linear Regression）

所謂線性迴歸問題，就是針對某一個問題(例如：房價的預測問題)，利用訓練樣本求解一個線性模型，然後利用這個線性模型去預測新的資料所對應的結果

例如：線性迴歸模型如下

2.邏輯迴歸問題（Logistic Regression）

將線性分類模型中的輸出z輸入到一個非線性啟用函式中：

這個activation function返回的是一個概率值（某一個樣本屬於類1的概率）：P(y=1|x)

接下來，在這個activation function後面新增一個step function，例如：

也就是說，如果activation function的輸出大於0.5，就認為輸入的樣本屬於類1，從而實現了分類

這個分類過程可以用下圖來表示

邏輯迴歸模型是一個線性模型（雖然它使用了非線性activation function），因為它的分類面是線性的，下圖給出了利用邏輯迴歸模型進行分類的一個例子：

可以看到，因為樣本是線性可分的，所以邏輯迴歸模型的效果很好；
但當樣本不是線性可分時，邏輯迴歸模型就沒那麼好的效能了，如下圖所示的例子，樣本為非線性可分，邏輯迴歸模型效果就不是很好了

那麼，一個非線性分類器就是一個很好的選擇了！例如：MLP！

3.Multi-layer neural network

下圖是利用一個僅含有一個隱藏層的神經網路進行分類得到的結果，可以看到，MLP實現了非線性分類面的獲取

下圖是一個簡單的MLP的結構，

該網路有：

• 三個輸入單元：x0=1 for the bias unit, and x1 and x2 for the 2 features (即二維座標系中的點)

• 隱藏層含有200個neurons，分別帶有一個activation function（圖中只畫出了3個）

• 輸出層含有一個單元（是一個概率值）

4. 總結

• 邏輯迴歸分類器雖然具有非線性啟用函式，但該模型仍舊是權值的線性組合，所以說，邏輯迴歸分類器是一個”generalized” linear model

• activation function的角色：通過對網路的加權輸入（weighted inputs）進行非線性組合產生非線性分類面

To sum it up, the logistic regression classifier has a non-linear activation function, but the weight coefficients of this model are essentially a linear combination, which is why logistic regression is a “generalized” linear model. Now, the role of the activation function in a neural network is to produce a non-linear decision boundary via non-linear combinations of the weighted inputs.

常用的啟用函式如下：