圖片摘自高揚，衛崢所著的《白話深度學習與TensorFlow》

啟用函式(activation function)——也有翻譯成激勵函式，變換函式的，是神經元中重要的組成部分，如果不用激勵函式，每一層輸出都是上層輸入的線性函式，無論神經網路有多少層，輸出都是輸入的線性組合，這種情況就是最原始的感知機（Perceptron）。如果使用的話，啟用函式給神經元引入了非線性因素，使得神經網路可以任意逼近任何非線性函式，這樣神經網路就可以應用到眾多的非線性模型中。

神經元的各種數學模型的主要區別在於採用了不同的啟用函式，從而使神經元具有不同的資訊處理特性，例如Sigmoid函式（又稱Logistic函式）經常作為我們學習機器學習接觸到的第一個啟用函式，是因為他的數學形式在微積分中比較容易處理，Tanh函式常用於迴圈神經網路RNN，ReLU(rectified linear units)函式常用於大部分的卷積神經網路CNN,等等。