1. 程式人生 > >【深度學習基礎-09】神經網路-機器學習深度學習中~Sigmoid函式詳解

【深度學習基礎-09】神經網路-機器學習深度學習中~Sigmoid函式詳解

目錄

Sigmoid函式常常被用作神經網路中啟用函式  

雙曲函式tanh(x)

Logistic函式 

拓展對比


Sigmoid函式常常被用作神經網路中啟用函式  

{\displaystyle S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.}

函式的基本性質:

  1. 定義域:(−∞,+∞)(−∞,+∞)
  2. 值域:(−1,1)(−1,1)
  3. 函式在定義域內為連續和光滑函式
  4. 處處可導,導數為:f′(x)=f(x)(1−f(x))

比較常用的有雙曲函式tanh(x),以及邏輯函式

雙曲函式tanh(x)

tanh是雙曲函式中的一個,tanh()為雙曲正切。在數學中,雙曲正切“tanh”是由基本雙曲函式雙曲正弦和雙曲餘弦推導而來。

函式:y=tanh x;定義域:R,值域:(-1,1)。y=tanh x是一個奇函式,其函式影象為過原點並且穿越Ⅰ、Ⅲ象限的嚴格單調遞增曲線,其影象被限制在兩水平漸近線y=1和y=-1之間。

雙曲正切函式的導數公式:

如同點 (cost,sint) 定義一個,點 (cosh t,sinh t) 定義了右半直角雙曲線x^2- y^2= 1。這基於了很容易驗證的恆等式

引數 t 不是圓角而是雙曲角,它表示在 x 軸和連線原點和雙曲線上的點 (cosh t,sinh t) 的直線之間的面積的兩倍。

函式 cosh x 是關於 y 軸對稱的偶函式。函式 sinh x 是奇函式,就是說 -sinh x = sinh (-x) 且 sinh 0 = 0

 

Logistic函式 

{\displaystyle f(x)={\frac {1}{1+e^{-x}}}} 

拓展對比