sigmoid函式的特性及硬體實現方法--含matlab程式碼實現及講解

• 1. 簡介
• 2. sigmoid函式的特性介紹
• 2.1 sigmoid(x)與sigmoid(-x)的關係
• 2.2 sigmoid函式與tanh函式的關係
• 2.3 sigmoid函式的n階導數
• 2.4 當x=n*ln2時的數值
• 2.5 其他關係式
• 3. 硬體實現方案
• 4. matlab程式碼實現及講解

1. 簡介

sigmoid是神經網路中常用的一種啟用函式，在機械學習和很多降噪濾波演算法中也常常會用到這個函式。sigmoid函式的表示式如下：
$y$

= s i g m o i d ( x ) = 1 1 + e x p

( − x ) y=sigmoid(x)=\frac {1} {1+exp(-x)}
本文主要會介紹一些sigmoid函式常用的特性。並且基於sigmoid函式特有的性質，我會給出一種硬體實現sigmoid函式的方法(不是多項式擬合法)，為了方便讀者理解，我還用matlab模擬了sigmoid函式的實現。有興趣的小夥伴可以直接到我下面的連結中下載程式碼。
https://download.csdn.net/download/qq_35721810/10885213

2. sigmoid函式的特性介紹

2.1 sigmoid(x)與sigmoid(-x)的關係

sigmoid(x)與sigmoid(-x)的具有下面的關係:
$sigmoid(-x) = 1 - sigmoid(x)$
推導過程如下：
$1-sigmoid(x) = 1-\frac {1} {1+exp(-x)}=\frac {exp(-x)} {1+exp(-x)}=\frac {1} {1+exp(x)}= sigmoid(-x)$

2.2 sigmoid函式與tanh函式的關係

tanh(x)為雙曲餘弦函式，其表示式如下
$tanh(x)=\frac {exp(x)-exp(-x)} {exp(x)+exp(-x)}$
sigmoid(x)與tanh(x)函式的關係如下：
$sigmoid(x) =\frac {tanh(\frac {x} {2})+1} {2}$
推導過程如下：
$\frac {tanh(\frac {x} {2})+1} {2}=\frac{\frac {exp(x/2)-exp(-x/2)} {exp(x/2)+exp(-x/2)}+1}{2}=\frac {exp(x/2)} {(exp(x/2)+exp(-x/2))}=\frac {1} {1+exp(-x)}=sigmoid(x)$

2.3 sigmoid函式的n階導數

sigmoid函式求導有一個非常好的特殊性質，即導數的結果是可以完全表達成y的函式,與x無關。 假設 $y=sigmoid(x)=\frac {1} {1+exp(-x)}$
$\frac{dy}{dx}=\frac {exp(-x)} {[1+exp(-x)]^2}=\left( 1-\frac {1} {1+exp(-x)}\right)\frac {1} {1+exp(-x)}=y(1-y)$
即 $\frac{dy}{dx}$只是y的函式。如果要求二階導數可以直接對 $\frac{dy}{dx}$再次求導
$\frac{d^2y}{dx^2}=\frac{d}{dx}\left(\frac{dy}{dx}\right)=(1-2y)\frac{dy}{dx}=y(1-y)(1-2y)$

相關推薦