2. 程式人生 > >啟用函式（Activation function）

啟用函式（Activation function）

阿新 • • 發佈：2019-01-04

神經網路中使用啟用函式來加入非線性因素，提高模型的表達能力。

ReLU(Rectified Linear Unit,修正線性單元)

f(x)={0,x,x≤0x>0f(x)={0,x≤0x,x>0
詳細公式ReLU:
f(x)其中σ(z)=∑i=1infσ(x−i+0.5)≈log(1+ex)≈max(0,x+N(0,1))=11+e−x(stepped sigmoid)(softplus function)(ReL function)(sigmoid)(1)(2)(3)(4)(1)f(x)=∑i=1infσ(x−i+0.5)(stepped sigmoid)(2)≈log⁡(1+ex)(softplus function)(3)≈max(0,x+N(0,1))(ReL function)(4)其中σ(z)=11+e−x(sigmoid)

ReLU變種

Leaky ReLU

當x<0時,f(x)=αx,其中α非常小,這樣可以避免在x<0時,不能夠學習的情況當x<0時,f(x)=αx,其中α非常小,這樣可以避免在x<0時,不能夠學習的情況

f(x)=max(αx,x)f(x)=max(αx,x) 稱為Parametric Rectifier(PReLU)

當α=0.01α=0.01時,是Leaky ReLU.

優點:

  • 不會過擬合(saturate)
  • 計算簡單有效
  • 比sigmoid/tanh收斂快

指數線性單元ELU

f(x)={α(ex−1),x,x≤0x>0f(x)={α(ex−1),x≤0x,x>0

由於需要計算指數,計算量較大

Maxout

函式影象為兩條直線的拼接,f(x)=max(wT1x+b1,wT2x+b2)f(x)=max(w1Tx+b1,w2Tx+b2)

那麼,前邊的兩種ReLU便是兩種Maxout.

啟用層函式選擇

  1. 最好不要用sigmoid,比如AlexNet等都不用sigmoid

  2. 首先試ReLU,速度快,但要注意訓練的狀態.

  3. 如果ReLU失效,試試Leaky ReLU或Maxout

  4. 試試tanh正切函式

在淺層神經網路中，如不超過4層的，可選擇使用多種激勵函式，沒有太大的影響。特別的，RNN中使用ReLU或tanh（三角函式tan）；Hinge用於soft-margin svm演算法；log用於LR演算法（Logistric Regression）；squared loss用於線性迴歸 （Liner Regression）和Boosting。

sigmoid作啟用函式的缺點

σ(x)=1(1+e−x)σ(x)=1(1+e−x) ,歷史上很流行(Historically popular since they have nice interpretation as a saturating “firing rate” of a neuron),梯度為∇σ=e−x(1+e−x)2=(1+e−x−11+e−x)(11+e−x)

相關推薦

[深度學習] 神經網路中的啟用函式（Activation function）

20180930 在研究調整FCN模型的時候，對啟用函式做更深入地選擇，記錄學習內容 啟用函式（Activation Function），就是在人工神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端。 線性啟用函式：最簡單的linear fun

啟用函式（Activation function）

神經網路中使用啟用函式來加入非線性因素，提高模型的表達能力。 ReLU(Rectified Linear Unit,修正線性單元) f(x)={0,x,x≤0x>0f(x)={0,x≤0x,x>0 詳細公式ReLU: f(x)其中σ(z)=∑i=1infσ(x−i+0.5)≈log

機器學習（一）：啟用函式（Activation Function）

0. 啟用函式 上圖為wiki上的定義：啟用函式定義了每個節點（神經元）的輸出和輸入關係的函式。 下表：常用啟用函式 編號 函數 公式 1) sigmoid(

為什麼神經網路中需要啟用函式（activation function）？

在看tensorflow的時候，發現書中程式碼提到，使用ReLU啟用函式完成去線性化為什麼需要啟用函式去線性化？查了一下quaro，覺得這個回答能看明白（順便問一句，截圖算不算引用？？）---------------------------------------------

神經網路中的啟用函式（activation function）-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus

　　不管是傳統的神經網路模型還是時下熱門的深度學習，我們都可以在其中看到啟用函式的影子。所謂啟用函式，就是在神經網路的神經元上執行的函式，負責將神經元的輸入對映到輸出端。常見的啟用函式包括Sigmoid、TanHyperbolic(tanh)、ReLu、 sof

型別函式（type function）

在C和C++中，我們常見的是值函式（value function），即函式接收的引數是某些值，而且函式的返回結果也是值。 至於型別函式（type function），即函式接收某些型別的實參，並生成一個型別作為函式的返回結果。 例子： 1、內建函式sizeof就是一個型別函式，它返回

高斯函式（Gaussian function）的詳細分析

摘要     論文中遇到很重要的一個元素就是高斯核函式，但是必須要分析出高斯函式的各種潛在屬性，本文首先參考相關材料給出高斯核函式的基礎，然後使用matlab自動儲存不同引數下的高斯核函式的變化gif動圖，同時分享出原始碼，這樣也便於後續的論文寫作。 高斯函式的基礎

吳恩達深度學習筆記（7）--邏輯迴歸的代價函式（Cost Function）

邏輯迴歸的代價函式（Logistic Regression Cost Function） 在上一篇文章中，我們講了邏輯迴歸模型，這裡，我們講邏輯迴歸的代價函式（也翻譯作成本函式）。 吳恩達讓我轉達大家：這一篇有很多公式，做好準備，睜大眼睛！代價函式很重要！ 為什麼需要代價函式： 為

自動文摘（Automatic document summarization）方法綜述（三）——基於次模函式（submodular function）最大化的方法

自動文摘（Automatic document summarization）方法綜述的第一篇文章（一）總結了基於中心的（Centroid-based）方法和基於圖的（graph-based）方法，第二篇文章（二）總結了基於最優化的（optimization-ba

統計學習方法：核函式（Kernel function）

作者：桂。 時間：2017-04-26  12:17:42 前言 之前分析的感知機、主成分分析（Principle component analysis, PCA）包括後面看的支撐向量機（Support vector machines, SVM），都有用到核函式。核函式是將訊號對映到高維

分位數（quantile）與分位函式（quantile function）

分位函式 對於一個連續且單調的的分佈函式，例如關於隨機變數X的累計分佈函式F，設有一概率p（0<=p<=1），分位函式Q返回閾值x使得 亦即。 當分佈函式F是連續函式時，更有。 分位數 分位數，也即分佈函式中的分位點，是分位函式返回的值。 【轉載請

似然函式（Likelihood function）是什麼

上次在尋找線性迴歸最小化函式時，又引出一個新的地雷，一個新的不知道，我們繼續上路，開足馬車繼續尋找“似然函式”，它到底是什麼呢？先來到WIKI上看看定義：In statistics, a likelihood function (often simply the likeli

深度學習之啟用函式（Python實現）

import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from tensorflow.python.framework import ops ops.reset_defau

可重入函式（reentrant function）

由於用到了strtok函式，順便搜了一下reentrant，看這篇講的不錯，貼來~~ 原帖地址：http://blog.chinaunix.net/u/27708/showart_322733.html 可重入函式這一概念早有接觸，但一直未有系統的理解，最近閱讀《 APUE

logistic迴歸詳解(二）：損失函式（cost function）詳解

有監督學習 機器學習分為有監督學習，無監督學習，半監督學習，強化學習。對於邏輯迴歸來說，就是一種典型的有監督學習。 既然是有監督學習，訓練集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)} 對於這m個訓練樣本，每個樣本本身

罰函式（penalty function）的設計

1. encourage sparsity ℓ0 範數： non-differentiable and difficult to optimize in general ℓ1 範數： 對數約束，lo

常用損失函式（Loss Function）

【深度學習】一文讀懂機器學習常用損失函式（Loss Function） 最近太忙已經好久沒有寫部落格了，今天整理分享一篇關於損失函式的文章吧，以前對損失函式的理解不夠深入，沒有真正理解每個損失函式的特點以及應用範圍，如果文中有任何錯誤，請各位朋友指教，謝謝~ 　　損失函式（lo

TensorFlow損失函式（loss function）

神經網路模型的效果及優化的目標是通過損失函式來定義的。 1、經典損失函式 分類問題和迴歸問題是監督學習的兩大種類。 分類問題 常用方法：交叉熵（cross_entropy），它描述了兩個概率分佈之間的距離，當交叉熵越小說明二者之間越接近。它是分類

ES6新特性箭頭函式（Arrow Function）

箭頭函式是ECMAScript 6最受關注的更新內容之一。它引入了一種用「箭頭」（=>）來定義函式的新語法，它…它碉堡了~。箭頭函式與傳統的JavaScript函式主要區別在於以下幾點：1.對 this 的關聯。函式內建 this 的值，取決於箭頭函式在哪兒定義，而非

樣條函式（spline function）—— 分段多項式函式（piecewise polynomial function）

1. 分段多項式函式 樣條函式是某種意義上的分段函式。 最簡單的樣條函式是一種分段多項式函式（piecewise polynomial function），樣條函式 S:[a,b]→R。