2. 程式人生 > >聊一聊深度學習的activation function

聊一聊深度學習的activation function

阿新 • • 發佈：2019-01-08

TLDR (or the take-away)

優先使用ReLU (Rectified Linear Unit) 函式作為神經元的activation function:

\text{ReLU} = \max(0, x)

背景

深度學習的基本原理是基於人工神經網路，訊號從一個神經元進入，經過非線性的activation function，傳入到下一層神經元；再經過該層神經元的activate，繼續往下傳遞，如此迴圈往復，直到輸出層。正是由於這些非線性函式的反覆疊加，才使得神經網路有足夠的capacity來抓取複雜的pattern，在各個領域取得state-of-the-art的結果。顯而易見，activation function在深度學習中舉足輕重，也是很活躍的研究領域之一。目前來講，選擇怎樣的activation function不在於它能否模擬真正的神經元，而在於能否便於優化整個深度神經網路。下面我們簡單聊一下各類函式的特點以及為什麼現在優先推薦ReLU函式。

Sigmoid函式

\sigma(x) = \frac{1}{1 + e^{-x}}

Sigmoid函式是深度學習領域開始時使用頻率最高的activation function。它是便於求導的平滑函式，其導數為\sigma(x)(1 - \sigma(x))，這是優點。然而，Sigmoid有三大缺點：

  • 容易出現gradient vanishing
  • 函式輸出並不是zero-centered
  • 冪運算相對來講比較耗時
Gradient Vanishing

優化神經網路的方法是Back Propagation，即導數的後向傳遞：先計算輸出層對應的loss，然後將loss以導數的形式不斷向上一層網路傳遞，修正相應的引數，達到降低loss的目的。 Sigmoid函式在深度網路中常常會導致導數逐漸變為0，使得引數無法被更新，神經網路無法被優化。原因在於兩點：(1) 在上圖中容易看出，當\sigma(x)

中x較大或較小時，導數接近0，而後向傳遞的數學依據是微積分求導的鏈式法則，當前層的導數需要之前各層導數的乘積，幾個小數的相乘，結果會很接近0 (2) Sigmoid導數的最大值是0.25，這意味著導數在每一層至少會被壓縮為原來的1/4，通過兩層後被變為1/16，…，通過10層後為1/1048576。請注意這裡是“至少”，導數達到最大值這種情況還是很少見的。

輸出不是zero-centered

Sigmoid函式的輸出值恆大於0，這會導致模型訓練的收斂速度變慢。舉例來講，對\sigma(\sum_i w_i x_i + b)，如果所有x_i均為正數或負數，那麼其對w_i的導數總是正數或負數，這會導致如下圖紅色箭頭所示的階梯式更新，這顯然並非一個好的優化路徑。深度學習往往需要大量時間來處理大量資料，模型的收斂速度是尤為重要的。所以，總體上來講，訓練深度學習網路儘量使用zero-centered資料 (可以經過資料預處理實現) 和zero-centered輸出。

冪運算相對耗時

相對於前兩項，這其實並不是一個大問題，我們目前是具備相應計算能力的，但面對深度學習中龐大的計算量，最好是能省則省 :-)。之後我們會看到，在ReLU函式中，需要做的僅僅是一個thresholding，相對於冪運算來講會快很多。

tanh函式

\text{tanh}\ x = \frac{e^x - e^{-x}}{e^x + e^{-x}}tanh讀作Hyperbolic Tangent，如上圖所示，它解決了zero-centered的輸出問題，然而，gradient vanishing的問題和冪運算的問題仍然存在。

ReLU函式

\text{ReLU} = \max(0, x)

ReLU函式其實就是一個取最大值函式，注意這並不是全區間可導的，但是我們可以取sub-gradient，如上圖所示。ReLU雖然簡單，但卻是近幾年的重要成果，有以下幾大優點：

  • 解決了gradient vanishing問題 (在正區間)
  • 計算速度非常快，只需要判斷輸入是否大於0
  • 收斂速度遠快於sigmoid和tanh
ReLU也有幾個需要特別注意的問題：
  1. ReLU的輸出不是zero-centered
  2. Dead ReLU Problem，指的是某些神經元可能永遠不會被啟用，導致相應的引數永遠不能被更新。有兩個主要原因可能導致這種情況產生: (1) 非常不幸的引數初始化，這種情況比較少見 (2) learning rate太高導致在訓練過程中引數更新太大，不幸使網路進入這種狀態。解決方法是可以採用Xavier初始化方法，以及避免將learning rate設定太大或使用adagrad等自動調節learning rate的演算法。

儘管存在這兩個問題，ReLU目前仍是最常用的activation function，在搭建人工神經網路的時候推薦優先嚐試！

Leaky ReLU函式

f(x) = \max(0.01x, x)

人們為了解決Dead ReLU Problem，提出了將ReLU的前半段設為0.01x而非0。另外一種直觀的想法是基於引數的方法，即Parametric ReLU:f(x) = \max(\alpha x, x)，其中\alpha可由back propagation學出來。理論上來講，Leaky ReLU有ReLU的所有優點，外加不會有Dead ReLU問題，但是在實際操作當中，並沒有完全證明Leaky ReLU總是好於ReLU。

ELU (Exponential Linear Units) 函式

f(x)= \begin{cases} x,& \text{if } x > 0\\ \alpha(e^x - 1), & \text{otherwise}\end{cases}

ELU也是為解決ReLU存在的問題而提出，顯然，ELU有ReLU的基本所有優點，以及：

  • 不會有Dead ReLU問題
  • 輸出的均值接近0，zero-centered
它的一個小問題在於計算量稍大。類似於Leaky ReLU，理論上雖然好於ReLU，但在實際使用中目前並沒有好的證據ELU總是優於ReLU。

小結

建議使用ReLU函式，但是要注意初始化和learning rate的設定；可以嘗試使用Leaky ReLU或ELU函式；不建議使用tanh，尤其是sigmoid函式。

參考資料

  • Udacity Deep Learning Courses
  • Stanford CS231n Course
原文地址： https://zhuanlan.zhihu.com/p/25110450

相關推薦

聊一聊深度學習的activation function

TLDR (or the take-away) 優先使用ReLU (Rectified Linear Unit) 函式作為神經元的activation function: 背景 深度學習的基本原理是基於人工神經網路，訊號從一個神經元進入，經過非線性的activation function，傳入到下一層神

聊一聊深度學習中常用的激勵函式

   大家都知道，人腦的基本計算單元叫做神經元。現代生物學表明，人的神經系統中大概有860億神經元，而這數量巨大的神經元之間大約是通過1014−1015個突觸連線起來的。上面這一幅示意圖，粗略地描繪了一下人體神經元與我們簡化過後的數學模型。每個神經元都從樹突接受訊號，同時順著某個軸突傳遞

【番外篇】聊一聊深度學習中的資料增強與實現

深度學習的訓練往往需要海量的資料，而如今資料又是如此的寶貴（如醫學影象），因此如何利用有效的資料獲得更好的效果呢？資料增強（data augmentation）就是一種常用的方法。 工欲善其事必先利其器。 先來看下實現本文資料增強所需要的必要環境： python3.5

聊一聊如何Get 正確的學習方法

系統運維為什麽要寫這個？ 其實我也一直在糾結，因我也是個小菜鳥，寫的這些或許可能會“害人”，因為每個人的學習方法不一樣，所適合自己的方法那就更不一樣了，所以你寫出來的東東，不是每個人都適用，那麽有可能會起到反作用，讓其他的小夥伴們“誤入歧途”，罪過啊但是有時候看到很多走在這條路上的小夥伴們無助的情況可能你曾

【其他學習】聊一聊 cookie，做大專案必懂的知識點

咱們不搞一開始就一大堆理論知識介紹，怕把人講懵了...... 咱們換一個思維方式——"從現象看本質"，先說說我們看到了什麼，再從看到的現象中提出問題，最後深入尋找答案。 我們看到的 cookie 我自己建立了一個網站，網址為http://ppsc.sankuai.c

聊一聊啥都不會的我自學Linux系統的歷程

計算機專業 linux論壇 服務器 知識點 嵌入式 Linux大家都不陌生，我是在大三的時候開始接觸Linux，上課的時候一位給我們上課的老師閑聊的時候說，你們計算機專業的學生要好好去學Linux，對於你們以後發展或者是就業都很有幫助。 開始的時候是一種從眾心理，慢慢的學習中發現自己越來越

聊一聊Vue實例與生命周期運行機制

思維 mod images mic import mvvm 方法 add char Vue的實例是Vue框架的入口，擔任MVVM中的ViewModel角色，所有功能的實現都是圍繞其生命周期進行的，在生命周期的不同階段調用對應的鉤子函數可以實現組件數據管理和DOM渲染兩大重要

很認真的聊一聊程序員的自我修養

很大的 溝通 數據庫查詢 職業 xxx 話題 必備 小學 lol 首先要談的是，今天的話題所聊的程序員包含哪些人？ 在中國，寫程序，不僅僅是一種興趣，更多的時候，還是一種普通職業和謀生工具 大公司有厲害的程序員，優秀的架構師，但大量的小公司也有很多普通的程序員。在我這些

[聊一聊系列]聊一聊前端存儲那些事兒

我們 老朋友 必須 獲取 sql 壓力 做了 lan read https://segmentfault.com/a/1190000005927232 歡迎大家收看聊一聊系列，這一套系列文章，可以幫助前端工程師們了解前端的方方面面（不僅僅是代碼）：https://seg

聊一聊共享單車

高峰 地鐵站 中學生 電商 吐槽 活動 存在 http ... 1.共享單車的模式用戶交押金，然後騎車，按照騎車時間進行計費。其實，嚴格意義上來講，這還並不屬於共享經濟，更像分時租賃。 2、共享單車的用戶人群 & 特征用戶人群：80後、90後的低頻打車人群，

聊一聊分布式鎖的設計

src set 可用性 slave 共享資源 get 處理過程 res 指定 起因 前段時間，看到redis作者發布的一篇文章《Is Redlock safe?》，Redlock是redis作者基於redis設計的分布式鎖的算法。文章起因是有一位分布式的專家寫了一篇文章《H

聊一聊我的阿裏雲ECS雲主機

工作者 資料 linux系統 tom ecs 進行 http 感覺 com javaweb學習有段時間了,期間也編寫了一些自己的小webapp應用,但是都是發布在我們自己的個人pc上的. 於是我在想：怎麽樣讓自己的項目可以發到公網上面去，讓朋友們能夠來訪問？ 　　我首先想到

聊一聊 Android 6.0 的運行時權限

con alert 打電話 target 告訴 分享 ttf alt toast 聊一聊 Android 6.0 的運行時權限 權限一刀切 棉花糖運行時權限 權限的分組 正常權限 正常權限列表 特殊權限 請求SYSTEM_ALERT_WINDOW 請求WRITE

【轉載】聊一聊C#的Equals()和GetHashCode()方法

table rule != tle 繼承 操作符 內存 png blog 首先先談一下Equals()這個方法： Equals()方法，來自於Object，是我們經常需要重寫的方法。此方法的默認實現大概是這樣的： public virtual bool Equals(obj

聊一聊Javasript繼承

兩個 || this指向 type屬性 中國 什麽 aso ldo markdown ??前前後後已經快寫了2年左右javaScript,剛開始只是簡單用於一些表單驗證和操作dom節點，並沒有深入的使用，隨著漸漸的深入，開始不想去寫重復的代碼（懶的開始），從而寫簡單的繼承，

（五）聊一聊深Copy與淺Copy

otto list int print 技術分享 作用 code height 工廠 一、關於淺copy與深copy 首先說明一下： 在python中，賦值其實就是對象的引用，變量就是對象的一個標簽，如果把內存對象比喻成一個個房間，那麽變量就是門牌號。 深copy與淺

聊一聊2D地圖的迷霧效果

png char 一段 行數據 編程經驗 lan get 第一個 色值 在經歷了17年諸般變動後，現在到了2018年。懷舊是因為之前幾年發生太多，好與不好都已過去，17年迎來新的開始，所以也就有了後來些許感慨，有機會再說說這些行業感受了。今天先讓我們專註於川最新解決的實際項

( 轉 ) 聊一聊C#的Equals()和GetHashCode()方法

不同 持久性 自己 今天 特殊 周期 htm type eth 博客創建一年多，還是第一次寫博文，有什麽不對的地方還請多多指教。 關於這次寫的內容可以說是老生長談，百度一搜一大堆。大神可自行繞路。 最近在看Jeffrey Richter的CLR Via C#，在看到Get

南京TSMC 16nm量產出貨，聊一聊TSMC的崛起之路

芯片 半導體 集成電路 導讀1：臺積電南京12寸晶圓廠於2016年7月7日奠基，原計劃就是從2018年開始提供16nm代工，月產能為2萬片。近期，臺積電南京晶圓廠已經出貨第一批產品，客戶是比特大陸。（恭喜！） 導讀2：半導體芯片公司三種運營模式：IDM（Integrated Device Manu

聊一聊Docker網絡通信

虛擬化 docker容器 docker網絡 基於Docker run創建docker容器時，可以使用--net選項指定容器的網絡模式，Docker默認有一下四種網絡模式':1）host模式：默認docker容器運行會分配獨立的networknamspace隔離子系統，基於host模式，容器