一天搞懂深度學習--李宏毅教程分享
本文是2016 臺灣資料科學年會前導課程“一天搞懂深度學習”的全部講義PPT（共268頁），由臺灣大學電機工程學助理教授李宏毅主講。作者在文中分四個部分對神經網絡的原理、目前存在形態以及未來的發展進行了介紹。深度學習的每一個核心概念在文中都有相關案例進行呈現，通俗易懂。一天的時間搞懂深度學習？其實並不是沒有可能。
深度學習 ( Deep Learning ) 是機器學習 ( Machine Learning ) 中近年來備受重視的一支，深度學習根源於類神經網絡 ( Artificial Neural Network ) 模型，但今日深度學習的技術和它的前身已截然不同，目前最好的語音識別和影像辨識系統都是以深度學習技術來完成，你可能在很多不同的場合聽過各種用深度學習做出的驚人應用 ( 例如：最近紅遍大街小巷的 AlphaGo )，聽完以後覺得心癢癢的，想要趕快使用這項強大的技術，卻不知要從何下手學習，那這門課就是你所需要的。（關於深度學習的概述教程可見：http://www.cnblogs.com/liuyihai/p/8321299.html）
以下是課程大綱：
什麽是深度學習
深度學習的技術表面上看起來五花八門，但其實就是三個步驟：設定好類神經網絡架構、訂出學習目標、開始學習，這堂課會簡介如何使用深度學習的工具 Keras，它可以幫助你在十分鐘內完成深度學習的程序。另外，有人說深度學習很厲害、有各種吹捧，也有人說深度學習只是個噱頭，到底深度學習和其他的機器學習方法有什麽不同呢？這堂課要剖析深度學習和其它機器學習方法相比潛在的優勢。
深度學習的各種小技巧
雖然現在深度學習的工具滿街都是，想要寫一個深度學習程序只是舉手之勞，但要得到好的成果可不簡單，訓練過程中各種枝枝節節的小技巧才是成功的關鍵。本課程中將分享深度學習的實作技巧及實戰經驗。
CNN和RNN網絡
這段課程要講解卷積神經網絡CNN和遞歸式類神經網絡 RNN。
深度學習應用與展望
深度學習可以拿來做甚麽？怎麽用深度學習做語音識別？怎麽用深度學習做問答系統？接下來深度學習的研究者們在意的是什麽樣的問題呢？
下面是課程全部PPT：
深度學習吸引了很大的關註：我相信，你之前肯定見到過很多激動人心的結果。圖中是谷歌內部深度學習技術的使用趨勢，可以看到從2015年第二季度開始，使用量呈直線上升。本講義聚焦深度學習基礎技術。
大綱：
報告第一部分：介紹深度學習
報告第二部分：關於訓練深度神經網絡的一些建議
報告第三部分：各種各樣的神經網絡
報告第四部分：下一股浪潮
報告1：深度學習介紹
深度學習有3步：神經網絡架構--學習目標--學習。
這三個步驟都是以數據為基礎的。
第3步：選擇最佳的功能函數。
從原理上說，深度學習非常簡單。
從函數的角度理解深度學習：第一步，是一個函數集；第二步，定義函數的擬合度；第三部，選擇最佳函數。
人類大腦的構成
神經網絡：神經元
激活函數的工作原理
不同的連接會導致不同的網絡結構
完全連接的反向網絡：S型網絡
極深網絡：從8層到19層，一直到152層。
全連接的反向網絡：矩陣系統
輸出層（選擇）
問題：
下圖中，總共有多少層？每一層有多少個神經元？
結構能自動決定嗎？
第二步：學習目標，定義函數擬合度。
例子：識別“2”
訓練數據：
準備訓練數據：圖像和相應的標簽
學習目標
損失：一個好的函數應該讓所有例子中的損失降到最小。
全局損失
第三步：學習！選擇最佳函數。
如何選擇最佳函數
梯度下降
梯度下降：綜合多個參數考慮的時候，你發現什麽問題了嗎？
局部最小值：梯度下降從來不會保證可以獲得全局最小值
反向傳播
可以做什麽？
第二部分：關於訓練深度神經網絡的一些小建議
第三部分：各種各樣的神經網絡
篇幅有限，PPT全文鏈接：https://pan.baidu.com/s/1mj18GrQ 密碼：聯系[email protected],只作學習使用
一天搞懂深度學習--李宏毅教程分享