1. 程式人生 > >深度學習入門筆記

深度學習入門筆記

之前研討會各種聽老闆和師兄談論deep learning的話題,自己也就聽一聽,這段時間出於瞭解論文的目的仔細研究了一下,感覺內部挺複雜的,不過若只是需要了解原理,其實還比較簡單。 首先推薦一個部落格地址,很多基本原理都是參照這裡的: http://blog.csdn.net/zouxy09/article/details/8775360/ 深度學習與以往的機器學習方法不同之處在於,它並非是一個具體的方法或者系統,而僅僅只是一個理論體系,假設我們有一個系統S,它有n層(S1,…Sn),它的輸入是I,輸出是O,形象地表示為: I =>S1=>S2=>…..=>Sn => O,如果輸出O等於輸入I,即輸入I經過這個系統變化之後沒有任何的資訊損失,設處理a資訊得到b,再對b處理得到c,那麼可以證明:a和c的互資訊不會超過a和b的互資訊。這表明資訊處理不會增加資訊(大部分處理會丟失資訊。當然了,理想情況是丟掉的都是沒用的資訊)。保持了不變,這意味著輸入I經過每一層Si都沒有任何的資訊損失,即在任何一層Si,它都是原有資訊(即輸入I)的另外一種表示。
而深度學習的思想,就是通過建立多箇中間層,從輸入層開始逐層抽象,每一層的輸出都是下一層的輸入。理想情況下,這樣一個系統就如同人的認知過程一樣,從看到的事物開始逐層抽象化,直到最後形成大腦中的知識。 另外需要注意的是,深度學習往往是以神經網路為實現方式的,但根據這幾天的查閱,發現神經網路並非是唯一的方式,還有複雜多項式巢狀,以及詞向量等方式,沒有具體去了解,就不細究了。

相關推薦

深度學習入門筆記(二)————線性神經網路解決異或問題(程式碼)

首先梳理一下思路 輸入為1,0。00異或為0,01異或為1,10異或為1,11異或為0.所以輸出為2類如下圖可知,需要兩條線劃分。 Madaline用間接地辦法解決。多個線性函式進行劃分,然後對各個神經元的輸出做邏輯運算。如圖,用兩條直線實現了異或的劃分。   線

深度學習入門筆記系列 ( 二 )——基於 tensorflow 的一些深度學習基礎知識

本系列將分為 8 篇 。今天是第二篇 。主要講講 TensorFlow 框架的特點和此係列筆記中涉及到的入門概念 。 1.Tensor 、Flow 、Session 、Graphs TensorFlow 從單詞上可以分成 Tensor 和 Flow 兩個單詞 。Ten

深度學習入門筆記系列(三)——感知器模型和 tensorboard 的使用方法

本系列將分為 8 篇 。今天是第三篇 。主要講講感知器模型和 tensorboard 的基本使用方法 。 1. 感知器模型 因為小詹之前寫過一篇感知器模型的介紹 ,這裡就不贅述了 。有需要鞏固的點選如下連結跳轉即可 : 2. tensorboard Tenso

深度學習——入門筆記(3)

此處是硬著頭皮跳過得(反向傳播,因為我發現我看的懂每一句話,每一個推導,但是去細想很多東西卻有種轟然崩塌得感覺,所以繼續進行) 改善神經網路的方式:(其實就是將結果優化的方式) 1.交叉成本熵函式 錯誤的定義是無意義的,因為人類是從錯誤中學習的,但是根據常識,人犯的錯誤越大,學習效果越好

深度學習——入門筆記(1)

最近有個三天小長假,也沒有什麼繁瑣的事兒,正好用來學點東西。自己根據自己的特點,找了本實踐和理論結合的深度學習的書,也不想那麼多,看完再說。 以前喜歡做筆記,但是發現找起來太麻煩,所以這次嘗試著些部落格吧。 書籍連結:http://neuralnetworksanddeeplearning.

深度學習入門筆記

之前研討會各種聽老闆和師兄談論deep learning的話題,自己也就聽一聽,這段時間出於瞭解論文的目的仔細研究了一下,感覺內部挺複雜的,不過若只是需要了解原理,其實還比較簡單。 首先推薦一

TensorFlow深度學習入門筆記(二)基本概念與代碼1

.get ali ant scope 基本 有一個 關註 執行 rbo 關註公眾號“從機器學習到深度學習那些事”獲取更多最新資料 寫在前面 學習建議:以下學習過程中有不理解可以簡單查找下資料,但不必糾結(比如非得深究某一個函數等),盡量快速的學一遍,不求甚解無妨。因為有些知

TensorFlow深度學習入門筆記(四)一些基本函數

.com com pre http 今天 重用 模型 use max 關註公眾號“從機器學習到深度學習那些事”獲取更多最新資料 寫在前面 學習建議:以下學習過程中有不理解可以簡單查找下資料,但不必糾結(比如非得深究某一個函數等),盡量快速的學一遍,不求甚解無妨。多實操代碼,

深度學習入門---Keras報錯集合筆記

[錯誤1]在model.fit()呼叫之後會出現如下錯誤說明:Cannot interpret feed_dict key as Tensor: Tensor Tensor("conv2d_1_input:0", shape=(?, 256, 196, 3), ,dtype=

深度學習入門教程UFLDL學習實驗筆記一:稀疏自編碼器

UFLDL即(unsupervised feature learning & deep learning)。這是斯坦福網站上的一篇經典教程。顧名思義,你將在這篇這篇文章中學習到無監督特徵學習和深度學習的主要觀點。 UFLDL全文出處在這:http://ufldl.stanford.edu/wiki/

深度學習入門教程UFLDL學習實驗筆記二:使用向量化對MNIST資料集做稀疏自編碼

今天來做UFLDL的第二個實驗,向量化。我們都知道,在matlab裡面基本上如果使用for迴圈,程式是會慢的一逼的(可以說基本就執行不下去)所以在這呢,我們需要對程式進行向量化的處理,所謂向量化就是將matlab裡面所有的for迴圈用矩陣運算的方法實現,在這裡呢,因為之前的實驗我已經是按照向量化的形式編寫的程

深度學習入門教程UFLDL學習實驗筆記三:主成分分析PCA與白化whitening

主成分分析與白化是在做深度學習訓練時最常見的兩種預處理的方法,主成分分析是一種我們用的很多的降維的一種手段,通過PCA降維,我們能夠有效的降低資料的維度,加快運算速度。而白化就是為了使得每個特徵能有同樣的方差,降低相鄰畫素的相關性。 主成分分析PCA 第一步:首先我們需要獲取旋轉矩陣U,為了實現這一目的,我

深度學習入門之pythoch》 讀書筆記——卷積神經網路

之前就購買了這本書,但是一直處於閒看的狀態,時至年底,深感不能再繼續之前狀態,故從正在閱讀的部分開始寫讀書筆記,之前的會在後邊補充。 原理和結構 卷積神經網路以其強大的計算機視覺能力倍受人們的青睞。 作者首先提出了三個觀點,也就是圖片的三個性質,分別是

深度增強學習入門筆記(一)

知乎專欄智慧單元的學習筆記,僅為自己學習所用,侵刪。 從OpenAI看深度學習研究前沿 OpenAI的三個主要研究方向 1. 深度生成模型 Deep Generative Model 通過學習現有的資料生成新的資料。 相關研究

深度學習入門視訊課程學習筆記01

(一)深度學習問題面臨的挑戰 首先就由一隻小貓帶咱們走進深度學習的世界吧! 對於一個輸入樣本來說,深度學習和機器學習有著相同的目的,就是要把這個樣本進行最準確的分類。咱

深度學習入門1

ont gin 語音識別 告訴 min 重要 orf 模型 獲得 發布這個系列,一來是為了總結自己的學習,二來也是希望給深度學習初學者一些入門的指導。好廢話不多說了,我們直接進入主題,這一節先說一下,深度學習發展歷程。 1958,感知器(相當於生物的神經元) 1969,M

【神經網絡和深度學習筆記 - 第二章 反向傳播算法

討論 固定 特征 array sed 並不會 思想 隨機梯度 相關 上一章中我們遺留了一個問題,就是在神經網絡的學習過程中,在更新參數的時候,如何去計算損失函數關於參數的梯度。這一章,我們將會學到一種快速的計算梯度的算法:反向傳播算法。 這一章相較於後面的章節涉及到的數學

吳恩達-深度學習-課程筆記-3: Python和向量化( Week 2 )

有時 指數 檢查 都是 效果 很快 -1 tro str 1 向量化( Vectorization ) 在邏輯回歸中,以計算z為例,z = w的轉置和x進行內積運算再加上b,你可以用for循環來實現。 但是在python中z可以調用numpy的方法,直接一句z = np.d

吳恩達-深度學習-課程筆記-6: 深度學習的實用層面( Week 1 )

data 絕對值 initial 均值化 http 梯度下降法 ati lod 表示 1 訓練/驗證/測試集( Train/Dev/test sets ) 構建神經網絡的時候有些參數需要選擇,比如層數,單元數,學習率,激活函數。這些參數可以通過在驗證集上的表現好壞來進行選擇