1. 程式人生 > >吳恩達深度學習筆記(3)-神經網路如何實現監督學習?

吳恩達深度學習筆記(3)-神經網路如何實現監督學習?

神經網路的監督學習(Supervised Learning with Neural Networks)
關於神經網路也有很多的種類,考慮到它們的使用效果,有些使用起來恰到好處,但事實表明,到目前幾乎所有由神經網路創造的經濟價值,本質上都離不開一種叫做監督學習的機器學習類別,讓我們舉例看看。

在監督學習中你有一些輸入x ,你想學習到一個函式來對映到一些輸出 y ,比如我們之前提到的房價預測的例子,你只要輸入有關房屋的一些特徵,試著去輸出或者估計價格 。我們舉一些其它的例子,來說明神經網路已經被高效應用到其它地方。

請點選輸入圖片描述

線上廣告
如今應用深度學習獲利最多的一個領域,就是線上廣告。這也許不是最鼓舞人心的,但真的很賺錢。具體就是通過在網站上輸入一個廣告的相關資訊,因為也輸入了使用者的資訊,於是網站就會考慮是否向你展示廣告。

神經網路已經非常擅長預測你是否會點開這個廣告,通過向用戶展示最有可能點開的廣告,這就是神經網路在很多家公司難以置信地提高獲利的一種應用。因為有了這種向你展示你最有可能點選的廣告的能力,而這一點選的行為的改變會直接影響到一些大型的線上廣告公司的收入。

計算機視覺在過去的幾年裡也取得了長足的進步,這也多虧了深度學習。你可以輸入一個影象,然後想輸出一個索引,範圍從1到1000來試著告訴你這張照片,它可能是,比方說,1000個不同的影象中的任何一個,所以你可能會選擇用它來給照片打標籤。

語音識別
深度學習最近在語音識別方面的進步也是非常令人興奮的,你現在可以將音訊片段輸入神經網路,然後讓它輸出文字記錄。得益於深度學習,機器翻譯也有很大的發展。你可以利用神經網路輸入英語句子,接著輸出一箇中文句子。

自動駕駛
在自動駕駛技術中,你可以輸入一幅影象,就好像一個資訊雷達展示汽車前方有什麼,據此,你可以訓練一個神經網路,來告訴汽車在馬路上面具體的位置,這就是神經網路在自動駕駛系統中的一個關鍵成分。

那麼深度學習系統已經可以創造如此多的價值,通過智慧的選擇,哪些作為 哪些作為 ,來針對於你當前的問題,然後擬合監督學習部分,往往是一個更大的系統,比如自動駕駛。這表明神經網路型別的輕微不同,也可以產生不同的應用,比如說,應用到我們在上一個視訊提到的房地產領域,我們不就使用了一個普遍標準神經網路架構嗎?

也許對於房地產和線上廣告來說可能是相對的標準一些的神經網路,正如我們之前見到的。對於影象應用,我們經常在神經網路上使用卷積(Convolutional Neural Network),通常縮寫為CNN。對於序列資料,例如音訊,有一個時間元件,隨著時間的推移,音訊被播放出來,所以音訊是最自然的表現。作為一維時間序列(兩種英文說法one-dimensional time series / temporal sequence).對於序列資料,經常使用RNN,一種遞迴神經網路(Recurrent Neural Network),語言,英語和漢語字母表或單詞都是逐個出現的,所以語言也是最自然的序列資料,因此更復雜的RNNs版本經常用於這些應用。

對於更復雜的應用比如自動駕駛,你有一張圖片,可能會顯示更多的CNN卷積神經網路結構,其中的雷達資訊是完全不同的,你可能會有一個更定製的,或者一些更復雜的混合的神經網路結構。所以為了更具體地說明什麼是標準的CNN和RNN結構,在文獻中你可能見過左圖這樣的圖片,這是一個標準的神經網路。而右圖是一個卷積神經網路的例子。
請點選輸入圖片描述在這裡插入圖片描述

我們會在後面的課程瞭解這幅圖的原理和實現,卷積網路(CNN)通常用於影象資料。

你可能也會看到這樣的圖片,而且你將在以後的課程中學習如何實現它。

請點選輸入圖片描述

遞迴神經網路(RNN)非常適合這種一維序列,資料可能是一個時間組成部分。

你可能也聽說過機器學習對於結構化資料和非結構化資料的應用,結構化資料意味著資料的基本資料庫。例如在房價預測中,你可能有一個數據庫,有專門的幾列資料告訴你臥室的大小和數量,這就是結構化資料。或預測使用者是否會點選廣告,你可能會得到關於使用者的資訊,比如年齡以及關於廣告的一些資訊,然後對你的預測分類標註,這就是結構化資料,意思是每個特徵,比如說房屋大小臥室數量,或者是一個使用者的年齡,都有一個很好的定義。

相反非結構化資料是指比如音訊,原始音訊或者你想要識別的影象或文字中的內容。這裡的特徵可能是影象中的畫素值或文字中的單個單詞。

請點選輸入圖片描述

從歷史經驗上看,處理非結構化資料是很難的,與結構化資料比較,讓計算機理解非結構化資料很難,而人類進化得非常善於理解音訊訊號和影象,文字是一個更近代的發明,但是人們真的很擅長解讀非結構化資料。

神經網路的興起就是這樣最令人興奮的事情之一,多虧了深度學習和神經網路,計算機現在能更好地解釋非結構化資料,這是與幾年前相比的結果,這為我們創造了機會。許多新的令人興奮的應用被使用,語音識別、影象識別、自然語言文書處理,甚至可能比兩三年前的還要多。因為人們天生就有本領去理解非結構化資料,你可能聽說了神經網路更多在媒體非結構化資料的成功,當神經網路識別了一隻貓時那真的很酷,我們都知道那意味著什麼。

但結果也表明,神經網路在許多短期經濟價值的創造,也是基於結構化資料的。比如更好的廣告系統、更好的利潤建議,還有更好的處理大資料的能力。許多公司不得不根據神經網路做出準確的預測。

因此在這門課中,我們將要討論的許多技術都將適用,不論是對結構化資料還是非結構化資料。為了解釋演算法,我們將在使用非結構化資料的示例中多畫一點圖片,但正如你所想的,你自己團隊裡通過運用神經網路,我希望你能發現,神經網路演算法對於結構化和非結構化資料都有用處。

神經網路已經改變了監督學習,正創造著巨大的經濟價值,事實證明,基本的神經網路背後的技術理念大部分都離我們不遙遠,有的是幾十年,那麼為什麼他們現在才剛剛起步,效果那麼好,下一集視訊中我們將討論為什麼最近的神經網路已經成為你可以使用的強大工具。