1. 程式人生 > >學習筆記——吳恩達-機器學習課程-1.3 用神經網路進行監督學習

學習筆記——吳恩達-機器學習課程-1.3 用神經網路進行監督學習

         神經網路有時媒體炒作的很厲害,考慮到它們的使用效果,有些說法還是靠譜的,事實上到目前為止,幾乎所有的神經網路創造的經濟價值都基於其中一種機器學習,我們稱之為“監督學習”,那是什麼意思呢?

        我們來看一些例子, 在監督學習中輸入x,習得一個函式對映到輸出y,比如我們之前看到的應用於房價預測的例子,輸入房屋的一些特徵,就能輸出或者預測價格y。

         下面是一些其他的例子,這些例子中,神經網路撥群,很可能今天通過深度學習獲利最大的就是線上廣告,這也許不是最鼓舞人心的,但真的很賺錢,給網站輸入廣告資訊,網站會考慮是否你看這個廣告,有時還需要輸入一些使用者資訊,神經網路在預測你是否會點選這個廣告方面已經表現的很好,通過向你展示,向用戶展示最有可能點開的廣告,這就是神經網路在很多家公司賺取無法想象的

高的額利潤的應用方式,因為有了這種向你展示最有可能點開的廣告的能力,直接影響到了不少大型線上廣告公司的收入,過去的幾年裡,計算機視覺也有很大進展,這要感謝深度學習,你輸入一個影象,然後想輸出一個指數,可以是從1-1000來表明這張照片是1000個不同的影象中的某一個,可以用來給照片打標籤,深度學習最近在語音識別方面的進展也是令人興奮的,你可以將音訊片段輸入神經網路,它可以輸出文字,機器翻譯也進步很大,這得感謝深度學習,讓你有一個神經網路能實現,輸入英文句子它直接輸出一箇中文句子,在無人駕駛技術中,你輸入一幅影象,汽車前方的一個快照,還有一些雷達資訊,基於這個訓練過的神經網路,能告訴你路上其他汽車的位置,這是無人駕駛系統的關鍵元件,神經網路創造這麼多價值的案例中,
你要機智地選擇x 和y,才能解決特定問題,然後把這個監督學習過的元件嵌入到更大的系統中,比如無人駕駛,可以看出稍微不同的神經網路應用到不同的地方也都行之有效,比如說應用到房地產上,我們上節課看過了,我們用了通用標準的神經網路架構 是吧, 對於房地產和線上廣告用的都是相對標準的神經網路,正如我們之前見過的,影象領域裡我們經常用的是卷積神經網路,通常縮寫為CNN,對於序列資料,例如音訊中,有時間成分吧,音訊是隨著時間播放的,所以音訊很自然地被表示為一維時間序列,對於序列資料你經常使用RNN,迴圈神經絡,語言英語和漢語,字母或單詞都是逐個出現的,所以語言最自然的表現方式也是序列資料,更復雜的RNNs,經常會用於這些應用對於更復雜的應用,比如無人駕駛,你有一張圖片可能需
要CNN "卷積神經網路"結構架構去處理,雷達資訊會更不一樣,你會需要更復雜的混合神經網路結構,所以為了更具體的說明標準的CNN 和RNN結構是什麼,在文獻中你可能見過這樣的圖片,在後面的課中我們會去了解這幅圖的含義和如它何實現它,這是一個標準的神經網路:




        你可能見過這樣的圖片,這是一個卷積神經網路,在後續的課程,我們會去了解這幅圖的含義和如何實現它,卷積網路通常用於影象資料:


你可能也會看到這樣的圖片,後續的課程也會去實現它,迴圈神經網路非常適合處理一維序列資料,其中包含時間成分:


        你可能也聽說過機器學習被應用於結構化資料和非結構化資料,下面是這些術語的含義,結構化資料 是資料的資料庫,例如 在房價預測中,你可能有一個數據庫或者資料列,告訴你房間的大小和臥室數量,這就是結構化資料,在預測使用者是否會點選廣告的例子中,你可能會有使用者資訊,比如年齡 還有廣告資訊,還有你要預測的標籤y,這就是結構化資料,意味著每個特徵,比如說房屋大小,臥房數量,使用者的年齡 都有著清晰的定義;

         相反 非結構化資料指的是比如音訊 原始音訊,影象,你想要識別影象或文字中的內容,這裡的特徵可能是影象中的畫素值,或者是文字中的單個單詞,從歷史角度看,非結構化資料與結構化資料相比讓計算機理解起來更難,但人類進化到現在,很擅長理解音訊訊號和影象,文字是一個更近代的發明,但人們真的很擅長解讀非結構化資料,神經網路的興起過程中最令人興奮的事情之一就是多虧了深度學習,多虧了神經網路,計算機現在能更好地解釋非結構化資料,和幾年前對比的話,這給我們創造了很多令人興奮的應用機會,語音識別,影象識別,自然語言文書處理,現在能做的事情比兩三年前要豐富多了,我認為因為人們生來就有能力理解非結構化資料,你可能知道 神經網路在非結構化資料上的成功,尤其是媒體,當神經網路識別了一隻貓時,那真的很酷,我們都知道 那意味著什麼,神經網路在很多短期經濟價值的創造是基於結構化資料的,比如更好的廣告系統,更好的獲利建議,有更好的能力去處理很多公司擁有的海量資料庫,並用這些資料準確預測未來趨勢,在這門課中,我們會學到很多技巧,可以應用到結構化資料,也可以應用到非結構化資料,為了更清楚地解釋演算法原理,我們會多用非結構化資料的例子,但當你自己的團隊評估了各種神經網路的應用之後,希望你的演算法能夠同時學習結構化和非結構化資料,神經網路徹底改變了監督學習,整創造著巨大的經濟價值,其實呢 基本的神經網路背後的技術理念,大部分都不是新概念,有些甚至有了幾十年歷史了,那麼為什麼它們現在才流行,才行之有效呢?
下一級視訊中 我們將討論為什麼是最近神經網路才成為你可以使用的強大工具。

本節小結:

1 本節課主要講述了神經網路的三種結構:

      1.標準的神經網路 

      2.卷積神經網路 

      3. 迴圈神經網路

2 講述了三種神經網路的應用場景:

       1. 標準的神經網路主要應用於結構化資料(資料庫的資料)

       2.卷積神經網路 主要應用於影象類的應用,比如識別一個圖片上是否有一隻貓(非結構化資料)

       3. 迴圈神經網路主要應用於序列資料(非結構化資料),比如 文字識別,音訊檔案識別等等

3 監督學習的資料分為:結構化資料和非結構化資料

       1.  結構化資料是指我們通常用到的資料庫儲存的資料

       2.非結構化資料主要包括序列資料(音訊是以時間為資料序列的資料格式),影象(矩陣儲存畫素的資料格式)