【Yolo的聽課筆記一】深度學習初步 Softmax, DNN, Wide&&Deep Model

我是剛剛接觸計算機視覺的小白Yolo，很多知識都處於摸索階段。為了記錄自己的學習歷程，我在這裡把自己的學習內容進行總結.
聽課筆記系列是為了整理自己在各個課程中的筆記，主要是回顧課堂內容，也融入了一些自己的理解和網上資料。

目錄

背景介紹

深度學習的應用

深度學習在計算機視覺、自然語言處理等很多方面都有非常廣泛的應用。這方面的資料比較多，在這裡只對課堂上講過的幾種簡單進行總結如下：
- 計算機視覺：包括影象分類，影象檢索、風格遷移、無人駕駛等
- NLP上的應用：模仿寫作、程式碼編寫、文字識別等
- 綜合應用：看圖說話等

神經網路非線效能力及原理

得分函式

得分函式：得分函式是一種輸入到輸出的對映關係。對於一個給定的輸入，比如一張小貓的圖片，通過一系列複雜的變換能得到這個輸入對應於每個類別的得分數值，分數最大的對應類別就是分類結果。

計算過程：得分函式的形式一般記為：

f(x,W)=Wx∔b$$f\left(x,W\right)=Wx\dotplus b$$ 其中x$x$為輸入的一個列向量，W$W$為權重矩陣。
舉個例子：一張圖片是32*32*3（長寬為32個畫素，3位通道），那就可以構建一個32*32*3=3072維的一個列向量，把他作為x$x$輸入。假如要分為10類，那麼W$W$就是一個10*3072的一個矩陣。W∗x$W\ast x$後得出一個10*1的一個列向量f，把它作為得分函式。

計算例項:為了方便分析，我們用一個4*4*3的影象進行分析，它由四個畫素點組成，我們將其拉成一個列向量xi$x_i$，權重引數W$W$是一個3*4的矩陣，輸出為一個1∗3$1\ast 3$的列向量，引數b$b$為偏置項。我們最終得到這隻小貓屬於每個類別的得分數值。

損失函式

損失函式：損失函式是一個衡量錯誤和損失程度的函式。上文中得分函式給出了輸入與輸出之間的關係，我們可以得到三個類別對應的數值，但無法對分類效果進行評判，損失函式即是為解決這個問題而提出的。

注意點
- 對於一個給定的W$W$,我們可以由畫素對映到類目得分，根據得分和實際的差異，我們可以調整引數W$W$,使對映結果與實際類別吻合.從這個角度考慮，損失函式就是用來衡量吻合度的。
- 損失函式又被稱為代價函式（cost function ）或客觀度（objective）

hinge loss/支援向量機損失

hinge loss:在機器學習中，hinge loss常作為分類器訓練時的損失函式。hinge loss用於“最大間隔”分類，特別是針對於支援向量機（SVM）.

• hinge loss表示所得分類與標準答案之間的差異,通過設定”警戒線”進行差異的比較.線上性模型中,設定了與正確分類點距離為Δ$\mathrm{\Delta }$的點作為警戒,從而損失函式為: -
  
• 例項分析
  

交叉熵損失
為了能更直觀的對得分情況進行比較,我們在這裡把得分轉化為概率,這個轉化過程由一個單調函式完成.於訓練集中的第i張圖片資料xi$x_i$在W下會有一個得分結果向量yi$y_i$，則損失函式記作

• 對兩種損失函式的理解:
  一方面,hinge loss函式沒有進過歸一化,而交叉熵函式是經過歸一化的函式.在另一方面,交叉熵函式用概率來衡量分類的效果,不可能達到最優情況(概率為0),而hinge loss函式可以達到最優情況(只需所有的分類情況都在警戒線之外即可).
  

神經網路

神經網路是由輸入層 ,隱層和輸出層組成。由感知器可以延申得到淺層神經網路和深度神經網路!

神經網路完成邏輯與

當三個權值分別為-30,20和20時,輸出值為

g(−30∔20x1∔20x2)$$g\left(-30\dotplus 20x_1\dotplus 20x_2\right)$$當且只當x1$x_1$,x2$x_2$為1這個值大於0,此時即稱為邏輯與.

所得到的邊界由取交集獲得

神經網路完成邏輯或

當三個權值分別為-10,20和20時,輸出值為

g(−10∔20x1∔20x2)$$g\left(-10\dotplus 20x_1\dotplus 20x_2\right)$$當x1$x_1$或x2$x_2$為1這個值大於0,此時即稱為邏輯或.

###神經網路的非線性切分
結合神經網路線性分類器的邏輯與和邏輯或操作,我們可以對影象進行非線性操作:

隨著結構的變化,神經網路對影象的分類能力也會發生變化:

神經網路的表達力和過擬合

單隱層神經網路從理論上講可以對任何連續函式進行擬合,但隨著隱含層數目的增多,神經網路的擬合能力變強.
雖然一定程度上結構的複雜化可以提高神經網路的有關效能,但如果結構過於複雜則會導致過擬合.

傳遞函式

sigmoid函式和雙S函式是我們在機器學習裡經常用到的兩種傳遞函式,值得一提的是,sigmoid函式具有較好的數學特性,處處可導且其其導數為:

f′(x)=f(x)(1−f(x)).$$f^{\prime }\left(x\right)=f\left(x\right)\left(1-f\left(x\right)\right).$$

神經網路之BP演算法

在後續文章中將對BP神經網路進行詳細推導,此處不再贅述