1. 程式人生 > >吳恩達機器學習筆記28-神經網絡的代價函數(Cost Function of Neural Networks)

吳恩達機器學習筆記28-神經網絡的代價函數(Cost Function of Neural Networks)

函數 style 訓練集 訓練 nbsp 循環 平方和 http 單元

  假設神經網絡的訓練樣本有??個,每個包含一組輸入??和一組輸出信號??,??表示神經網
絡層數,????表示每層的neuron 個數(????表示輸出層神經元個數),????代表最後一層中處理單元
的個數。
  將神經網絡的分類定義為兩種情況:二類分類和多類分類,
二類分類:???? = 0, ?? = 0 ???? 1表示哪一類;
??類分類:???? = ??, ???? = 1表示分到第i 類;(?? > 2)

技術分享圖片

我們回顧邏輯回歸問題中我們的代價函數為:

技術分享圖片

  在邏輯回歸中,我們只有一個輸出變量,又稱標量(scalar),也只有一個因變量??,但
是在神經網絡中,我們可以有很多輸出變量,我們的???(??)是一個維度為??的向量,並且我們


訓練集中的因變量也是同樣維度的一個向量,因此我們的代價函數會比邏輯回歸更加復雜一
些,為:

技術分享圖片

技術分享圖片

  這個看起來復雜很多的代價函數背後的思想還是一樣的,我們希望通過代價函數來觀察
算法預測的結果與真實情況的誤差有多大,唯一不同的是,對於每一行特征,我們都會給出
??個預測,基本上我們可以利用循環,對每一行特征都預測??個不同結果,然後在利用循環
在??個預測中選擇可能性最高的一個,將其與??中的實際數據進行比較。

  正則化的那一項只是排除了每一層??0後,每一層的?? 矩陣的和。最裏層的循環??循環所
有的行(由???? +1 層的激活單元數決定),循環??則循環所有的列,由該層(????層)的激活單
元數所決定。即:??? (??)與真實值之間的距離為每個樣本-每個類輸出的加和,對參數進行


regularization 的bias 項處理所有參數的平方和。

吳恩達機器學習筆記28-神經網絡的代價函數(Cost Function of Neural Networks)