loss簡介

  為了訓練我們的模型，我們首先需要定義一個指標來評估這個模型是好的。反過來想，在機器學習，我們通常定義指標來表示一個模型是壞的，這個指標稱為成本（cost）或損失（loss），然後儘量最小化這個指標。但是，這兩種方式是相同的。

常見的損失函式

  1）Cross-Entropy；
  2）MSE，sigmoid和softmax；
  3）K-L散度

分類loss

  對於分類loss，是一個N+1路的softmax輸出，其中的N是類別個數，1是背景，使用softmax分類器。

迴歸loss

  對於迴歸loss，是一個4xN路輸出的bounding-box regressor（有4個元素(x,y,w,h)，左上角座標(x,y)，寬w，高h），也就是說對於每個類別都會訓練一個單獨的regressor。
  線性迴歸只適用於因變數為連續型變數，多項邏輯迴歸是因變數有多個取值。