效能度量

根據任務需求，需要有不同的效能度量方式，常規度量方式如下：

準確率：

精確率：

召回率：

PR曲線：

F1分數： 

覆蓋：

IoU：

ROC：曲線是以假正率（FP_rate）和真正率（TP_rate）為軸的曲線，ROC曲線下面的面積我們叫做AUC

預設的基準模型

根據任務型別，選擇預設的基準模型

序列一般就是LSTM和GRU，結構化一般就是卷積，其中啟用函式一般是ReLU或其變種。

優化演算法一般使用Adam，

初始一般不使用批標準化，如果優化出現問題再使用。

一般包含溫和正則，如提前終止earlystop和dropout。dropout和batchnormalize一般不同時使用，會有衝突。

如果已有近似領域的研究，可以使用遷移學習。

專案開始時考慮是否使用無監督學習。

覺得是否收集更多引數

首先確定訓練集上的效能是否可接受，可接受再增加模型規模調整超引數來看訓練效果，如果增大模型和調優效果不佳，可能是資料質量問題，可能需要重新收集訓練集。如果測試集效能比訓練集差很多，那主要考慮多收集資料。考慮收集資料的代價以及需要多少資料，可通過繪製資料量和泛化曲線之間的關係來得到。

選擇超引數

手動設定：

當只有實踐調整一個超引數時，首選學習率。一般是u型曲線。

調整其他引數時，需同時監控訓練誤差和測試誤差，判斷是否過擬合或欠擬合。

訓練集誤差大於測試集：增加模型能力。

訓練集誤差小於測試集：新增正則化

網格搜尋：

對數尺度中搜索，不斷縮小搜尋範圍。效率較低

隨機搜尋：

無需離散化超引數值，且效率較高

貝葉斯超引數優化：

TPE:

SMAC:

除錯策略

視覺化計算值模型的行為；

視覺化最嚴重的錯誤：在最容易出錯的地方著手修改。通過矩陣列出出錯項。

根據訓練和測試誤差檢測：通過看兩者的曲線來判斷過擬合或者欠擬合。

擬合極小的資料集：先從小資料集開始搞。

比較反向傳播導數和數值導數：看梯度是否正常，反向傳播導數和數值導數差值如何。

監控啟用函式值和梯度直方圖；