以典型的分類問題為例，來梳理模型的訓練過程。訓練的過程就是問題發現的過程，一次訓練是為下一步叠代做好指引。

1.數據準備

準備：

• 數據標註前的標簽體系設定要合理
• 用於標註的數據集需要無偏、全面、盡可能均衡
• 標註過程要審核

整理數據集

1. 將各個標簽的數據放於不同的文件夾中，並統計各個標簽的數目
   如：第一列是路徑，最後一列是圖片數目。
   
   PS：可能會存在某些標簽樣本很少/多，記下來模型效果不好就怨它。
2. 樣本均衡，樣本不會絕對均衡，差不多就行了
   如：控制最大類/最小類<\(\delta\)，\(\delta=5\),最後一列為均衡的目標值。
   

3. 切分樣本集
   如：90%用於訓練，10%留著測試，比例自己定。訓練集合，對於弱勢類要重采樣，最後的圖片列表要shuffle；測試集合就不用重采樣了。
   

   訓練中要保證樣本均衡，學習到弱勢類的特征，測試過程要反應真實的數據集分布。
   第一列是圖片路徑，後面幾列是標簽(多任務)。
   
   

4. 按需要的格式生成tfrecord
   按照train.list和validation.list生成需要的格式。生成和解析tfrecord的代碼要根據具體情況編寫。

2.訓練

• 預處理，根據自己的喜好，編寫預處理策略。
  preprocessing的方法，變換方案諸如：隨機裁剪、隨機變換框、添加光照飽和度、修改壓縮系數、各種縮放方案、多尺度等。進而，減均值除方差或歸一化到[-1,1]，將float類型的Tensor送入網絡。
  這一步的目的是：讓網絡接受的訓練樣本盡可能多樣，不要最後出現原圖沒問題，改改分辨率或寬高比就跪了的情況。
• 網絡設計，基礎網絡的選擇和Loss的設計。
  基礎網絡的選擇和問題的復雜程度息息相關，用ResNet18可以解決的沒必要用101；還有一些SE、GN等模塊加上去有沒有提升也可以去嘗試。
  Loss的設計，一般問題的抽象就是設計Loss數據公式的過程。比如多任務中的各個任務權重配比，centorLoss可以讓特征分布更緊湊，SmoothL1Loss更平滑避免梯度爆炸等。
• 優化算法
  一般來說，只要時間足夠，Adam和SGD+Momentum可以達到的效果差異不大。用框架提供的理論上最好的優化策略就是了。
• 訓練過程
  finetune網絡，我習慣分兩步：首先訓練fc層，叠代幾個epoch後保存模型；然後基於得到的模型，訓練整個網絡，一般叠代40-60個epoch可以得到穩定的結果。
  
  
  total_loss會一直下降的，過程中可以評測下模型在測試集上的表現。真正的loss往往包括兩部分。後面total_loss的下降主要是正則項的功勞了。
  

3.評估模型

1.混淆矩陣必不可少
混淆矩陣可以發現哪些類是難區分的。基於混淆矩陣可以得到各類的準召，進而可以得到哪些類比較差。
如：列為真值，行為檢測的值。

進而可得：

PS：運動-休閑容易混淆。

2.抽樣看測試數據
從測試數據中每類抽1000張，把它們的模型結果放在不同的文件夾下。對於分析問題還是很有效的，為什麽它會分錯，要拿出來看看！
有些確實是人工標錯了。

3.CAM
通過CAM可以查看網絡究竟學到了什麽(是不是學錯了)。對於細粒度問題就不用分析CAM了，一般7x7的特征圖本來就很小了，根本就看不出細節學到了什麽，只能粗略看看部位定位是否準確。

也可以一定程度上幫助理解為什麽網絡會搞錯，比如下面的單鞋被誤判為了拖鞋。

深度學習的模型是怎麽訓練/優化出來的