這篇博文是作者的一個實驗筆記，研究一個”飛機-背景“二分類器在不同樣本比例下精度，召回率的規律。

1. 問題描述

　　固定正樣本（飛機）2000個，改變負樣本（背景）的訓練資料量
1 : 0.5 、 1 : 1 、 1 : 2 、 1 : 5 、 1 : 10 、 1: 30.
隨著負樣本數量的增多，類間資料量不均衡的情況更為顯著。
　　測試時，分別隨機選取4096張飛機、背景樣本（不出現在訓練集），對在每一種資料比例上訓練的模型進行測試。

飛機分類的精度提升，召回率降低；
背景分類的精度降低，召回率升高。

　　將這個問題歸結為“類間樣本數量不平衡對分類結果的影響”

問題。
　　

2. 思考

1.問題抽象

　　將探討問題歸結為”類間資料量（比例）不平衡對分類結果的影響”問題。
2.思考點：

2.1誰是引起這一變化的主因？

　　對於飛機分類，隨著負樣本增多，精度上升，召回率下降；
　　對於背景分類，精度下降，召回率上升。
誰是主因？誰是從因？
　　在這個實驗中，飛機樣本資料不變，是控制變數。負樣本（背景）資料量逐漸增加，首先應該分析由於負樣本增加而造成的精度、召回率變化；其次，要分析精度上升和召回率下降，哪一個變化是直接由負樣本資料量最大引起的。

3.假設

3.1從模型訓練的動力角度解釋

　　當類間資料量相差較大時，模型傾向於將樣本判別為資料量大的樣本，即可獲得較低的損失，沒有動力繼續優化引數。
　　極端的例子：訓練樣本中A類1個樣本，B類100個樣本，那麼模型將樣本判別為B類即可獲得很低的損失值，從而失去繼續訓練優化的動力，網路效能弱。
分析實驗結果的混淆矩陣：

　　從混淆矩陣來看：
　

隨著負樣本（背景）佔比越來越大，模型將更多原屬於飛機類的樣本判別為背景【觀察第一行】。
而越來越少的背景樣本被劃分到飛機類別。從而背景分類的召回率增高，精度下降。

3.2 資料量大的類別擬合的更好

　　一個直觀的假設是：在類間資料量不平衡的訓練過程中，模型對資料量多的類別的分佈擬合的更好，導致對該類的分類效能更好。
　　這個假設基於：某型別資料量越多，對模型的引數修改的越多，模型越能刻畫一型別的分佈，從而更好分類。
　　這一假設有一些沒有問題沒有解釋：

當背景樣本資料量變大時，為什麼是召回率上升？為什麼只有召回率上升？

4 .一些啟發

　　訓練樣本類間資料量的不平衡會引起分類效能的改變。具體到這一實驗：資料量越大的類別，其召回率會更高，相應地會損失一些精度。

5. TODO LIST

5.1 自動平衡樣本，觀察是否改善分類效能

　　拷貝資料量少的類別的樣本，使得兩類的樣本數目一致。觀察自動平衡資料對分類結果是否有改進。

5.2 閱讀“類間資料不平衡”相關文獻

Investigation on handling Structured & Imbalanced Datasets with Deep Learning
After extensive investigations, it does seem that Deep Learning has the potential to do well in the area of structured data. We investigate class imbalance as it is a challenging problem for anomaly detection. In this report, Deep Multilayer Perceptron (MLP) was implemented using Theano in Python and experiments were conducted to explore the effectiveness of hyper-parameters.