Journal of Information Hiding and Multimedia Signal Processing - 2018

Diabetic Retinopathy（DR） 糖網病——“糖尿病視網膜病變”的簡稱，糖尿病會引起視網膜血管失調。

目錄

1 Background and Motivation

Diabetic retinopathy (DR) is one of the leading causes of blindness, but the classication of DR requires experienced ophthalmologist to distinguish the presence of various small features

Therefore, automated DR classication is essential for medical treatment.

DR progresses through five stages:

• normal 正常
• mild non-proliferative DR (NPDR) 輕度非增殖 DR
• moderate NPDR 中度非增殖 DR
• severe NPDR 重度非增殖 DR
• proliferative DR (PDR) 增殖期 DR

automated DR classication schemes

• conventional image-analysis based schemes（low-level，在小資料集上，易overfeat，poor in actual scenes）
• deep learning based schemes（ignore the local pairwise feature，用的時softmax classifier）

為了處理 deep learning based schemes 的 two problems，作者提出

• a compact bilinear pooling CNN
• GBDT 替代 softmax

2 Innovation

Compact Bilinear Pooling CNN and Gradient Boosted Decision Tree

• 針對在糖網病分級中具有鑑別力的特徵位於眼底影象的某個區域性，特徵粒度細的特點，將糖網病自動分級看做細粒分類問題，引入雙線性池化演算法獲取眼底影象中重要區域性位置資訊。

• 考慮到雙線性流池化方法需要計算外積導致計算代價大，演算法引入緊湊雙線性池化方法，通過採用 Count Sketch projection 方法對雙線性池化進行降維處理，減小計算代價

• 考慮到CNN模型所採用的分類器為softmax，難以很好的表達複雜的區域性位置資訊特徵，演算法採用GBDT分類器替換 softmax分類器以提升自動分級演算法的效能

3 Advantages

achieves a superior performance in terms of the Kappa score, F1-score and AUC

4 Methods

4.1 Compact Bilinear Pooling CNN

4.1.1 Compact Bilinear Pooling

stream A 和 stream B 計算出來的特徵圖大小都為 C×H×H，經過out product（X∗XT$X\ast X^T$） 計算後，dimension 為 C*C，本演算法中 C = 512，C2$C^2$ 達到了驚人的 26萬之多，這是不能接受的。為了減少計算量，作者採用了 Count Sketch projection 方法，在不損失精度的同時將維度從c2$c^2$降到了d，其中 d<<c2$d<<c^2$。

4.1.2 Network Architecture

VGG 把 fc6 和fc7 去掉，換成 compact bilinear pooling 層+ Signed Square Root+L2 normalization

4.2 Gradient Boosted Decision Tree

用的 XGboost

5 Dataset and Data Preparation

5.1 Dataset

EyePACS

80% for training 10% for validation 10% for test

5.2 Data Preparation

5.2.1 Image preprocessing

• resize images ranges from 2592×1944 to 4752×3168，作者為了減少計算量，都 resize 到 448×448

• color enhancement

  

G(x,y,ρ$\rho$) represents the Gaussian lter with a standard deviation of ρ$\rho$ * denotes the convolution operator α,β,ρ,γ$\alpha ,\beta ,\rho ,\gamma$ designed empirically as 4, -4, 10, 128 respectively.

5.2.2 Data Augmentation

• re-sampling
• spatial translation rotation
• crop

6 Experiments and Results

GTX TITAN X GPU mini-batch of 64

6.1 Kappa score

proposed scheme 相比 Compact bilinear CNN，區別在於把 softmax 改成了 GBDT

6.2 F1-score

注意到 Mild NPDR效果普遍很差，因為該類細胞很小，resieze 後基本是 a small round dot，很多會被誤認為時 Normal

6.3 ROC and AUC