基於深度學習和遷移學習的遙感影象場景分類實踐（AlexNet、ResNet）
卷積神經網路（CNN）在影象處理方面有很多出色的表現，在ImageNet上有很多成功的模型都是基於CNN的。AlexNet是具有歷史意義的一個網路，2012年提出來當年獲得了當年的ImageNet LSVRC比賽的冠軍，此後ImageNet LSVRC的冠軍都是都是用CNN做的，並且層數越來越深。可以說AlexNet的提出是具有里程碑式的意義的，它使得CNN成為影象識別分類領域的核心演算法，引來了深度學習的大爆發。
另一個有名的CNN模型是2015年何凱明團隊提出來的深度殘差網路ResNet，他引入了殘差模組，一定程度改善了網路的退化現象，為網路加深一定程度後網路分類精度隨著深度加深反而降低的現象提供瞭解決思路。
1.AlexNet
AlexNet主要特點：
- 修正線性單元：ReLU。ReLU函式的導數始終為1，使得計算量大大減小，收斂速度比sigmoid，tanh快很多。
- 防止過擬合方法：Dropout：通過定義的概率將神經元置為0，這個神經元如同被刪除；
資料擴充:當訓練資料有限時，將訓練資料變換進行擴充（eg.水平翻轉、裁剪、顏色、光照） - 重疊池化：一種避免過擬合的手段
- 增加區域性響應歸一化層 （LRN）：有助於增加泛化能力
2.ResNet
ResNet最顯著的特徵就是引入了殘差模組。
關於殘差為什麼能夠增加改善網路退化的問題，我比較贊同下面的說法：殘差模組的shortcut connection這種殘差跳躍式的結構使得ResNet打破了傳統神經網路只能逐層傳遞引數的方法，使得深度殘差網路可以越過中間的某幾層直接將引數傳遞給後面的層，起到了一種丟層的作用。隨機丟層網路和Dropout的提出都說明了忽略一些不那麼重要的網路層或神經元對於網路效能的提升是有促進作用的。殘差網路的這種結構使得每次工作的網路其實並沒有那麼深，某種意義上，可以看做是一些不同的淺層神經網路的組合。
3.選用資料集
NWPU-RESISC45 dataset：影象畫素大小為256256，總包含45個場景影象，每一類有700張，共31,500張;
UCMerced Land-Use dataset: 影象畫素大小為256256，總包含21類場景影象，每一類有100張，共2100張
4.實驗結果
AlexNet在NWPU上分類結果
ResNet在NWPU上分類結果
AlexNet在UCM上分類結果
ResNet在UCM上分類結果
5.遷移學習
首先在NWPU上訓練一個AlexNet模型，將最後三層45類的分類器替換成針對UCM的21類分類器，然後對UCM進行分類。
遷移前後分類結果對比
遷移前
遷移後
可以看到，遷移後分類準確率提升了，而且收斂的更快了。