基於深度神經網路的高光譜影響分類方法研究---MNF+自動編碼器+Softmax (準確率比較低,17年的論文)
基於深度神經網路的高光譜影響分類方法研究
裝備學院學報
遙感影像分類的問題:預處理複雜,高維特徵提取困難,分類不夠精確等缺陷
首先採用最大噪聲分數來降低特徵空間維度,然後將自動編碼器與softmax多想邏輯迴歸分類器組合成含有多隱藏層的神經網路,對高光譜影像進行非監督型深度特徵提取與分類。
0、引言
高光譜影像分類問題:低空間解析度導致混合像元現象、波段間高相似性導致Hughes現象、端元與光譜不對應導致資料結構高度非線性等原因,使得高光譜影像資料一致都是具有挑戰性的熱點問題
監督學習、半監督學習、非監督學習
但是監督學習會面臨下面的問題:
1.實際問題中標籤資料稀缺,難以方便獲得
2.求解高度非凸優化問題時會存在大量區域性極值
3.使用梯度下降法時會發生彌散問題
非監督多隱藏層的自動編碼器深度神經網路演算法
1.MNF方法和自動編碼器基本原理
1.1 MNF方法
不同波段下的高光譜影像組合成一個數據立方體,每一幅影像中像元記錄的是對應瞬時視場(IFOV)內地物的輻射資訊,每個像元在不同波段中的輻射資訊組成了一個連續光譜曲線。
為什麼在資料處理之前通常對資料維度做一些預處理呢?
在狹長的頻寬中存在數百個頻帶,且相鄰頻帶之間具有高相關性,導致了資訊冗餘與高維資料處理困難等問題,還會產生Hughes現象。
因此在分類之前需要對高光譜影像進行降維預處理,即對高維度影像資訊用低維資料資料來簡單表徵,在降低資料量的同時優化地物的特徵提取。
MNF(最小噪聲分離變換,在ENVI中可以實現的操作)變化實現降維,基本原理是通過正交線性變換將所有波段的數投影到新的特徵空間中是彼此互不相關,並按照個影像質量由大到小排列各成分,影像質量的衡量標準是信噪比。
1.2 自動編碼器
無監督學習目的就是讓輸出y接近輸入x,可以模擬x,注意沒有標籤的,只是讓輸出y代替輸入x。
2.演算法設計
增加隱藏層層數顯然要比直接增加隱藏層神經元數量更加有效。
特徵提取:
輸入
設計網路 啟用函式
損失函式 交叉熵損失代價函式 優化器
BP反向傳播 更新權重
自動編碼器最後一層輸出,即對原始輸入資料最高階的特徵表達
分類器:
Softmax迴歸模型 (根據所給的樣本值來推斷屬於某一類的概率)
步驟:
1.MNF變化
2.初始化引數
3.訓練自動編碼器
4.softmax分類
5.BP網路調整權重引數(我發現BP網路就是附帶反向傳播演算法的網路,通常在自動編碼器最後設定一層,但是就目前主流的cnn而言,是不存在這個問題,在框架中直接使用卷積神經網路)
3.實驗結果
3.1 實驗測試集
Indian Pines
Pavia
3.2 實驗結果與分析
0.2用於訓練,0.8測試
Indian Pines :1個輸入層、2個隱藏層、一個輸出層。
180 120、120 16
Lr=0.05
預訓練80次,微調200次?(這個怎麼調次數?)
Pavia: 1個輸入層、4個隱藏層、 1個輸出層
90 70、70、70、70 9
Lr=0.05
預訓練80次,微調200次
平均分類準確率:(這個算是很低了)
90.54%,88.44%