# Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs > 來源：IEEE TGRS 2020 > > 下載：https://arxiv.org/abs/2002.01144 ## Abstract 本篇論文的主要工作就是基於資訊融合的分類任務。 在這篇論文中，作者通過使用兩個耦合的CNN，提出一種融合高光譜和LiDAR資料的框架。設計一個CNN從高光譜資料中瞭解光譜空間特徵，另一個則用於捕獲來自LiDAR資料。它們都由三個卷積層組成，最後兩個卷積層通過引數共享策略。在融合階段，特徵級融合和決策級融合方法同時用於整合這些充足的異質特徵。對於特徵級融合，評估了三種不同的融合策略，包括串聯策略，最大化策略和求和策略。對於決策級融合，加權採用求和策略，確定權重通過每個輸出的分類精度。 提出的模型根據在美國休斯頓獲得的城市資料集進行評估，還有在義大利Trento農村地區捕獲的資料。在休斯頓資料中，作者的模型可以達到新記錄，整體精度為96.03％。在Trento資料上，其總體精度為99.12％。這些結果充分證明了作者提出的模型的有效性。 ## INTRODUCTION 文中模型的資料來源是兩幅異質影象——高光譜影象（HSI）和鐳射雷達（LiDAR）影象。 HSI影象相比MSI具有更豐富的光譜資訊，但是對於同一材質的物體區分性較弱，他們具有相似的光譜迴應。不同於HSI，LiDAR可以記錄物體的海拔資訊，能夠為HSI提供補充，二者優勢互補。 例如：區域中的樓房和道路由同樣的混凝土結構組成，HSI影象很難區分二者之間的差別，但是LiDAR影象則可以準確區分出樓房和道路，因為他們有不同的高度。相反，LiDAR無法區分兩條用不同材料（瀝青和混凝土）組成的道路，而可以用HSI。因此，融合高光譜和LiDAR資料是一種很有前途的方案，其效能已經得到了驗證。 ## METHODOLOGY  作者提出的模型主要包括兩個網路：用於光譜空間特徵學習的HSI網路和用於海拔特徵學習的LiDAR網路。 它們每個都包含一個輸入模組，一個特徵學習模組和融合模組，如上圖所示。在特徵學習模組中，輸入的HSI影象和LiDAR影象分別通過一個三層的網路結構進行特徵提取，三層網路結構中的後兩個卷積層權值共享。權值共享能夠減少網路引數，而且有利於兩個分支統一優化。特徵提取後則進入資訊的融合模組，在融合模組中，構造了三個分類器，每個CNN都有一個輸出層，它們的融合特徵也具有輸出層。  如圖2所示，兩組影象特徵首先通過特徵級融合 $F$ 獲得特徵級融合特徵$F3=F1+F2$ 或者 $F3=max(F1,F2)$，特徵級融合可以採用逐元素相加或者Max函式。然後對上述 $F1,F2,F3$ 分別以下操作： $$y1=softmax(W1F1), y2=softmax(W2F2), y3=softmax(W3F3), y1,y2,y3\in R^{c*1}$$ 然後文中使用決策級融合 $D$ 獲得最終的融合特徵：$O=F1\odot y1+F2\odot y2+F3\odot y3$，$\odot$ 為加權操作。 然後 $L1$ 表示HSI影象（$y1$）的交叉熵損失，$L2$表示LiDAR影象（$y2$）的交叉熵損失。$L3$表示融合資訊（$O$）的交叉熵損失。所以最終的損失函式為： $$L=\lambda1L1+\lambda2L2+L3$$ ## EXPERIMENTS    ## CONCLUSIONS 在將來需要探索更強大的鄰近提取方法，因為當前的分類圖仍然存在過度平滑的