An overview of multi-modal medical image fusion

原文：https://www.sciencedirect.com/science/article/pii/S092523121630649X
摘要
1.特點：
（1）影象分解，影象重建
（2）影象融合規則
（3）影象質量評估
（4）基準資料集上的實驗
１.簡介
1.成像方式：
（１）MRI：核磁共振成像
軟組織清晰度、高空間解析度，缺乏身體代謝的動態資訊
（２）CT：計算機斷層掃描
成像時間段、解析度高，組織表徵受限
（３）PET：正電子發射斷層掃描
高靈敏度、低解析度
（４）SPECT：單光子發射計算機斷層掃描
核成像
２.醫學影象融合傳統三類：
（１）MRI－ＣＴ
（２）MRI－PET
（３）MRI－SPECT
３.傳統影象融合方法：
（１）影象分解和重建
強度－色度－飽和度、金字塔、獨特小波、非下采樣輪廓波、剪下波、稀疏表示、顯著特徵
（２）影象融合規則
模糊邏輯、主要成分分析、人類視覺系統、人工神經網路、脈衝耦合神經網路、互動資訊、指令對比
（３）影象質量評估
峰值信噪比、均方差、熵、空間頻率、通用影象質量指標、結構相似性、自然影象質量評估
２.影象分解和重建

２.１彩色空間方法
１.通過RGB－IHS變換轉換為IHS顏色空間的影象，IHS－RGB重建

２.２金字塔

步驟：
（１）i層殘差圖＝i層過濾器＊i層金字塔
i+１層金字塔＝i層金字塔－i層殘差圖
ｉ＝１，２，３.．．金字塔的層數
１層金字塔為原始影象
（２）融合影象＝最後一層金字塔圖＋所有層殘差圖的和
２.３基於小波變換的方法

２.４稀疏表示方法
１.影象１和影象二轉化為向量V通過滑動視窗
２.輸入的圖向量用過度完整的字典稀疏表示
向量Ｖ＝影象１２交集VC＋影象１２差集VU
交集VC＝過完整字典＊稀疏矩陣係數SC
差集VU=過完整字典x稀疏矩陣係數SU
3.通過融合規則來得到備用係數
備用係數SF=SC和SU的函式
4.融合向量VF=過度完整字典x備用係數SF
5.融合影象IF通過迭代向量VC和VG

顯著特徵法
基於邊緣保留濾波器的融合方法：
1.i層的基礎層=影象強度*i層邊緣保留濾波器
i層詳細曾=影象I-i層基礎層
2.融合影象基礎層=兩張融合影象基礎層的函式
融合影象詳細曾=兩張融合影象詳細層的函式
3.融合影象=融合基礎層+融合詳細層

影象融合規則
融合規則四部分：
1.活動級測量：反應係數顯著性
2.係數分組
3.係數組合：最大規則MR，平均規則AR，加權平均規則WAR
4.一致性檢驗
融合規則的三個層面的實現：畫素、決策、特徵
3.1模糊邏輯
1.屬於決策層面
2.通過提取特徵求CW權重，cw是模糊邏輯的權重
3.2統計
1.PCA主成分分析法
輸入係數C1 C2
協方差矩陣=係數-平均值的期望
構成係數由協方差矩陣的特徵向量計算
融合係數=構成係數x輸入係數
2.HMT隱馬爾科夫樹
HMT狀態轉移率
i層融合係數=轉移狀態和x概率密度函式
選擇大的為融合係數
3.3人類視覺系統
1.可見度與維度影象均值和強度有關
2.SUSAN每個畫素與區域性相似的區域相關聯
3.PCNN脈衝耦合神經網路
接受域、調製域、脈衝發生器
強度對應神經細胞
4.RIM retina-inspired model 視網膜啟發模型
一層：光感受器陣列
二層三層：空間特徵提取器和水平單元
四層五層：雙極和神經細胞節
融合係數=過濾器x強度分量
3.4客觀評估指標
1.空間頻率SF＝根號下（行頻率方RF＋列頻率方CF）
SF‘＝加上對角頻率
2.空間頻率誤差比rSFe
3.小波熵WE
與計算密度能量與總能量的比有關
4.指向對比度DC
高頻和低頻的比率
5.信噪比SNR
6.互資訊MI