1. 程式人生 > >深度學習:乳腺 BI-RADS classification ,co-registration ,DoG

深度學習:乳腺 BI-RADS classification ,co-registration ,DoG

paper:BI-RADS Classification of breast cancer:A New pre-processing pineline for deep model training

  • BI-RADS:7個分類 0-6 
  • dataset:InBreast 
  • pre-trained:Alexnet 
  • data augmentation :base on co-registraion is suggested,multi-scale enhancement based on difference of Gaussians  outperforms
    using by mirroing the image

input:original image or pyramid of scales or DoG

augmentation :no data augmentation or proposed method 

imbalance:original proportion原始部分 or undersampling下采樣 

1、流程:

2、影象擴增 n->n*(n-1)

 

3、DoG  一通道變成三通道

 

 

4、mean basolute error 平均絕對誤差

 

5、實驗結果

balance :yes or no  :original proportion原始部分 or undersampling下采樣 

 

名詞解釋

一、圖片金字塔  pyramid of scales image

影象resize 

其實非常好理解,如上圖所示,我們將一層層的影象比喻為金字塔,層級越高,則影象尺寸越小,解析度越低。

兩種型別的金字塔:

  • 高斯金字塔:用於下采樣,主要的影象金字塔;
  • 拉普拉斯金字塔:用於重建影象,也就是預測殘差(我的理解是,因為小影象放大,必須插入一些畫素值,那這些畫素值是什麼才合適呢,那就得進行根據周圍畫素進行預測),對影象進行最大程度的還原。比如一幅小影象重建為一幅大影象,

影象金字塔有兩個高頻出現的名詞:上取樣和下采樣。現在說說他們倆。

  • 上取樣:就是圖片放大(所謂上嘛,就是變大),使用PryUp函式
  • 下采樣:就是圖片縮小(所謂下嘛,就是變小),使用PryDown函式

下采樣將步驟:

  1. 對影象進行高斯核心卷積
  2. 將所有偶數行和列去除

下采樣就是影象壓縮,會丟失影象資訊。

上取樣步驟:

  1. 將影象在每個方向放大為原來的兩倍,新增的行和列用0填充;
  2. 使用先前同樣的核心(乘以4)與放大後的影象卷積,獲得新增畫素的近似值。

上、下采樣都存在一個嚴重的問題,那就是影象變模糊了,因為縮放的過程中發生了資訊丟失的問題。要解決這個問題,就得看拉普拉斯金字塔了。

 

二、co-registration:影像融合

DoG:Difference of Gaussian 角點檢測

灰度影象增強和角點檢測的方法,其做法較簡單,證明較複雜,具體講解如下:

Difference of Gaussian(DOG)是高斯函式的差分。可以通過將影象與高斯函式進行卷積得到一幅影象的低通濾波結果,即去噪過程,這裡的Gaussian和高斯低通濾波器的高斯一樣,是一個函式,即為正態分佈函式

那麼difference of Gaussian 即高斯函式差分是兩幅高斯影象的差

一維表示:

二維表示:

 

具體到影象處理來講,就是將兩幅影象在不同引數下的高斯濾波結果相減,得到DoG圖

1. 處理一幅影象在不同引數下的DoG

  1. A = Process(Im, 0.3, 0.4, x);  
    B = Process(Im, 0.6, 0.7, x);  
    a = getExtrema(A, B, C, thresh);  

    其中,

  2. function [ out_img ] = Process( img, sig1, sig2, size )  

     

是求影象DoG的結果,兩個高斯平滑引數分別為sig1和sig2,結果如下:

  1. A = Process(Im, 0.3, 0.4, x);  

     

 

 

  1. B = Process(Im, 0.6, 0.7, x);  

  1. C = Process(Im, 0.7, 0.8, x);  

2. 根據DOG求角點

Theory:DOG三維圖中的最大值最小值點是角點

X標記當前畫素點,綠色的圈標記鄰接畫素點,用這個方式,最多檢測26個畫素點。X被標記為特徵點,如果它是所有鄰接畫素點的最大值或最小值點。

因此在上一步計算出的A,B,C三個DOG圖中求圖B中是極值的點,並標記(max:1;min:-1)

  1. a = getExtrema(A, B, C, thresh);  
  2. figure;  
  3. imshow(a, [-1 1]);   

結果:

黑色為極小值,白色為極大值

最後在原圖上予以顯示:

 

就得到了一幅圖的DOG角點檢測結果。

三、mean basolute error 平均絕對誤差

1、顯著性目標檢測簡介
顯著性目標(Salient Object):
當我們在看一張圖片時,注意力首先會落在我們所感興趣的物體部分。比如我們看到一張畫有羊吃草的影象時,我們一般會先注意草坪上的羊,而不是羊的背景,所以我們把該圖中的羊就定義為影象的顯著性目標。

顯著性目標檢測(Salient Object Detection):
即讓計算機學會跟人類一樣,自動檢測並提取輸入影象中的顯著性目標。

評價指標(Evaluation Metrics):
顯著性目標檢測演算法常用的評價指標有:平均絕對誤差(Mean Absolute Error, MAE),PR曲線(Precision-Recall curves)以及F度量值(F-measure)。

這些度量指標我會依次介紹並程式設計實現,在本篇部落格中,主角是平均絕對誤差(Mean Absolute Error, MAE)。

2、Mean Absolute Error(MAE) 原理
MAE就是直接計算模型輸出的顯著性圖譜與Ground-truth 之間的平均絕對誤差,首先將兩者進行二值化,然後用下面的公式進行計算 [1]。