1. 程式人生 > >手機屏缺陷檢測《Scale insensitive and focus driven mobile screen defect detection in industry》

手機屏缺陷檢測《Scale insensitive and focus driven mobile screen defect detection in industry》

文章連結:https://ac.els-cdn.com/S0925231218302996/1-s2.0-S0925231218302996-main.pdf?_tid=e6efda84-db95-47f2-8203-7a407e4f7265&acdnat=1540366950_8c37c8bf50b3fa2fb0796865363b7906

簡單對文章的思路大概寫一下,主要的物件就是檢測手機屏表面的各種常見缺陷。主體就是network with merging and splitting strategies (MSDDN)+recurrent neural network (SCN),MSDDN是作者構建的一種網路,用於提取原影象各個塊的特徵向量,將每個塊的特徵向量輸入一個RNN網路判別影象是否有缺陷。因為文章簡單,所以分以下幾點說明一下。

1.文章的前兩部分總結為幾句話:手機表面質量對這個產品和行業影響很大,但是主要靠人工檢測的方法有很多的問題,所以急需一些機器視覺系統。目前的檢測方法主要是基於濾波器的邊緣檢測方法,比如sobel運算元,Roberts運算元,Canny等,也有一些學者感覺這些運算元對小的缺陷型別檢測的不好,提出使用影象重構的方法,比如:奇異值分解和傅立葉變換。然後一些研究者開始人為的去構建一些特徵模組,來進行區域性缺陷檢測,比較常用的是Haar-like features include four types, namely, edge features, linear features, center-around features, and diagonal features)。在眾多特徵中為了挑選一些好的特徵,Adaboost 演算法開始使用進行篩選。

2.作者通過觀察,得知缺陷區域影象的尺寸大小對人類視覺系統影響很大(確實很大,不就是解析度的問題嘛),作者開始進行實驗,實驗步驟如下:

  • 將不同缺陷的影象塊按一定係數放縮;
  • 將放縮後的不同尺寸的影象輸入AlexNet網路,看各個網路層的feature map啟用情況。截圖如下。
不同方法系數的效果圖

從上圖可以看出,不同的放大尺寸觀察的效果確實不一樣。不知道作者是不是直接對影象進行放大的,具體的細節沒看,其實影象的放大可以採用的方法很多。

不同卷積層對缺陷影象的啟用情況

上圖可知,後三層的feature map啟用的情況較好。

所以作者就想從不同的尺寸對影象進行特徵抽取,這個思想怎麼感覺像Google inception網路的 單元模組,和SSD等檢測網路中的跳躍連結,將底層的特徵和高層特徵融合。不管了,作者給出了特徵提取網路的核心模組,下圖右邊。

Left: an ensemble model. Right: MSDDN with B = 3 and W = 4. There are W paths from input to output in a block, where each path will pass through 0 to W - 1convolution layers, respectively. The padding operations is adopted to ensure the same output size from different paths.

最後作者將一個原始影象分成多個模組進行特徵提取,然後將提取的特徵輸入RNN網路進行判別,如下:

3.作者在實驗中,使用了簡單的資料擴充方法對樣本進行擴充。不過對於顯示屏檢測這個領域有些缺陷很明顯,有的缺陷真的是肉眼都難以分辨,通過微妙的色調變換,就構成了缺陷。看下圖。

很難分辨的缺陷
很好分辨的缺陷