引言
機器視覺中缺陷檢測分為一下幾種：
- blob分析+特徵
- 模板匹配（定位）+差分
- 光度立體：halcon——缺陷檢測常用方法總結（光度立體） - 唯有自己強大 - 部落格園 (cnblogs.com)
- 特徵訓練
- 測量擬合
- 頻域+空間域結合：halcon——缺陷檢測常用方法總結（頻域空間域結合） - 唯有自己強大 - 部落格園 (cnblogs.com)
- 深度學習
本篇主要總結一下缺陷檢測中的定位+差分的方法。即用形狀匹配，區域性變形匹配去定位然後用差異模型去檢測缺陷。
模板匹配（定位）+差分
整體思路（形狀匹配）：
- 先定位模板區域後，求得模板區域的座標，建立物品的形狀模板create_shape_model，注意把模板的旋轉角度改為rad(0)和rad(360)。
- 匹配模板find_shape_model時，由於物品的缺陷使形狀有區域性的改變，所以要把MinScore設定小一點，否則匹配不到模板。並求得匹配項的座標。
- 關鍵的一步，將模板區域仿射變換到匹配成功的區域。由於差集運算是在相同的區域內作用的，所以必須把模板區域轉換到匹配項的區域。
- 之後求差集，根據差集部分的面積判斷該物品是否有缺陷。
模板匹配（定位）+差分的方法主要用來檢測物品損壞，凸起，破洞，缺失，以及質量檢測等。
halcon例程分析：
1，印刷質量缺陷檢測（print_check.hdev）
該例程用到了差異模型，將一個或多個影象同一個理想影象做對比，去找到明顯的不同。進而鑑定出有缺陷的物體。差異模型的優勢是可以直接通過它們的灰度值做比較，並且通過差異影象，比較可以被空間地加權。
變化模型檢測缺陷的整體思路：
- create_variation_model —— 建立一個差異模型
- get_variation_model —— 獲得差異模型
- train_variation_model —— 訓練差異模型
- prepare_variation_model —— 準備差異模型
- compare_variation_model —— 比較模型與例項
- clear_variation_model —— 清除差異模型
dev_update_off ()
* 選擇第1張影象建立形狀模板
read_image (Image, 'pen/pen-01')
get_image_size (Image, Width, Height)
dev_close_window ()
dev_open_window (0, 0, Width, Height, 'black', WindowHandle)
set_display_font (WindowHandle, 16, 'mono', 'true', 'false')
dev_set_color ('red')
dev_display (Image)
* 把我感興趣的區域摳出來，原則上範圍越小越好，因為這樣建立模板時干擾會少很多
threshold (Image, Region, 100, 255)
fill_up (Region, RegionFillUp)
difference (RegionFillUp, Region, RegionDifference)
shape_trans (RegionDifference, RegionTrans, 'convex')
dilation_circle (RegionTrans, RegionDilation, 8.5)
reduce_domain (Image, RegionDilation, ImageReduced)
inspect_shape_model (ImageReduced, ModelImages, ModelRegions, 1, 20)
gen_contours_skeleton_xld (ModelRegions, Model, 1, 'filter')
* 獲得摳圖區域的中心，這是參考點
area_center (RegionDilation, Area, RowRef, ColumnRef)
* 建立形狀模板
create_shape_model (ImageReduced, 5, rad(-10), rad(20), 'auto', 'none', 'use_polarity', 20, 10, ShapeModelID)* 建立變化模型（用於和缺陷比較）
create_variation_model (Width, Height, 'byte', 'standard', VariationModelID)
* 資料夾中前15張圖片是質量良好的，可以用來訓練模板
for I := 1 to 15 by 1
read_image (Image, 'pen/pen-' + I$'02d')
* 先尋找模板的例項
find_shape_model (Image, ShapeModelID, rad(-10), rad(20), 0.5, 1, 0.5, 'least_squares', 0, 0.9, Row, Column, Angle, Score)
if (|Score| == 1)
* 使用仿射變換，將當前影象平移旋轉到與模板影象重合，注意是當前影象轉向模板影象
vector_angle_to_rigid (Row, Column, Angle, RowRef, ColumnRef, 0, HomMat2D)
affine_trans_image (Image, ImageTrans, HomMat2D, 'constant', 'false')
* 訓練差異模型
train_variation_model (ImageTrans, VariationModelID)
dev_display (ImageTrans)
dev_display (Model)
endif
endfor
* 獲得差異模型
get_variation_model (MeanImage, VarImage, VariationModelID)
* 做檢測之前可以先用下面這個運算元對可變模型進行設參,這是一個經驗值,需要除錯者調整
prepare_variation_model (VariationModelID, 20, 3)
dev_set_draw ('margin')
NumImages := 30
* 可變模板訓練完成後，我們終於可以進入主題，馬上對所有影象進行缺陷檢測，思想就是差分
for I := 1 to 30 by 1
read_image (Image, 'pen/pen-' + I$'02d')
* 要注意做差分的兩幅影象解析度相同，當然也需要通過仿射變換把待檢測的影象轉到與模板影象重合
* 先尋找模板的例項
find_shape_model (Image, ShapeModelID, rad(-10), rad(20), 0.5, 1, 0.5, 'least_squares', 0, 0.9, Row, Column, Angle, Score)
if (|Score| == 1)
* 使用仿射變換，將當前影象平移旋轉到與模板影象重合，注意是當前影象轉向模板影象
vector_angle_to_rigid (Row, Column, Angle, RowRef, ColumnRef, 0, HomMat2D)
affine_trans_image (Image, ImageTrans, HomMat2D, 'constant', 'false')
* 摳圖
reduce_domain (ImageTrans, RegionDilation, ImageReduced)
* 差分 （就是檢查兩幅影象相減，剩下的區域就是不同的地方了，與模板影象不同的地方就是缺陷）
* 這裡可不能用difference做差分啊，halcon為變形模板提供了專門的差分運算元：compare_variation_model
compare_variation_model (ImageReduced, RegionDiff, VariationModelID)
connection (RegionDiff, ConnectedRegions)
* 特徵選擇：用一些特徵來判斷這幅影象印刷是否有缺陷，這裡使用面積
* 其實可以考慮利用區域面積的大小來判斷缺陷的嚴重程度，這裡就不過多討論了
select_shape (ConnectedRegions, RegionsError, 'area', 'and', 20, 1000000)
count_obj (RegionsError, NumError)
dev_clear_window ()
dev_display (ImageTrans)
dev_set_color ('red')
dev_display (RegionsError)
set_tposition (WindowHandle, 20, 20)
if (NumError == 0)
dev_set_color ('green')
write_string (WindowHandle, 'Clip OK')
else
dev_set_color ('red')
write_string (WindowHandle, 'Clip not OK')
endif
endif
if (I < NumImages)
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
endif
endfor
* 結語：如果發現前面作為訓練變形模板的良好影象也被判定為NG，
* 可以調整prepare_variation_model引數
* 或者調整select_shape特徵篩選的標準
相關運算元分析:
- create_variation_model（建立一個差異模型）
create_variation_model(Width, Height, Type, Mode ,ModelID)
//建立一個ID為ModelID，寬為Width,高為Height,型別為Type的差異模型引數
引數Mode決定了建立標準影象和相應的變化影象的方法。（可選三種方法）
- 'standard'表示標準的訓練方法，標準影象的位置是各訓練影象位置的平均，
- 'robust'表示魯棒的訓練方法，標準影象的位置是各訓練影象的中值，此模式在訓練影象中可能存在ERROR時使用，
- 'direct'表示標準影象由單張影象經過處理得到，由此方法得到的標準影象只能應用prepare_direct_variation_model運算元得到variation model。
- get_variation_model（獲得差異模型）
get_variation_model(Image, VarImage ,ModelID )
//返回差異模型中的標準影象（Image）和差異影象（VarImage），此運算元主要用來檢視建立的差異模型是否OK。
- train_variation_model（訓練差異模型）
train_variation_model(Images, ModelID )
- prepare_variation_model（準備差異模型）
prepare_variation_model( : : ModelID, AbsThreshold, VarThreshold : )
//設定variation model(差異模型）的絕對閾值和相對閾值。
//絕對閾值即待檢測影象與標準影象的差值，
//相對閾值即待檢測影象與variation model與VarThreshold乘積的差值。
- compare_variation_model（比較模型與例項）
compare_variation_model(Image : Region : ModelID : )
//待檢測影象與variation model進行比較，超過閾值的區域在Rgion引數中返回。
同threshold一樣，返回的區域被看做一個區域，可以使用connection運算元進行連通性分析，然後根據區域的特徵（如面積）對區域進行選擇。
總結：
差異模型（Variation Model）使用標準影象與待檢測影象灰度值相比較，來判斷產品是否OK，適用於印刷品檢測及產品表面檢測。
從實際演算法過程可以看出，此檢測實際可分為兩部分：
- 對於影象中的大面積灰度一致區域，主要利用待檢測影象與標準影象（ideal image)比較得出差異區域，
- 對於影象中的邊緣位置（edges）區域，主要利用待檢測影象與Variation影象（variation image）比較得出差異區域。
所以在實際應用中，應根據實際情況設定AbsThreshold和VarThreshold的值。
2，檢測工件孔洞毛刺缺陷 - 區域性變形匹配（inspect_gasket_local_deformable.hdev）
在日常工程應用中，我們通常通過halcon的形狀匹配（shape-based matching）進行各種定位，正如上篇例程，當待匹配物體有輕微變形時，並不影響得到的匹配結果，然後當待匹配物體有較大變形時，如塑料產品在成形時變形、紡織產品的花紋因為褶皺變形等，要想得到精確的定位結果就顯得捉襟見肘，如下圖所示，工件如果有較大變形，在用形狀匹配時，定位結果就不盡如人意，因為形狀匹配本身得到的匹配結果只是一個點（row,col）。
因此本篇例程使用了局部變形匹配（local deformable matching），匹配結果可以根據待匹配物體自動進行變形。而且在這個案例中，create_variation_model (Width, Height, ‘byte’, ‘direct’, VariationModelID) 使用的方法是’direct’，因此是不需要訓練差異模型而可以直接使用的。
1️⃣讀入標準影象，建立差異模型以及匹配模板
*1.讀入影象
dev_update_off ()
dev_get_window (WindowHandle)
set_display_font (WindowHandle, 36, 'mono', 'true', 'false')
dev_set_draw ('margin') read_image (ModelImage, 'gasket/gasket_model')
get_image_size (ModelImage, Width, Height)
read_image (Image, 'gasket/gasket_01')
*2.建立差異模型
create_variation_model (Width, Height, 'byte', 'direct', VariationModelID)
sobel_amp (ModelImage, EdgeAmplitude, 'sum_abs', 3)
*3.直接設引數+標準影象+邊緣幅度影象
prepare_direct_variation_model (ModelImage, EdgeAmplitude, VariationModelID, 20, 2)
*4.建立區域性變形匹配模板
create_local_deformable_model (ModelImage, 'auto', [], [], 'auto', 0.9, [], 'auto', 0.9, [], 'auto', 'none', 'use_polarity', 'auto', 'auto', [], [], ModelID)
get_deformable_model_contours (ModelContours, ModelID, 1)
area_center (ModelImage, Area, Row, Column)
標準影象：
這裡由於是用單幅影象建立的差異模型，因此引數Mode設定的’direct’，故不需要再去訓練，而是直接使用prepare_direct_variation_model (ModelImage, EdgeAmplitude, VariationModelID, 20, 2)得到差異模型。
2️⃣通過匹配模板將待檢測工件定位矯正
for Index := 1 to 7 by 1
read_image (Image, 'gasket/gasket_' + Index$'02')
get_image_size (Image, Width1, Height1)
*5.查詢
find_local_deformable_model (Image, ImageRectified, VectorField, DeformedContours, ModelID, rad(-10), rad(20), 1, 1, 1, 1, 0.93, 1, 0.7, 0, 0.4, ['image_rectified','vector_field','deformed_contours'], ['deformation_smoothness','expand_border','subpixel'], [25,0,1], Score, Row, Column)
if (|Score| > 0)
gen_warped_mesh_region (VectorField, MeshRegion, 25)
gen_region_contour_xld (DeformedContours, EdgeRegion, 'margin')
dilation_circle (EdgeRegion, RegionDilation, 2 * 25)
intersection (RegionDilation, MeshRegion, RegionIntersection)
dev_set_line_width (1)
dev_set_color ('yellow')
dev_display (Image)
dev_display (RegionIntersection)
Found[Index] := |Score|
dev_set_line_width (2)
dev_set_color ('green')
dev_display (DeformedContours)
* 7.注意：這裡顯示的是修正過的影象
dev_display (ImageRectified)
endif
待檢測影象：
區域性變形匹配定位： 矯正：
由於區域性變形模板匹配在尋找到影象（find_local_deformable_model）後是自動矯正的，因此我們可以省掉仿射變換的步驟了。
3️⃣通過差異模型差分得到缺陷工件
*6.差分
compare_variation_model (ImageRectified, Region, VariationModelID)
connection (Region, ConnectedRegions)
*缺陷提取（特徵選擇，即面積大於60的定義為缺陷）
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 60, 99999)
count_obj (SelectedRegions, Number)
*顯示
if(Number>0)
disp_message (WindowHandle, 'NG', 'image', 12, 12, 'red', 'false')
else
disp_message (WindowHandle, 'OK', 'window', 12, 12, 'magenta', 'false')
endif
dev_set_color ('red')
dev_display (SelectedRegions)
stop()
endfor
dev_update_on ()
相關運算元分析:
- create_local_deformable_model（建立區域性變形匹配模板）
create_local_deformable_model(Template , NumLevels, AngleStart, AngleExtent, AngleStep, ScaleRMin, ScaleRMax, ScaleRStep, ScaleCMin,ScaleCMax, ScaleCStep, Optimization, Metric, Contrast, MinContrast, ParamName, ParamValue ,ModelID) 引數列表:
Template //輸入多通道影象，用來建立model
NumLevels //金字塔層數：'auto'， 0,1,2,3，。。。
AngleStart //輸入起始角度（預設-0.39）
AngleExtent//角度旋轉的範圍（預設0.79）
AngleStep //旋轉的步長，即解析度，預設’auto'
ScaleRMin//行方向的最小縮放比例，預設1.0，通常大於0小於1
ScaleRMax//行方向的最大縮放比例，預設1.0，通常大於1小於1.5
ScaleRStep//行方向的縮放步長，可影響行方向的解析度，預設'auto', 0.01,0.02,0.05,。。
ScaleCMin//
ScaleCMax// 列方向，同上
ScaleCStep//
Optimization//生成模型時的優化方式，預設'none'可選，'auto','point_reduction_XXX'
Metric//比較時候的標準,預設'use_polarity'使用極座標系進行比較
Contrast//在模板圖片的濾波或者磁滯濾波中，控制結果的對比度，預設'auto', 10, 20....
MinContrast//在搜尋物件過程中的最小對比度，預設'auto', 1, 2, 3, 5....
ParamName// 普通引數名字（不太清楚用途，後續研究）預設[], 'min_size','part_size'
ParamValue//引數值， 預設[], 可選'small', 'medium', big'
ModelID// 輸出的模型handle
變形檢測用來檢測一個物件是否區域性變形，這個檢測模型在保持嚴格的基礎上允許一些細小的變形，和find_shape_model(在圖中找到相應圖形的最佳匹配)不同，create_local_deformable_model更加智慧化，它可以預估變形程度並且修正影象中物體的位置（物體相對於影象的相對位置），它可以處理更大的變形。
- get_deformable_model_contours(得到區域性變形模板的輪廓)
get_deformable_model_contours( ModelContours , ModelID, Level )
//Level決定了返回第幾層金字塔影象的邊緣
- find_local_deformable_model (在待匹配影象中尋找變形模板）
find_local_deformable_model(Image ,ImageRectified, VectorField, DeformedContours : ModelID, AngleStart, AngleExtent, ScaleRMin, ScaleRMax, ScaleCMin, ScaleCMax, MinScore, NumMatches, MaxOverlap, NumLevels, Greediness, ResultType, ParamName, ParamValue : Score, Row, Column)
引數列表：
Image //輸入待匹配影象
ImageRectified //輸出匹配到的變形矯正後模板影象
VectorField//變形向量區
DeformedContours //匹配到的輪廓，不是矯正後的輪廓
ModelID//模型控制代碼
AngleStart//起始角度
AngleExtent//角度範圍
ScaleRMin//行縮放最小比例
ScaleRMax//行縮放最大比例
ScaleCMin//
ScaleCMax//列同上
MinScore//最小相似度
NumMatches//需要幾個最佳匹配結果
MaxOverlap//最大重疊數
NumLevels//金字塔層數
Greediness//貪婪度（範圍0-1，0表示精確緩慢，1表示迅速精度不高）
ResultType//輸出的結果型別（[], 'deformed_contours', 'image_rectified', 'vector_field'）
ParamName//引數名稱
Score//輸出匹配度
Row, Column//輸出行列座標
這個函式的功能是在一張圖片中找到變形模型中的最佳匹配結果（可以是多個，由NumMatches輸入），模型必須在之前的步驟中使用（create_local_deformable_model或者read_deformable_model)生成。這個函式會返回找到的結果的行，列座標（Row, Column）作為輸出。
另外函式在找到匹配的模型後，輸出矯正後的影象（ImageRectified），向量區域（VectorField）和匹配到的輪廓（DeformedContours） 通過引數ResultType去選擇需要返回哪個（預設[]，都不返回）。
ParamName可以調整引數的設定：（比如）
- deformation_smoothness：平滑的度，對於變形越大引數越大
- expand_border：擴大ImageRecfified VectorField 區域
- gen_warped_mesh（生成變形網格，封裝函式）
gen_warped_mesh (VectorField, WarpedMesh, 10)
VectorField// 輸入向量區域
WarpedMesh//輸出變形網格
10 //代表此函式隔10個畫素取值