用Python做影象處理
       最近在做一件比較 evil 的事情——驗證碼識別,以此來學習一些新的技能。因為我是初學,對影象處理方面就不太瞭解了,欲要利吾事,必先利吾器,既然只是做一下實驗,那用 Python 來作原型開發再好不過了。在 Python 中,比較常用的影象處理庫是 PIL(Python Image Library),當前版本是 1.1.6 ,用起來非常方便。大家可以在 http://www.pythonware.com/products/pil/index.htm 下載和學習。
       在這裡,我主要是介紹一下做影象識別時可能會用到的一些 PIL 提供的功能,比如影象增強、還有濾波之類的。最後給出使用 Python 做影象處理與識別的優勢與劣勢。
基本影象處理
       使用 PIL 之前需要 import Image 模組:
import Image
       然後你就可以使用Image.open(‘xx.bmp’) 來開啟一個位圖檔案進行處理了。開啟檔案你不用擔心格式,也不用瞭解格式,無論什麼格式,都只要把檔名丟給 Image.open 就可以了。真所謂 bmp、jpg、png、gif……,一個都不能少。
img = Image.open(‘origin.png’)    # 得到一個影象的例項物件 img
圖 1原圖
       影象處理中,最基本的就是色彩空間的轉換。一般而言,我們的影象都是 RGB 色彩空間的,但在影象識別當中,我們可能需要轉換影象到灰度圖、二值圖等不同的色彩空間。 PIL 在這方面也提供了極完備的支援,我們可以:
new_img = img.convert(‘L’)
把 img 轉換為 256 級灰度影象, convert() 是影象例項物件的一個方法,接受一個 mode 引數,用以指定一種色彩模式,mode 的取值可以是如下幾種:
· 1 (1-bit pixels, black and white, stored with one pixel per byte)
· L (8-bit pixels, black and white)
· P (8-bit pixels, mapped to any other mode using a colour palette)
· RGB (3x8-bit pixels, true colour)
· RGBA (4x8-bit pixels, true colour with transparency mask)
· CMYK (4x8-bit pixels, colour separation)
· YCbCr (3x8-bit pixels, colour video format)
· I (32-bit signed integer pixels)
· F (32-bit floating point pixels)
怎麼樣,夠豐富吧?其實如此之處,PIL 還有限制地支援以下幾種比較少見的色彩模式:LA (L with alpha), RGBX (true colour with padding) and RGBa (true colour with premultiplied alpha)。
下面看一下 mode 為 ‘1’、’L’、’P’時轉換出來的影象:
圖 2 mode = '1'
圖 3 mode = 'L'
圖 4 mode = 'P'
convert() 函式也接受另一個隱含引數 matrix,轉換矩陣 matrix 是一個長度為4 或者16 tuple。下例是一個轉換 RGB 空間到 CIE XYZ 空間的例子:
    rgb2xyz = (
        0.412453, 0.357580, 0.180423, 0,
        0.212671, 0.715160, 0.072169, 0,
        0.019334, 0.119193, 0.950227, 0 )
    out = im.convert("RGB", rgb2xyz)
       除了完備的色彩空間轉換能力外, PIL 還提供了resize()、rotate()等函式以獲得改變大小,旋轉圖片等幾何變換能力,在影象識別方面,影象例項提供了一個 histogram() 方法來計算直方圖,非常方便實用。
影象增強
       影象增強通常用以影象識別之前的預處理,適當的影象增強能夠使得識別過程達到事半功倍的效果。 PIL 在這方面提供了一個名為 ImageEnhance 的模組,提供了幾種常見的影象增強方案:
import ImageEnhance
enhancer = ImageEnhance.Sharpness(image)
for i in range(8):
    factor = i / 4.0
    enhancer.enhance(factor).show("Sharpness %f" % factor)
上面的程式碼即是一個典型的使用 ImageEnhance 模組的例子。 Sharpness 是 ImageEnhance 模組的一個類,用以銳化圖片。這一模組主要包含如下幾個類:Color、Brightness、Contrast和Sharpness。它們都有一個共同的介面 .enhance(factor) ,接受一個浮點引數 factor,標示增強的比例。下面看看這四個類在不同的 factor 下的效果
圖 5 使用Color 進行色彩增強,factor 取值 [0, 4],步進 0.5
圖 6 用 Birghtness 增強亮度,factor取值[0,4],步進0.5
圖 7用 Contrast 增強對比度, factor 取值 [0,4],步進0.5
圖 8用 Sharpness 銳化影象,factor取值 [0,4],步進0.5
影象 Filter
       PIL 在 Filter 方面的支援是非常完備的,除常見的模糊、浮雕、輪廓、邊緣增強和平滑,還有中值濾波、ModeFilter等,簡直方便到可以做自己做一個Photoshop。這些 Filter 都放置在 ImageFilter 模組中,ImageFilter主要包括兩部分內容,一是內建的 Filter,如 BLUR、DETAIL等,另一部分是 Filter 函式,可以指定不同的引數獲得不同的效果。示例如下:
import ImageFilter
im1 = im.filter(ImageFilter.BLUR)
im2 = im.filter(ImageFilter.MinFilter(3))
im3 = im.filter(ImageFilter.MinFilter()) # same as MinFilter(3)
可以看到 ImageFilter 模組的使用非常簡單,每一個 Filter 都只需要一行程式碼就可呼叫,開發效率非常高。
圖 9使用 BLUR
圖 10使用 CONTOUR
圖 11使用 DETAIL
圖 12使用 EMBOSS
圖 13使用 EDGE_ENHANCE
圖 14使用 EDGE_ENHANCE_MORE
圖 15使用 FIND_EDGES
圖 16使用 SHARPEN
圖 17使用 SMOOTH
圖 18使用 SMOOTH_MORE
       以上是幾種內建的 Filter 的效果圖,除此之外, ImageFilter 還提供了一些 Filter 函式,下面我們來看看這些可以通過引數改變行為的 Filter 的效果:
圖 19使用 Kernel(),引數:size = (3, 3), kernel = (0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5)
圖 20使用 MaxFilter,預設引數
圖 21使用 MinFilter,預設引數
圖 22使用 MedianFilter,預設引數
圖 23使用 ModeFilter,引數 size = 3
圖 24使用 RankFilter,引數 size = 3, rank = 3
小結
       到此,對 PIL 的介紹就告一段落了。總的來說,對於影象處理和識別,PIL 內建了強大的支援,從各種增強演算法到 Filter ,都讓人無法懷疑使用 Python 的可行性。 Python唯一的劣勢在於執行時間過慢,特別是當實現一些計算量大的演算法時候,需要極強的耐心。我曾用 Hough Transform(霍夫變換)來查詢影象中的直線,純 Python 的實現處理一個 340 * 100 的圖片也要花去數秒時間(P4 3.0G + 1G memory)。但使用 PIL 無需關注影象格式、內建的影象增強演算法和 Filter 演算法,這些優點使 Python 適合用於構造原型和進行實驗,在這兩方面Python 比 matlab 更加方便。商業的影象識別產品開發,可以考慮已經被 boost accepted的來自 adobe 的開源 C++ 庫 gil,可以兼顧執行效能和開發效率。