2. 程式人生 > >OpenCV入門筆記（七） 文字區域的提取

OpenCV入門筆記（七） 文字區域的提取

阿新 • • 發佈：2019-01-10

前面我們已經學了一些OpenCV中基本的圖片處理的知識，可以拿來做一些小應用。比如怎樣從一張圖片中，把文字圈出來。這一步驟對OCR（Optical Character Recognition）非常有用，因為一般的OCR引擎只是拿來識別文字，並沒有對圖片做預處理，因此精度可能會收到圖片質量影響。

當然，我們這裡只是粗略的查詢文字區域，並沒有進一步地處理圖片。而且對背景複雜，或者文字旋轉角度過於傾斜的情況也無法自適應，因此只能給大家做參考。若要實用到專案中，還有很多工作要做。

效果圖

比如我們有下面的一篇文章的截圖，想把其中的文字區域全部找出來。

這裡寫圖片描述

當然這裡的截圖只有文字和白花花的背景，效果會非常好。綠色的的矩形框的是我們根據檢測到的文字區域，手動畫出來的。

這裡寫圖片描述

原理

那麼我們是怎麼做到檢測到區域的呢？

首先，我們會注意到，文字區域和其他的圖片背景很不一樣。我們用膨脹處理圖片，讓文字變成一塊塊大區域，然後識別整塊的輪廓，用矩形去框住這個輪廓。

這個程式分三個子函式，detect（檢測），preprocess（圖片預處理），findTextRegion（查詢和篩選文字區域）。即main函式呼叫detect函式去實際完成文字區域檢測。detect函式又分成preprocess和findTextRegion兩個步驟來做。

見下面的序列圖，可能會清晰點。

mainmaindetectdetectpreprocesspreprocessfindTextRegionfindTextRegion檢測文字區域返回檢測到的文字矩形Sobel，二值化，膨脹和腐蝕Morphology方法預處理圖片返回預處理後的圖片輪廓檢測，去掉面積小的，過長的查詢和篩選文字區域返回區域box的座標

1. Detect

先來看main函式和Detect函式

def detect(img):
    # 1.  轉化成灰度圖
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 2. 形態學變換的預處理，得到可以查詢矩形的圖片
    dilation = preprocess(gray)

    # 3. 查詢和篩選文字區域
    region = findTextRegion(dilation)

    # 4. 用綠線畫出這些找到的輪廓
    for box in region:
        cv2.drawContours(img, [box], 0
 
, (0, 255, 0), 2)

    cv2.namedWindow("img", cv2.WINDOW_NORMAL)
    cv2.imshow("img", img)

    # 帶輪廓的圖片
    cv2.imwrite("contours.png", img)

    cv2.waitKey(0)
    cv2.destroyAllWindows()


if __name__ == '__main__':
    # 讀取檔案
    imagePath = sys.argv[1]
    img = cv2.imread(imagePath)
    detect(img)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

2. Preprocess

利用數學形態學（Morphology）進行預處理。

這個過程很重要，是文字區域檢測效果好壞的核心程式碼，尤其是一下幾個引數：

  • 膨脹的核函式大小，這裡用了 30 x 9，可以調節
  • 腐蝕的核函式大小，這裡用了 24 x 6，可以調節
def preprocess(gray):
    # 1. Sobel運算元，x方向求梯度
    sobel = cv2.Sobel(gray, cv2.CV_8U, 1, 0, ksize = 3)
    # 2. 二值化
    ret, binary = cv2.threshold(sobel, 0, 255, cv2.THRESH_OTSU+cv2.THRESH_BINARY)

    # 3. 膨脹和腐蝕操作的核函式
    element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (30, 9))
    element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (24, 6))

    # 4. 膨脹一次，讓輪廓突出
    dilation = cv2.dilate(binary, element2, iterations = 1)

    # 5. 腐蝕一次，去掉細節，如表格線等。注意這裡去掉的是豎直的線
    erosion = cv2.erode(dilation, element1, iterations = 1)

    # 6. 再次膨脹，讓輪廓明顯一些
    dilation2 = cv2.dilate(erosion, element2, iterations = 3)

    # 7. 儲存中間圖片 
    cv2.imwrite("binary.png", binary)
    cv2.imwrite("dilation.png", dilation)
    cv2.imwrite("erosion.png", erosion)
    cv2.imwrite("dilation2.png", dilation2)

    return dilation2
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

3. findTextRegion

def findTextRegion(img):
    region = []

    # 1. 查詢輪廓
    contours, hierarchy = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

    # 2. 篩選那些面積小的
    for i in range(len(contours)):
        cnt = contours[i]
        # 計算該輪廓的面積
        area = cv2.contourArea(cnt) 

        # 面積小的都篩選掉
        if(area < 1000):
            continue

        # 輪廓近似，作用很小
        epsilon = 0.001 * cv2.arcLength(cnt, True)
        approx = cv2.approxPolyDP(cnt, epsilon, True)

        # 找到最小的矩形，該矩形可能有方向
        rect = cv2.minAreaRect(cnt)
        print "rect is: "
        print rect

        # box是四個點的座標
        box = cv2.cv.BoxPoints(rect)
        box = np.int0(box)

        # 計算高和寬
        height = abs(box[0][1] - box[2][1])
        width = abs(box[0][0] - box[2][0])

        # 篩選那些太細的矩形，留下扁的
        if(height > width * 1.2):
            continue

        region.append(box)

    return region
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41

完整程式碼

加上標頭檔案，把幾個函式合併以後，貼在這裡。注意開頭要寫明用utf8編碼，不然中文註釋可能不會被系統識別。而且Python沒有花括號來控制流程，所以對看不見的Tab縮排很敏感，寫程式碼的時候要規範。

直接在終端裡敲下面的命令，既可以執行

python textDetection.py ./pic/1.png

程式碼：textDetection.py

# coding:utf8

import sys

import cv2
import numpy as np

def preprocess(gray):
    # 1. Sobel運算元，x方向求梯度
    sobel = cv2.Sobel(gray, cv2.CV_8U, 1, 0, ksize = 3)
    # 2. 二值化
    ret, binary = cv2.threshold(sobel, 0, 255, cv2.THRESH_OTSU+cv2.THRESH_BINARY)

    # 3. 膨脹和腐蝕操作的核函式
    element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (30, 9))
    element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (24, 6))

    # 4. 膨脹一次，讓輪廓突出
    dilation = cv2.dilate(binary, element2, iterations = 1)

    # 5. 腐蝕一次，去掉細節，如表格線等。注意這裡去掉的是豎直的線
    erosion = cv2.erode(dilation, element1, iterations = 1)

    # 6. 再次膨脹，讓輪廓明顯一些
    dilation2 = cv2.dilate(erosion, element2, iterations = 3)

    # 7. 儲存中間圖片 
    cv2.imwrite("binary.png", binary)
    cv2.imwrite("dilation.png", dilation)
    cv2.imwrite("erosion.png", erosion)
    cv2.imwrite("dilation2.png", dilation2)

    return dilation2


def findTextRegion(img):
    region = []

    # 1. 查詢輪廓
    contours, hierarchy = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

    # 2. 篩選那些面積小的
    for i in range(len(contours)):
        cnt = contours[i]
        # 計算該輪廓的面積
        area = cv2.contourArea(cnt) 

        # 面積小的都篩選掉
        if(area < 1000):
            continue

        # 輪廓近似，作用很小
        epsilon = 0.001 * cv2.arcLength(cnt, True)
        approx = cv2.approxPolyDP(cnt, epsilon, True)

        # 找到最小的矩形，該矩形可能有方向
        rect = cv2.minAreaRect(cnt)
        print "rect is: "
        print rect

        # box是四個點的座標
        box = cv2.cv.BoxPoints(rect)
        box = np.int0(box)

        # 計算高和寬
        height = abs(box[0][1] - box[2][1])
        width = abs(box[0][0] - box[2][0])

        # 篩選那些太細的矩形，留下扁的
        if(height > width * 1.2):
            continue

        region.append(box)

    return region


def detect(img):
    # 1.  轉化成灰度圖
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 2. 形態學變換的預處理，得到可以查詢矩形的圖片
    dilation = preprocess(gray)

    # 3. 查詢和篩選文字區域
    region = findTextRegion(dilation)

    # 4. 用綠線畫出這些找到的輪廓
    for box in region:
        cv2.drawContours(img, [box], 0, (0, 255, 0), 2)

    cv2.namedWindow("img", cv2.WINDOW_NORMAL)
    cv2.imshow("img", img)

    # 帶輪廓的圖片
    cv2.imwrite("contours.png", img)

    cv2.waitKey(0)
    cv2.destroyAllWindows()


if __name__ == '__main__':
    # 讀取檔案
    imagePath = sys.argv[1]
    img = cv2.imread(imagePath)
    detect(img)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108

相關推薦

OpenCV入門筆記（七） 文字區域的提取

前面我們已經學了一些OpenCV中基本的圖片處理的知識，可以拿來做一些小應用。比如怎樣從一張圖片中，把文字圈出來。這一步驟對OCR（Optical Character Recognition）非常有用，因為一般的OCR引擎只是拿來識別文字，並沒有對圖片做預處理，因此精度可能會收到圖片質量影響。 當然，

OpenCV入門筆記（二） 圖片的文件操作

strong asc nump str destroy type convert 代碼 creat 以下介紹一下重要的幾個，設計基本 圖片處理 的函數，依次來了解OpenCV的入門知識。具體的具體使用方法還是以官方的API【Official Tutori

Android入門筆記（七）

七、工具欄的使用 7.1 工具欄選單的建立 （1）在 res/menu 中建立資源型別為 Menu 且命名同所在佈局檔案保持一致。 （2）在 選單資原始檔中使用 xmlns 標籤定義全新的 app 名稱空間，並在 showAsAction 屬性中使用，這主要是出於相

Opencv入門筆記（1）：影象載入、顯示、儲存、轉換灰度圖

影象載入、顯示、儲存函式： 1         影象載入函式:imread()   Mat imread(const string& filename, int flags=1); 　　　　const string&型別的filename為載入影象的路徑（

程式設計師的機器學習入門筆記（七）：推薦系統入門介紹

介紹 背景 隨著網際網路行業的井噴式發展，獲取資訊的方式越來越多，人們從主動獲取資訊逐漸變成了被動接受資訊，資訊量也在以幾何倍數式爆發增長。舉一個例子，PC時代用google reader，常常有上千條未讀部落格更新；如今的微信公眾號，也有大量的紅點未閱

OpenCV學習筆記（七）—— OpenCV for Android實時影象處理

        在上篇中我們已經實現了相機開啟和實時影象資訊的獲取，那麼接下來我們可以嘗試在獲取的影象資訊進行一些處理，然後實時顯示出來，在這裡我們要完成的的幾種處理：         灰化、Canny邊緣檢測、Hist直方圖計算、Sobel邊緣檢測、SEPIA(色調變換)

opencv學習筆記（七）-CvMat矩陣結構以及矩陣資料訪問

通道和維度 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 首先說一下對矩陣維度和通道的理解： 維：體現為座標。 通道

Python入門學習筆記（七） - 類

學習內容 如何編寫類並建立其例項，如何使用屬性在類中儲存資訊，以及如何編寫方法，以讓類具備所需的行為。如何編寫方法 __init__() ，以便根據類建立包含所需屬性的例項。 如何修改例項的屬性 —— 包括直接修改以及通過方法進行修改。 使用 繼承 簡化相關類的建立工作；將一個類的例項用作另一

C#入門經典 學習筆記（七）類繼承

類繼承   通過繼承，可以定義一個新類，新類納入一個已經宣告的類並擴充套件。   1.已存在的類稱為基類；新類成為派生類，派生類包括了自己類宣告的成員和基類的成員。   2.每個派生類只能繼承一個基類，

Python資料探勘學習筆記（1）文字挖掘入門

一、準備階段： （1）開啟cmd，pip安裝jieba（pip install jieba） （2）開啟python安裝目錄的Lib->site-packages->jieba，開啟dict.txt，可以看到這是jieba模組的詞典：          每

Linux小小白入門教程（七）：vi文字編輯命令

以下操作在Linux終端進行。Linux因為許可權非常嚴格，所以暫時所有的命令操作全部是在/home資料夾下的/yangjw資料夾下進行。/yangjw資料夾就是登入使用者名稱所在的資料夾，出了此資料

Unity Shader入門精要筆記（七）：Unity Shader內建檔案、變數和語義

本系列文章由Aimar_Johnny編寫，歡迎轉載，轉載請標明出處，謝謝。 http://blog.csdn.net/lzhq1982/article/details/74279052 1、Unity提供的內建檔案和變數 上一篇我們學了一個簡單的頂點/片元著色器。複雜的著

Python入門筆記（1）_ 安裝、IDLE設定 及 opencv 配置

近期學習Python，計劃用Python做影象處理。於是用一天時間學習了imooc中的Python入門教程。這裡做個總結。 安裝 很簡單，直接進官網下載，一般為了相容性，大多選擇 2.7 版本。 按

OpenCV開發筆記（七十）：紅胖子帶你傻瓜式編譯VS2017x64版本的openCV4

前言   紅胖子來也！！！  opencv_contrib是opencv提供額外的工具，提供一些基礎演算法，之前編譯了不帶opencv_contrib的版本，不帶opencv_contrib的cuda硬加速版本， opencv+opentrib的版本。  OpenCV4是最新的版本，編譯一個openCV

OpenCV開發筆記（七十一）：紅胖子8分鐘帶你深入級聯分類器訓練

前言   紅胖子，來也！  做影象處理，經常頭痛的是明明分離出來了（非顏色的），分為幾塊區域，那怎麼知道這幾塊區域到底哪一塊是我們需要的，那麼這部分就涉及到需要識別了。  識別可以自己寫模板匹配、特徵點識別、級聯分類器訓練識別。  本文章就是講解級聯分類器的訓練與識別。 明確目標   目標是識

OpenCV開發筆記（七十二）：紅胖子8分鐘帶你使用opencv+dnn+tensorFlow識別物體

前言   級聯分類器的效果並不是很好，準確度相對深度學習較低，本章使用opencv通過tensorflow深度學習，檢測已有模型的分類。   Demo         可以猜測，1其實是人，18序號類是狗，因為筆者未找到對應的分類具體資訊。   Tensorflow模型

OpenCV開發筆記（七十三）：紅胖子8分鐘帶你使用opencv+dnn+yolov3識別物體

  前言   級聯分類器的效果並不是很好，準確度相對深度學習較低，上一章節使用了dnn中的tensorflow，本章使用yolov3模型，識別出具體的分類。   Demo   320x320，置信度0.6   608x608，置信度0.6（.cfg裡面是608） &nb

《嵌入式系統可靠性設計技術及案例解析》讀書筆記（七）

lcd 適合 實現 電源線 寬度 減少 狀態 面膜 平面 電磁兼容（Electro Magnetic Compatibility,EMC）是指設備或系統在電磁環境中運行時，不會因為其他設備的合理電磁幹擾而影響本機的功能和安全性，也不會對其環境中的任何設備產生不合理的電磁幹擾

mysql學習筆記（七）—— MySQL內連接和外連接

聚集函數 信息 _id left tro 做了 學習 作用 group MySQL內連接(inner join on) MySQL的內連接使用inner join on,它的效果跟使用where是一樣的,如果聯結的是兩個表,那麽需要左右的條件或者說字段是

數據庫SQL Server2012筆記（七）——java 程序操作sql server

jdb 統一 col select 封裝 query size api color 1、crud(增刪改查)介紹：create/retrieve/update/delete 2、JDBC介紹 1）JDBC（java database connectivi