圖像識別 - 提取驗證碼信息
阿新 • • 發佈：2019-04-01
-i alc 框架 vat bubuko exist cto mage total
1、Tess4j
最近在GitHub上看到一個圖像識別的開源框架tess4j，而且是Java版的，為此利用此框架來識別驗證碼中的信息，利用它提供的字體庫，來提取信息，對於沒有什麽幹擾線的驗證碼準確率還是蠻高的，對於有一些幹擾線的就差一些，不過也可以能通過訓練字體庫，從而可以提高準確率的。
根據範例，寫了一個簡單的提取驗證碼信息的工具類VerificationCode：
主要是用這個類的extract方法，這個方法有3個參數：
- 第1個參數是指定圖片的路徑
- 第2個參數是指定字體庫的，其中chi_sim表示中文簡體，eng表示英文
- 第3個參數是指定是否需要去除幹擾線，true表示需要，false表示不需要
package com.swnote.tess4j.test; import java.awt.image.BufferedImage; import java.io.File; import javax.imageio.ImageIO; import com.recognition.software.jdeskew.ImageDeskew; import net.sourceforge.tess4j.ITesseract; import net.sourceforge.tess4j.Tesseract; import net.sourceforge.tess4j.util.ImageHelper; /** * 識別驗證碼 * * @author lzj * @date [2019-03-03] */ public class VerificationCode { /** * 配置文件 */ private static String config_path = "src/main/resources"; /** * 調整傾斜度的閾值 */ private static double deskew_threshold = 0.05d; /** * 提取驗證碼圖片中的文字 * * @param img_path * @param lang * @param clear * @return */ public static String extract(String img_path, String lang, boolean clear) throws Exception { // 圖片文件 File img = new File(img_path); if (clear) { // 將去除幹擾後的圖片保存在同級目錄下的ext目錄下 String ext_path = img.getParentFile().getPath() + "/ext"; // 去除幹擾 CleanImage.cleanLinesInImage(img, ext_path); // 處理後的圖片 img = new File(ext_path, img.getName()); } // 設置語言庫 ITesseract instance = new Tesseract(); File directory = new File(config_path); String course_file = directory.getCanonicalPath(); instance.setDatapath(course_file + "/tessdata"); // chi_sim表示中文簡體 // eng表示英文 instance.setLanguage(lang); BufferedImage buffer_img = ImageIO.read(img); ImageDeskew img_deskew = new ImageDeskew(buffer_img); double img_skew_angle = img_deskew.getSkewAngle(); if ((img_skew_angle > deskew_threshold || img_skew_angle < -(deskew_threshold))) { buffer_img = ImageHelper.rotateImage(buffer_img, -img_skew_angle); } String result = instance.doOCR(buffer_img); return result; } }
其中CleanImage類是用於清楚驗證碼幹擾線的，這個類是我從網上找到的，加上這個類有一定的效果，但是不是特別理想，希望大家能夠找到更好的去除幹擾線方式。
在此也貼一下CleanImage類的代碼：
package com.swnote.tess4j.test; import java.awt.Color; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * 網上找到清除圖片幹擾工具 */ public class CleanImage { public static void cleanLinesInImage(File sfile, String destDir) throws IOException { File destF = new File(destDir); if (!destF.exists()) { destF.mkdirs(); } BufferedImage bufferedImage = ImageIO.read(sfile); int h = bufferedImage.getHeight(); int w = bufferedImage.getWidth(); // 灰度化 int[][] gray = new int[w][h]; for (int x = 0; x < w; x++) { for (int y = 0; y < h; y++) { int argb = bufferedImage.getRGB(x, y); // 圖像加亮（調整亮度識別率非常高） int r = (int) (((argb >> 16) & 0xFF) * 1.1 + 30); int g = (int) (((argb >> 8) & 0xFF) * 1.1 + 30); int b = (int) (((argb >> 0) & 0xFF) * 1.1 + 30); if (r >= 255) { r = 255; } if (g >= 255) { g = 255; } if (b >= 255) { b = 255; } gray[x][y] = (int) Math.pow( (Math.pow(r, 2.2) * 0.2973 + Math.pow(g, 2.2) * 0.6274 + Math.pow(b, 2.2) * 0.0753), 1 / 2.2); } } // 二值化 int threshold = ostu(gray, w, h); BufferedImage binaryBufferedImage = new BufferedImage(w, h, BufferedImage.TYPE_BYTE_BINARY); for (int x = 0; x < w; x++) { for (int y = 0; y < h; y++) { if (gray[x][y] > threshold) { gray[x][y] |= 0x00FFFF; } else { gray[x][y] &= 0xFF0000; } binaryBufferedImage.setRGB(x, y, gray[x][y]); } } // 去除幹擾線條 for (int y = 1; y < h - 1; y++) { for (int x = 1; x < w - 1; x++) { boolean flag = false; if (isBlack(binaryBufferedImage.getRGB(x, y))) { // 左右均為空時，去掉此點 if (isWhite(binaryBufferedImage.getRGB(x - 1, y)) && isWhite(binaryBufferedImage.getRGB(x + 1, y))) { flag = true; } // 上下均為空時，去掉此點 if (isWhite(binaryBufferedImage.getRGB(x, y + 1)) && isWhite(binaryBufferedImage.getRGB(x, y - 1))) { flag = true; } // 斜上下為空時，去掉此點 if (isWhite(binaryBufferedImage.getRGB(x - 1, y + 1)) && isWhite(binaryBufferedImage.getRGB(x + 1, y - 1))) { flag = true; } if (isWhite(binaryBufferedImage.getRGB(x + 1, y + 1)) && isWhite(binaryBufferedImage.getRGB(x - 1, y - 1))) { flag = true; } if (flag) { binaryBufferedImage.setRGB(x, y, -1); } } } } // 矩陣打印 // for (int y = 0; y < h; y++) { // for (int x = 0; x < w; x++) { // if (isBlack(binaryBufferedImage.getRGB(x, y))) { // System.out.print("*"); // } else { // System.out.print(" "); // } // } // System.out.println(); // } ImageIO.write(binaryBufferedImage, "jpg", new File(destDir, sfile.getName())); } public static boolean isBlack(int colorInt) { Color color = new Color(colorInt); if (color.getRed() + color.getGreen() + color.getBlue() <= 300) { return true; } return false; } public static boolean isWhite(int colorInt) { Color color = new Color(colorInt); if (color.getRed() + color.getGreen() + color.getBlue() > 300) { return true; } return false; } public static int isBlackOrWhite(int colorInt) { if (getColorBright(colorInt) < 30 || getColorBright(colorInt) > 730) { return 1; } return 0; } public static int getColorBright(int colorInt) { Color color = new Color(colorInt); return color.getRed() + color.getGreen() + color.getBlue(); } public static int ostu(int[][] gray, int w, int h) { int[] histData = new int[w * h]; // Calculate histogram for (int x = 0; x < w; x++) { for (int y = 0; y < h; y++) { int red = 0xFF & gray[x][y]; histData[red]++; } } // Total number of pixels int total = w * h; float sum = 0; for (int t = 0; t < 256; t++) sum += t * histData[t]; float sumB = 0; int wB = 0; int wF = 0; float varMax = 0; int threshold = 0; for (int t = 0; t < 256; t++) { wB += histData[t]; // Weight Background if (wB == 0) continue; wF = total - wB; // Weight Foreground if (wF == 0) break; sumB += (float) (t * histData[t]); float mB = sumB / wB; // Mean Background float mF = (sum - sumB) / wF; // Mean Foreground // Calculate Between Class Variance float varBetween = (float) wB * (float) wF * (mB - mF) * (mB - mF); // Check if new maximum found if (varBetween > varMax) { varMax = varBetween; threshold = t; } } return threshold; } }
2、測試
首先測試一張沒有幹擾線的圖片，即：
然後調用工具類，可以得到如下結果：
結果是正確的。
再一測試一個中文的，同時具有幹擾線的，即：
測試結果為：
中文內容是識別出來了，但是也識別了一些其它信息。
關註我
以你最方便的方式關註我：
微信公眾號：
圖像識別 - 提取驗證碼信息