Android 使用OPENCV實現影象實時對比

阿新 • • 發佈：2019-02-03

本文主要介紹使用OpenCV實現相機實時對比圖片，得到相似度，可用於實現類似ar紅包的功能
首先下載SDK，OpenCV-3.2.0（下載官網：http://opencv.org），點選OpenCV for Android下載，下載完成後解壓
SDK中包含很多有趣的demo，可以一併看一下，所以，最好新建一個Eclipse的工作空間

1. 建立demo工程

新建一個Android Application，命名為OpenCVDemo

2. 整合OpenCV SDK

將完整的OpenCV SDK拷貝到工作空間中，將OpenCV_SDK_3.2.0/sdk/java匯入到Eclipse中，這個就是我們需要整合的library，將它與我們的demo關聯

3. 配置SDK

●因為要用到相機，所以在AndroidManifest.xml新增以下程式碼

新增許可權

<uses-permission android:name="android.permission.CAMERA"/>  
<uses-feature android:name="android.hardware.camera" android:required="false"/>    
<uses-feature android:name="android.hardware.camera.autofocus" android:required 
="false"/>
<uses-feature android:name="android.hardware.camera.front" android:required="false"/>
<uses-feature android:name="android.hardware.camera.front.autofocus" android:required="false"/>

在application節點下新增

android:theme="@android:style/Theme.NoTitleBar.Fullscreen"

●在MainActivity中繼承CvCameraViewListener2介面

CvCameraViewListener2是使用OpenCV相機的核心監聽

public class MainActivity extends Activity implements CvCameraViewListener2 {
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
    }
    @Override
    public void onCameraViewStarted(int width, int height) {
        // TODO Auto-generated method stub

    }
    @Override
    public void onCameraViewStopped() {
        // TODO Auto-generated method stub

    }
    @Override
    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
        // TODO Auto-generated method stub
        return null;
    }
}

onCameraViewStarted：相機啟動時呼叫
onCameraViewStopped：相機銷燬時呼叫
onCameraFrame：相機工作時呼叫，引數是相機每一幀的影象，實時對比就在這個方法中進行

●初始化相機

編寫佈局檔案，新增相機控制元件，相機控制元件實質是SurfaceView

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context="com.example.opencvtest.MainActivity" >

    <org.opencv.android.JavaCameraView
        android:id="@+id/cv"
        android:layout_width="fill_parent"
        android:layout_height="fill_parent" />
</RelativeLayout>

在OnCreate中初始化相機，並新增開啟相機的回撥

    /**
     * CV相機
     */
    private CameraBridgeViewBase mCVCamera;
    /**
     * 載入OpenCV的回撥
     */
    private BaseLoaderCallback mLoaderCallback;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        // 初始化CV相機
        mCVCamera = (CameraBridgeViewBase) findViewById(R.id.cv);
        mCVCamera.setVisibility(CameraBridgeViewBase.VISIBLE);
        // 設定相機監聽
        mCVCamera.setCvCameraViewListener(this);
        // 連線到OpenCV的回撥
        mLoaderCallback = new BaseLoaderCallback(this) {
            @Override
            public void onManagerConnected(int status) {
                switch (status) {
                case LoaderCallbackInterface.SUCCESS:
                    mCVCamera.enableView();
                    break;
                default:
                    break;
                }
            }
        };
    }

介面載入完成時說明OpenCV已經初始化完成，所以重寫onResume()方法，開啟相機

    @Override
    protected void onResume() {
        // 介面載入完成的時候向OpenCV的連接回調發送連線成功的訊號
        if (OpenCVLoader.initDebug()) {
            mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
        }
        super.onResume();
    }

重寫onPause方法，及時銷燬相機

    @Override
    protected void onPause() {
        super.onPause();
        // 銷燬OpenCV相機
        if (mCVCamera != null)
            mCVCamera.disableView();
    }

編輯onCameraFrame方法，讓相機的每一幀展示在介面上

    @Override
    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
        return inputFrame.rgba();
    }

到這開啟相機的程式碼已經完成了，但是此時的工程需要依賴SDK中提供的OpenCV_3.2.0_Manager才能執行，這顯然是不滿足多數專案需求的，需要進行以下操作：
為專案新增C/C++編譯支援，右鍵專案，選擇Android Tools–>Add Native Support，點選finish
開啟jni/Android.mk

在紅框處新增以下程式碼

OPENCV_CAMERA_MODULES:=on
OPENCV_INSTALL_MODULES:=on
OPENCV_LIB_TYPE:=SHARED
ifdef OPENCV_ANDROID_SDK
  ifneq ("","$(wildcard $(OPENCV_ANDROID_SDK)/OpenCV.mk)")
    include ${OPENCV_ANDROID_SDK}/OpenCV.mk
  else
    include ${OPENCV_ANDROID_SDK}/sdk/native/jni/OpenCV.mk
  endif
else
  include ../OpenCV-android-sdk/sdk/native/jni/OpenCV.mk
endif

因為include使用的是相對路徑，所以最好將OpenCVDemo和OpenCV-android-sdk放在同一個目錄下，否則需要根據自己目錄結構修改相對路徑

● 執行

4. 編寫圖片對比的方法

新建一個HistUtils.java，新增下面兩個方法

    /**
     * 比較來個矩陣的相似度
     * 
     * @param mBitmap1
     * @param mBitmap2
     * @return
     */
    public static double comPareHist(Bitmap mBitmap1, Bitmap mBitmap2) {
        Mat mat1 = new Mat();
        Mat mat2 = new Mat();
        Utils.bitmapToMat(mBitmap1, mat1);
        Utils.bitmapToMat(mBitmap2, mat2);
        return comPareHist(mat1, mat2);
    }

    /**
     * 比較來個矩陣的相似度
     * 
     * @param mat1
     * @param mat2
     * @return
     */
    public static double comPareHist(Mat mat1, Mat mat2) {
        Mat srcMat = new Mat();
        Mat desMat = new Mat();
        Imgproc.cvtColor(mat1, srcMat, Imgproc.COLOR_BGR2GRAY);
        Imgproc.cvtColor(mat2, desMat, Imgproc.COLOR_BGR2GRAY);
        srcMat.convertTo(srcMat, CvType.CV_32F);
        desMat.convertTo(desMat, CvType.CV_32F);
        double target = Imgproc.compareHist(srcMat, desMat,
                Imgproc.CV_COMP_CORREL);
        return target;
    }

Imgproc.compareHist(Mat H1, Mat H2, int method)這個方法是OpenCV提供的通過直方圖演算法對比兩張圖片的相似度，完全相同的兩張圖片相似度為1。

新增對比按鈕，實現主動對比和自動對比

核心的程式碼上面已經寫完了，剩下的就是新增按鈕和觸發對比，就不詳細介紹了，直接把完整的程式碼附上，備註很詳細

MainActivity.java

package com.example.opencvdemo;

import org.opencv.android.BaseLoaderCallback;
import org.opencv.android.CameraBridgeViewBase;
import org.opencv.android.CameraBridgeViewBase.CvCameraViewFrame;
import org.opencv.android.CameraBridgeViewBase.CvCameraViewListener2;
import org.opencv.android.LoaderCallbackInterface;
import org.opencv.android.OpenCVLoader;
import org.opencv.android.Utils;
import org.opencv.core.Mat;

import android.annotation.SuppressLint;
import android.app.Activity;
import android.graphics.Bitmap;
import android.graphics.Bitmap.Config;
import android.os.Bundle;
import android.os.Handler;
import android.os.Message;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.TextView;

public class MainActivity extends Activity implements CvCameraViewListener2 {

    /**
     * 展示原圖和對比圖
     */
    private ImageView iv1, iv2;

    /**
     * 原圖和對比圖
     */
    private Bitmap bmp1, bmp2;

    /**
     * 拍攝原圖、拍攝對比圖、對比、自動對比
     */
    private Button pz1, pz2, db, zddb;

    /**
     * 顯示相似度（完全相同值為1）
     */
    private TextView tv;

    /**
     * CV相機
     */
    private CameraBridgeViewBase mCVCamera;

    /**
     * 載入OpenCV的回撥
     */
    private BaseLoaderCallback mLoaderCallback;

    /**
     * 拍照狀態 0:不拍照 ，1:拍原圖，2:拍對比圖，3:拍對比圖並自動對比
     */
    private int isTakePhoto = 0;

    /**
     * 用於定時執行圖片對比
     */
    private Handler handler;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        // 初始化
        init();
    }

    @SuppressLint("HandlerLeak")
    private void init() {
        // 初始化
        iv1 = (ImageView) findViewById(R.id.iv1);
        iv2 = (ImageView) findViewById(R.id.iv2);
        pz1 = (Button) findViewById(R.id.pz1);
        pz2 = (Button) findViewById(R.id.pz2);
        db = (Button) findViewById(R.id.db);
        zddb = (Button) findViewById(R.id.zddb);
        tv = (TextView) findViewById(R.id.tv);

        handler = new Handler() {
            @Override
            public void handleMessage(Message msg) {
                super.handleMessage(msg);
                // 自動拍照並對比
                isTakePhoto = 3;
            }
        };

        OnClickListener btnOnClick = new OnClickListener() {
            @Override
            public void onClick(View v) {
                switch (v.getId()) {
                case R.id.pz1:
                    // 拍原圖
                    isTakePhoto = 1;
                    break;
                case R.id.pz2:
                    // 拍對比圖
                    isTakePhoto = 2;
                    break;
                case R.id.db:
                    hist();
                    break;
                case R.id.zddb:
                    // 拍對比圖並自動對比
                    isTakePhoto = 3;
                    break;
                }
            }
        };
        // 設定點選事件
        pz1.setOnClickListener(btnOnClick);
        pz2.setOnClickListener(btnOnClick);
        db.setOnClickListener(btnOnClick);
        zddb.setOnClickListener(btnOnClick);

        // 初始化CV相機
        mCVCamera = (CameraBridgeViewBase) findViewById(R.id.cv);
        mCVCamera.setVisibility(CameraBridgeViewBase.VISIBLE);
        // 設定相機監聽
        mCVCamera.setCvCameraViewListener(this);

        // 連線到OpenCV的回撥
        mLoaderCallback = new BaseLoaderCallback(this) {
            @Override
            public void onManagerConnected(int status) {
                switch (status) {
                case LoaderCallbackInterface.SUCCESS:
                    mCVCamera.enableView();
                    break;
                default:
                    break;
                }
            }
        };
    }

    private void hist() {
        // 對比演算法會耗時，導致頁面卡頓，所以新開執行緒進行對比
        new Thread(new Runnable() {
            @Override
            public void run() {
                // 對比
                final double target = HistUtils.comPareHist(bmp1, bmp2);
                MainActivity.this.runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        // 將相似度顯示在左上角
                        tv.setText("相似度：" + target);
                    }
                });
            }
        }).start();
    }

    @Override
    public void onCameraViewStarted(int width, int height) {
    }

    @Override
    public void onCameraViewStopped() {
    }

    @Override
    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {// 相機拍攝每一幀的影象，都在此處理
        // 獲取相機中的影象
        final Mat rgba = inputFrame.rgba();
        if (isTakePhoto != 0) {

            // 記錄拍照狀態
            final int who = isTakePhoto;
            // 重置拍照狀態
            isTakePhoto = 0;

            // 要把Mat物件轉換成Bitmap物件，需要建立一個寬高相同的Bitmap物件昨晚參數
            final Bitmap bmp = Bitmap.createBitmap(rgba.cols(), rgba.rows(),
                    Config.RGB_565);

            // 記錄要展示圖片的ImageView
            ImageView iv = null;
            // Mat >>> Bitmap
            Utils.matToBitmap(rgba, bmp);

            if (who == 1) {
                // 展示原圖
                iv = iv1;
                bmp1 = bmp;
            } else if (who == 2) {
                // 展示對比圖
                iv = iv2;
                bmp2 = bmp;
            } else {
                // 展示對比圖
                iv = iv2;
                bmp2 = bmp;
                // 對比
                hist();
                // 每隔0.5秒對比一次
                handler.sendEmptyMessageDelayed(1, 500);
            }
            // 記錄要展示圖片的ImageView
            final ImageView image = iv;
            runOnUiThread(new Runnable() {
                @Override
                public void run() {
                    // 展示拍到的圖片
                    image.setImageBitmap(bmp);
                    if (bmp1 != null) {
                        // 如果原圖已經拍好了，那麼可以進行自動對比，將自動對比按鈕設定為可用
                        zddb.setEnabled(true);
                        if (bmp2 != null) {
                            // 如果原圖和對比圖都已經拍好了，那麼可以進行對比，將對比按鈕設定為可用
                            db.setEnabled(true);
                        }
                    }
                }
            });
        }
        // 將每一幀的影象展示在介面上
        return inputFrame.rgba();
    }

    @Override
    protected void onResume() {
        // 介面載入完成的時候向OpenCV的連接回調發送連線成功的訊號
        if (OpenCVLoader.initDebug()) {
            mLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
        }
        super.onResume();
    }

    @Override
    protected void onPause() {
        super.onPause();
        // 銷燬OpenCV相機
        if (mCVCamera != null)
            mCVCamera.disableView();
    }

}

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context="com.example.opencvdemo.MainActivity" >

    <RelativeLayout
        android:id="@+id/rl"
        android:layout_width="match_parent"
        android:layout_height="match_parent" >

        <org.opencv.android.JavaCameraView
            android:id="@+id/cv"
            android:layout_width="fill_parent"
            android:layout_height="fill_parent" />

        <TextView
            android:id="@+id/tv"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:background="#ffffff"
            android:textColor="#000000"
            android:textSize="13sp" />
    </RelativeLayout>

    <LinearLayout
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerInParent="true"
        android:orientation="horizontal" >

        <ImageView
            android:id="@+id/iv1"
            android:layout_width="150dp"
            android:layout_height="wrap_content"
            android:src="@drawable/red" />

        <ImageView
            android:id="@+id/iv2"
            android:layout_width="150dp"
            android:layout_height="wrap_content"
            android:src="@drawable/red" />
    </LinearLayout>

    <LinearLayout
        android:id="@+id/ll"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_alignParentBottom="true"
        android:orientation="horizontal" >

        <Button
            android:id="@+id/pz1"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="拍照1" />

        <Button
            android:id="@+id/pz2"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="拍照2" />

        <Button
            android:id="@+id/db"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:enabled="false"
            android:text="對比" />

        <Button
            android:id="@+id/zddb"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:enabled="false"
            android:text="自動對比" />
    </LinearLayout>

</RelativeLayout>

red.png（自己做的圖片，有點醜）
drawable-hdpi/red.png

● 執行

這裡寫圖片描述

Android 使用OPENCV實現影象實時對比

1. 建立demo工程

2. 整合OpenCV SDK

3. 配置SDK

●因為要用到相機，所以在AndroidManifest.xml新增以下程式碼

●在MainActivity中繼承CvCameraViewListener2介面

●初始化相機

● 執行

4. 編寫圖片對比的方法

新增對比按鈕，實現主動對比和自動對比

● 執行

● 完成，歡迎吐槽

Android 使用OPENCV實現影象實時對比

OpenCV實現影象上新增漢字

0004-用OpenCV實現影象平移的程式碼(分影象尺寸不變和變兩種情況)

QT 下用opencv實現影象分類（1）

python+dlib+opencv實現影象人物換臉

opencv實現影象鄰域均值濾波、中值濾波、高斯濾波

OpenCV實現影象識別

openCV實現影象邊緣檢測

openCV實現影象的輪廓檢測以及外接矩形

Android opencv實現文字識別

使用OpenCL+OpenCV實現影象旋轉（一）

python opencv 實現影象的二值圖

使用opencv實現影象區域性放大功能

opencv實現攝像頭實時人臉檢測

opencv實現影象的傅立葉變換

python+opencv實現影象全景拼接

opencv實現影象的灰度轉換，均值濾波，實現影象的顯示和儲存

opencv實現影象分割，分離前景和背景(1)

python+opencv實現影象全景拼接是遇到module 'cv2.cv2' has no attribute 'xfeatures2d_SIFT'問題

Android OpenCV新增影象效果

Android 使用OPENCV實現影象實時對比

1. 建立demo工程

2. 整合OpenCV SDK

3. 配置SDK

●因為要用到相機，所以在AndroidManifest.xml新增以下程式碼

●在MainActivity中繼承CvCameraViewListener2介面

●初始化相機

● 執行

4. 編寫圖片對比的方法

新增對比按鈕，實現主動對比和自動對比

● 執行

● 完成，歡迎吐槽

相關推薦