要求：利用幀差法或背景差分法對視訊進行運動物體的提取。影象處理步驟為：讀取幀、平滑、幀差或背景差、二值化、膨脹、腐蝕。每一步的處理結果都用單獨視窗顯示出來。

一、原理

 平滑：

 平滑也可叫濾波，或者合在一起叫平滑濾波，平滑濾波是低頻增強的空間域濾波技術。它的目的有兩類：一類是模糊；另一類是消除噪音。空間域的平滑濾波一般採用簡單平均法進行，就是求鄰近像元點的平均亮度值。鄰域的大小與平滑的效果直接相關，鄰域越大平滑的效果越好，但鄰域過大，平滑會使邊緣資訊損失的越大，從而使輸出的影象變得模糊，因此需合理選擇鄰域的大小。

“平滑處理”也稱“模糊處理”(blurring)，是一項簡單且使用頻率很高的影象處理方法。平滑處理的用途很多，但最常見的是用來減少影象上的噪聲或者失真。降低影象解析度時，平滑處理是很重要的。

 二值化的基本原理

      影象的二值化處理就是講影象上的點的灰度置為0或255，也就是講整個影象呈現出明顯的黑白效果。即將256個亮度等級的灰度影象通過適當的閥值選取而獲得仍然可以反映影象整體和區域性特徵的二值化影象。在數字影象處理中，二值影象佔有非常重要的地位，特別是在實用的影象處理中，以二值影象處理實現而構成的系統是很多的，要進行二值影象的處理與分析，首先要把灰度影象二值化，得到二值化影象，這樣子有利於再對影象做進一步處理時，影象的集合性質只與畫素值為0或255的點的位置有關，不再涉及畫素的多級值，使處理變得簡單，而且資料的處理和壓縮量小。為了得到理想的二值影象，一般採用封閉、連通的邊界定義不交疊的區域。所有灰度大於或等於閥值的畫素被判定為屬於特定物體，其灰度值為255

膨脹

     其實，膨脹就是求區域性最大值的操作。

       按數學方面來說，膨脹或者腐蝕操作就是將影象（或影象的一部分割槽域，我們稱之為A）與核（我們稱之為B）進行卷積。

 核可以是任何的形狀和大小，它擁有一個單獨定義出來的參考點，我們稱其為錨點（anchorpoint）。多數情況下，核是一個小的中間帶有參考點和實心正方形或者圓盤，其實，我們可以把核視為模板或者掩碼。   

       而膨脹就是求區域性最大值的操作，核B與圖形卷積，即計算核B覆蓋的區域的畫素點的最大值，並把這個最大值賦值給參考點指定的畫素。這樣就會使影象中的高亮區域逐漸增長。如下圖所示，這就是膨脹操作的初衷

腐蝕

  再來看一下腐蝕，，大家應該知道，膨脹和腐蝕是一對好基友，是相反的一對操作，所以腐蝕就是求區域性最小值的操作，我們一般都會把腐蝕和膨脹對應起來理解和學習。下文就可以看到，兩者的函式原型也是基本上一樣的。

   原理圖：

幀差法 
       幀差法是最為常用的運動目標檢測和分割方法之一，基本原理就是在影象序列相鄰兩幀或三幀間採用基於畫素的時間差分通過閉值化來提取出影象中的運動區域。首先，將相鄰幀影象對應畫素值相減得到差分影象，然後對差分影象二值化，在環境亮度變化不大的情況下，如果對應畫素值變化小於事先確定的閡值時，可以認為此處為背景畫素:如果影象區域的畫素值變化很大，可以認為這是由於影象中運動物體引起的，將這些區域標記為前景畫素，利用標記的畫素區域可以確定運動目標在影象中的位置。由於相鄰兩幀間的時間間隔非常短，用前一幀影象作為當前幀的背景模型具有較好的實時性，其背景不積累，且更新速度快、演算法簡單、計算量小。演算法的不足在於對環境噪聲較為敏感，閩值的選擇相當關鍵，選擇過低不足以抑制影象中的噪聲，過高則忽略了影象中有用的變化。對於比較大的、顏色一致的運動目標，有可能在目標內部產生空洞，無法完整地提取運動目標。 

二、編碼過程及實現

1、讀取視訊

VideoCapture video("C:\\Users\\lenovo\\Desktop\\人工智慧\\多媒體\\Car.avi");

2、讀取幀

video >> frame;//讀幀進frame  
			imshow("frame", frame);
			if (frame.empty())//對幀進行異常檢測  
			{
				cout << "frame is empty!" << endl;
				break;
			}

if (i == 0)//如果為第一幀（temp還為空）  
			{
				result = MoveDetect(frame, frame);//呼叫MoveDetect()進行運動物體檢測，返回值存入result  
			}
			else//若不是第一幀（temp有值了）  
			{
				result = MoveDetect(temp, frame);//呼叫MoveDetect()進行運動物體檢測，返回值存入result  

			}

			imshow("result", result);
			if (waitKey(1000.0 / FPS) == 27)//按原FPS顯示  
			{
				cout << "ESC退出!" << endl;
				break;
			}
			temp = frame.clone();

3、.平滑處理

IplImage *tempimg_src, *tempimg_dst;
	tempimg_src = &IplImage(temp);
	tempimg_dst = cvCreateImage(cvGetSize(tempimg_src), 8, 3);
	cvSmooth(tempimg_src, tempimg_dst, CV_BLUR, 3, 3, 0, 0);//平滑函式

	IplImage *frameimg_src, *frameimg_dst;
	frameimg_src = &IplImage(frame);
	frameimg_dst = cvCreateImage(cvGetSize(frameimg_src), 8, 3);
	cvSmooth(frameimg_src, frameimg_dst, CV_BLUR, 3, 3, 0, 0);//平滑函式

4、幀差

Mat temp1, frame1;
	temp1 = cvarrToMat(tempimg_dst);
	frame1 = cvarrToMat(frameimg_dst);
	//將background和frame轉為灰度圖  
	Mat gray1, gray2;
	cvtColor(temp1, gray1, CV_BGR2GRAY);
	cvtColor(frame1, gray2, CV_BGR2GRAY);
	//將background和frame做差  
	Mat diff;
	absdiff(gray1, gray2, diff);
	imshow("幀差圖", diff);

5、二值化

Mat diff_thresh;

	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));//函式會返回指定形狀和尺寸的結構元素。
																	 //呼叫之後，呼叫膨脹與腐蝕函式的時候，第三個引數值儲存了getStructuringElement返回值的Mat型別變數。也就是element變數。
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(18, 18));

	//進行二值化處理，選擇50，255為閾值
	threshold(diff, diff_thresh, 50, 255, CV_THRESH_BINARY);
	imshow("二值化處理後", diff_thresh);

6、膨脹  

dilate(diff_thresh, diff_thresh, kernel_dilate);
imshow("膨脹處理後", diff_thresh);

7、腐蝕

erode(diff_thresh, diff_thresh, kernel_erode);
imshow("腐蝕處理後", diff_thresh);

8、查詢輪廓並繪製輪廓

vector<vector<Point> > contours;
	findContours(diff_thresh, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);//找輪廓函式
	drawContours(result, contours, -1, Scalar(0, 0, 255), 2);//在result上繪製輪廓  
															 //7.查詢正外接矩形  
	vector<Rect> boundRect(contours.size());
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(result, boundRect[i], Scalar(0, 255, 0), 2);//在result上繪製正外接矩形  
	}
	return result;//返回result  

9、完整程式碼

///運動物體檢測——幀差法  
#include"opencv2/opencv.hpp"  
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/core/core.hpp>
#include<opencv2/imgproc/imgproc.hpp>
using namespace cv;
#include <iostream>  
using namespace std;
//運動物體檢測函式宣告  
Mat MoveDetect(Mat temp, Mat frame);

int main()
{
	//讀取幀、平滑、幀差或背景差、二值化、膨脹、腐蝕。
	VideoCapture video("C:\\Users\\lenovo\\Desktop\\人工智慧\\多媒體\\Car.avi");
	if (!video.isOpened())
		return -1;
	while (1)
	{
		int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//獲取幀數  
		double FPS = video.get(CV_CAP_PROP_FPS);//獲取FPS  
		Mat frame;//儲存幀  
		Mat temp;//儲存前一幀影象  
		Mat result;//儲存結果影象  
		for (int i = 0; i < frameCount; i++)
		{
			//讀取幀
			video >> frame;//讀幀進frame  
			imshow("frame", frame);
			if (frame.empty())//對幀進行異常檢測  
			{
				cout << "frame is empty!" << endl;
				break;
			}
			//處理幀
			if (i == 0)//如果為第一幀（temp還為空）  
			{
				result = MoveDetect(frame, frame);//呼叫MoveDetect()進行運動物體檢測，返回值存入result  
			}
			else//若不是第一幀（temp有值了）  
			{
				result = MoveDetect(temp, frame);//呼叫MoveDetect()進行運動物體檢測，返回值存入result  
			}

			imshow("result", result);
			if (waitKey(1000.0 / FPS) == 27)//按原FPS顯示  
			{
				cout << "ESC退出!" << endl;
				break;
			}
			temp = frame.clone();
		}
	}
	return 0;

}
Mat MoveDetect(Mat temp, Mat frame)
{

	//平滑、幀差或背景差、二值化、膨脹、腐蝕。
	Mat result = frame.clone();
	//1.平滑處理
	IplImage *tempimg_src, *tempimg_dst;
	tempimg_src = &IplImage(temp);
	tempimg_dst = cvCreateImage(cvGetSize(tempimg_src), 8, 3);
	cvSmooth(tempimg_src, tempimg_dst, CV_BLUR, 3, 3, 0, 0);//平滑函式

	IplImage *frameimg_src, *frameimg_dst;
	frameimg_src = &IplImage(frame);
	frameimg_dst = cvCreateImage(cvGetSize(frameimg_src), 8, 3);
	cvSmooth(frameimg_src, frameimg_dst, CV_BLUR, 3, 3, 0, 0);//平滑函式

															  //2.幀差
	Mat temp1, frame1;
	temp1 = cvarrToMat(tempimg_dst);
	frame1 = cvarrToMat(frameimg_dst);
	//將background和frame轉為灰度圖  
	Mat gray1, gray2;
	cvtColor(temp1, gray1, CV_BGR2GRAY);
	cvtColor(frame1, gray2, CV_BGR2GRAY);
	//將background和frame做差  
	Mat diff;
	absdiff(gray1, gray2, diff);
	imshow("幀差圖", diff);


	//對差值圖diff_thresh進行閾值化處理  二值化
	Mat diff_thresh;
	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));//函式會返回指定形狀和尺寸的結構元素。																 //呼叫之後，呼叫膨脹與腐蝕函式的時候，第三個引數值儲存了getStructuringElement返回值的Mat型別變數。也就是element變數。
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(18, 18));

	//進行二值化處理，選擇50，255為閾值
	threshold(diff, diff_thresh, 50, 255, CV_THRESH_BINARY);
	imshow("二值化處理後", diff_thresh);
	//膨脹  
	dilate(diff_thresh, diff_thresh, kernel_dilate);
	imshow("膨脹處理後", diff_thresh);
	//腐蝕  
	erode(diff_thresh, diff_thresh, kernel_erode);
	imshow("腐蝕處理後", diff_thresh);

	//查詢輪廓並繪製輪廓  
	vector<vector<Point> > contours;
	findContours(diff_thresh, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);//找輪廓函式
	drawContours(result, contours, -1, Scalar(0, 0, 255), 2);//在result上繪製輪廓  
	 //查詢正外接矩形  
	vector<Rect> boundRect(contours.size());
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(result, boundRect[i], Scalar(0, 255, 0), 2);//在result上繪製正外接矩形  
	}
	return result;//返回result  
}