注：本博文將講解一個FPGA設計影象處理系統例項，此例項的功能為高速追蹤乒乓球。讀者可以參考本博文的演算法思路、工程框架，但博主並不提供工程。

當前，實用的影象處理系統都要求高速處理。目前廣泛採用軟體進行處理，但軟體處理存在速度、成本的問題。近年來，隨著現成可程式設計門陣列FPGA的發展，為提高影象處理系統的效能提供了新的思路和方法。FPGA的並行特性所帶來的高速性，以及低成本低功耗等特性，都是計算機無法比擬的。

小球追蹤平臺的FPGA以及PCB部分由本人開發。採用digilent公司Basys3 FPGA開發板作為控制核心，此款開發板採用xilinx 7系列晶片，板卡設計小巧，同時片上資源也足以滿足大多教學應用場合。此平臺擁有如下功能：

·        採集攝像頭影象，將影象顯示在VGA上

·        控制舵機-攝像頭雲臺，高速追蹤單一顏色物體（比如乒乓球）

系統框架

小球追蹤平臺的系統框圖如下：

從系統框圖可知，片上主要分為5個模組，簡要介紹如下表格：

IP詳解

1.      攝像頭模組

小球追蹤平臺的攝像頭採用OV系列的OV7725攝像頭。這款攝像頭時序、暫存器配置都比較簡單，效能也足以滿足追蹤的需要。

關於OV7725具體的引數和時序，使用者可以參考OV7725的官方手冊。本平臺在工程中構建了兩個關於攝像頭的IP核——一個是攝像頭時序控制模組；另一個是暫存器配置模組。

攝像頭的採集模組IP封裝如下圖所示：

引腳說明如下表格：

此IP的功能為：根據攝像頭的時序，對輸入的pclk、vsync、href訊號進行時序分析，將輸入的攝像頭初始資料d[7:0]轉換為使用者需要的RGB565畫素，並對應每一個RGB畫素產生一個地址、一個寫使能，以便將畫素正確存到幀快取之中。注意到，攝像頭的工作時鐘xclk並不由此模組提供。在工程中，我們直接新增一個clock模組來提供所有時鐘，其中產生一路25MHz給攝像頭，充當xclk。

OV7725內部有一些暫存器，這些暫存器的內容決定攝像頭的工作引數、工作模式等，主機可以通過IIC協議讀寫這些暫存器。本系統我們構建了一個IIC的IP。

暫存器配置IP封裝如下圖：

引腳說明如下表格：

此IP的功能為：產生IIC時序，並通過IIC向攝像頭暫存器寫入資料，使得攝像頭能正常工作。如果想再次配置，只需rst引腳復位一次即可。

在本系統中，我們通過IIC模組將攝像頭配置成QVGA的解析度（320*240）、RGB565的畫素格式。關於配置指令的詳細內容，使用者可以參考OV7725的官方手冊。

2.      幀快取

一個完整的影象採集系統一定要有幀快取。因為影象的採集端和輸出端往往並非同步，它們中間需要有一個儲存器來快取整張影象，將影象的採集、輸出部分分開，互不干擾。在硬體上，通常選用雙口ram來實現幀快取。雙口ram可以讀、可以寫，並且讀寫可以同時進行，互不影響。本系統採用的幀快取ip採用了vivado自帶的簡單雙口bram，封裝如下：

3.影象處理部分功能框圖：

·        色彩空間轉換模組RGB2HSV

攝像頭模組得到的是RGB資料。在實際環境中，光照經常會給影象中同一物體的RGB分量帶來影響。不過，光照對於HSV（Hue、Saturation、Value）色彩空間中H、S分量的影響卻相對小很多。本平臺由於攝像頭位置隨時在變化，影象明暗程度經常會變化，為了追蹤色彩單一的乒乓球，採用HSV色彩空間是一個比較合適的策略。本系統即構建了一個RGB畫素到HSV畫素的轉換ip，IP的封裝如下：

引腳說明如下：

IP功能說明：將輸入的RGB畫素，轉換成HSV畫素。RGB色空間和HSV空間之間的轉換為非線性的，硬體實現需要考慮時鐘同步、演算法優化、實時性等問題。此ip內部呼叫了低延遲的除法器實現Hue分量與Saturation分量的高速計算，從而實現了RGB轉換成HSV。

·        色彩提取與座標計算模組ColorDetect IP

本系統追蹤乒乓球的原理是應用了色彩方面的理論，尋找類似乒乓球色彩的區域，然後計算這個區域的中心。首先需要人為提取乒乓球的HSV分量（只提取一次）；之後的每一幀都進行如下操作：遍歷影象每個畫素，對HSV分量和乒乓球相近的畫素進行標註，然後對標註後的區域去噪，去噪後，對此區域進行中心點的計算。每一幀結束都會將計算所得的中心座標傳送給舵機控制模組。

本系統提供的ColorDetect IP能實現以下功能：

·檢測顏色

·標註並上色

·計算標註區域的中心座標

在標註過程中，假如背景有橘黃色的物體，就會產生噪聲。本系統去噪、降噪的策略有兩個方面：1.形態學處理，直接去除面積較小的噪點；2.設定權值的概念，降低較大噪點影響。

對於形態學處理，在colorDetact ip內部並沒有包含，而是將待處理訊號引出到其他IP——erode ip和dilate ip。後續內容中，會介紹erode ip和dilate ip這兩個在本系統中專門用來形態學處理的IP。對於權值降噪，在ColorDetectip中，有一個權值計算模組，中心點的計算會和權值相關。對於每一個標註畫素，都計算此畫素和上一幀得到的中心點的距離，根據距離遠近設定不同大小的權值，越接近中心的標註畫素，權值越大，否則越小。這樣就會降低和乒乓球實際球體距離較遠，但面積較大的噪點的影響

ColorDetect IP的封裝如下：

引腳說明如下表所示：

·        膨脹與腐蝕模組——erode IP & dilate IP

在影象中，利用形態學處理演算法，可以去除較小的噪點。在FPGA上實現腐蝕和膨脹兩種操作的演算法，關鍵是濾波視窗的實現。

設計的思路是：因為視窗在遍歷影象過程中，每一個畫素都會被視窗多次使用，因此需要通過快取來儲存畫素，使得它們能在後續的視窗位置被重複利用。本平臺需要的視窗大小為3*3，在FPGA中，可以設計3個單口行快取，藉助狀態機和列計數值實現這種視窗，採用流水處理的方法，實現加速計算。

得到視窗之後，就可以對其中的單元並行操作。對於腐蝕演算法，假設輸入的影象為單畫素1bit的二值化影象，只有當視窗所有元素都為1時，視窗最後輸出才為1，否則輸出為0。而對於膨脹演算法，只有當視窗所有元素都為0時，視窗最後輸出才為0，否則輸出為1。

本系統構建了erode ip和dilate ip，先通過erode ip對影象進行腐蝕，去掉小的噪點，但同時對非噪聲區域也削去了一部分邊緣；然後再經過dilate ip對影象進行膨脹，恢復被削去的非噪聲區域的邊緣。

Erode IP的封裝如下：

引腳說明如下：

dilate IP的封裝如下：

引腳說明：

VGA IP

模組功能：產生VGA時序訊號、資料訊號，產生影象的行列計數值，以及幀快取的讀地址

IP的封裝如圖所示：

引腳說明：

舵機控制IP

本系統為了實現追蹤，需要水平方向、豎直方向各一個舵機，以組成二自由度平臺。平臺採用的舵機是四線舵機，除了電源、地以及pwm訊號線以外，還有一根反饋訊號線，能夠以電壓的形式返回舵機當前的位置（角度）。反饋訊號使得控制演算法設計變得簡單而有效，本系統的控制演算法框圖如下：

本系統的舵機控制IP，封裝如下：

引腳說明：

為了採集反饋訊號，需要一個模擬-數字轉換器件。Xilinx 7系列的晶片都集成了模數轉換器（XADC）。這是相比Xilinx前一代產品新增加的特性，可在系統設計中免去外接的ADC器件，提高了系統的整合度。XADC的框圖如下：

XADC的主要效能指標有：

l 12-bit，1M取樣率；

l 即可採集片外電壓訊號輸入，又可採集晶片溫度、晶片供電電壓

l  通過DRP（dynamic reconfigurationport）介面，可靈活配置XADC的工作模式和引數（輸入極性、取樣通道選擇、報警值等），也可檢視ADC轉換結果。

本平臺的XADC的呼叫和配置，參考了《7 Series FPGAs and Zynq-7000 All Programmable SoC XADC Dual 12-Bit 1 MSPSAnalog-to-Digital Converter User Guide》（ug480）的p77-p85。具體讀者可查閱此文件。本系統的XADC有兩路，每一路都為差分訊號，分別用到上面ADC框圖中，外部模擬輸入的VAUXP[6]/ VAUXN[6]以及VAUXP[7] / VAUXN[7]。

舵機控制模組的工作原理為：影象每一幀都會得到一組小球中心點的橫縱座標。在幀同步訊號vsync_in的驅動下，根據ADC取樣值計算出當前的舵機角度，同時計算出當前小球中心點座標與畫面中心點座標的距離，將這兩個數值的單位統一換算成pwm，然後根據上述控制演算法框圖，計算出下一時刻舵機的pwm值。