By Toradex秦海

1). 簡介

Gstreamer多媒體開發框架是當前嵌入式Linux裝置最為常用的多媒體應用處理平臺，關於Gstreamer開發框架的介紹請參考我們過往發表的其他相關文章，這裡不再贅述而是直接展示使用C語言基於Gstreamer進行攝像頭處理的示例程式開發。

本文所演示的平臺來自於Toradex Aaplis iMX6D嵌入式平臺，這個平臺是基於NXP iMX6系列ARM處理器，支援雙核心Cortex-A9。

2). 準備

a). Apalis iMX6D ARM核心版配合Apalis Ixora載板，連線除錯串列埠到開發主機，具體操作方法可以參考這裡。

b). Apalis iMX6D作業系統使用Toradex Linux Release V2.7b2，下載和更新方法請參考

c). 連線一個USB Camera到Ixora載板X8靠上的USB介面，這裡使用Logitech 720P攝像頭。

3). 配置Ubuntu開發主機

a). 安裝Toradex提供的交叉編譯SDK，可以基於OpenEmbedded環境自行編譯，也可以從這裡下載我們已經編譯好的進行測試使用，下載後執行下面命令進行安裝，並根據提示設定安裝目錄。

--------------------

$ ./angstrom-glibc-x86_64-armv7at2hf-neon-v2016.12-toolchain.sh -S

--------------------

b). 本文使用Eclipse IDE進行開發，請參考

c). 啟動Eclipse並建立Gstreamer新專案

./ 在啟動Eclipse之前，首先開啟Terminal並執行下面命令配置SDK，配置在Terminal關閉時候失效，下次使用要重新配置。

--------------------

$ source SDK Path/environment-setup-armv7at2hf-vfp-neon-angstrom-linux-gnueabi

--------------------

./ 然後在同一Terminal下啟動Eclipse IDE

./ 建立新的Cross GCC專案，這裡為gstest

d). 設定Gstreamer編譯選項

./gstest –> Properties -> C/C++ Build -> Settings –> Tool Settings -> Cross GCC Compiler -> Miscellaneous -> Other flags 新增下面內容

--------------------

`pkg-config --cflags gstreamer-1.0` -fPIC

--------------------

./ ./gstest –> Properties -> C/C++ Build -> Settings –> Tool Settings -> Cross GCC Linker -> Miscellaneous -> Linker flags新增下面內容

--------------------

`pkg-config --libs gstreamer-1.0 gobject-2.0 glib-2.0`

--------------------

4). C程式開發示例

a). 本文演示C程式main程式中主要實現三種Gstreamer應用示例，第一種是捕獲USB攝像頭輸入影象並顯示在桌面上，第二種是捕獲USB攝像頭輸入影象並進行H.264編碼後儲存為MKV視訊檔案，第三種是讀取上面第二種儲存的視訊檔案並播放顯示在桌面上面。

b). 程式完整程式碼如下，分別說明如下：

./ Main函式首先建立所需要使用的Elements和bus等，然後初始化gstreamer並建立main loop。

./ 然後通過程式輸入引數做三個選項，分別對應上面提到的三個子應用。

./ 應用1 - 捕獲USB攝像頭輸入影象並顯示在桌面

// 首先在iMX6上面可以通過命令列先測試好要使用的pipeline，如下：

--------------------

$ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, width=1280, height=720, format=(string)YUY2' ! videoconvert ! imxv4l2sink overlay-width=640 overlay-height=480

--------------------

// 然後按照上面測試的pipeline在程式中先建立pipeline，然後再分別呼叫”gst_element_factory_make”函式匹配實際使用的elements，最後建立pipeline message bus和monitor。

// 然後呼叫”gst_bin_add_many”函式將剛才生成的elements新增到pipeline中。

// 最後呼叫”gst_element_link_many”函式順序連結各個elements

./ 應用2 - 捕獲USB攝像頭輸入影象並進行H.264編碼後儲存為MKV視訊檔案

// 首先同樣在iMX6上面通過命令列先測試好要使用的pipeline，如下：

--------------------

$ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, width=1280, height=720, format=(string)YUY2' ! videoconvert ! vpuenc_h264 ! matroskamux ! filesink location=output.mkv

--------------------

// 後面的程式和上面應用1是類似的方法配置

./ 應用3 - 讀取上面第二種儲存的視訊檔案並播放顯示在桌面

// 首先同樣在iMX6上面通過命令列先測試好要使用的pipeline，如下：

--------------------

gst-launch-1.0 filesrc location=output.mkv typefind=true ! matroskademux ! vpudec ! imxv4l2sink overlay-width=640 overlay-height=480

--------------------

// 後面的程式基本上和上面應用1是類似的方法配置，只是有一個元件需要注意，就是”matroskademux”，通過”gst-inspect”檢視可以得知其sink pad是根據src資料情況動態產生的，這樣導致在上面測試piepeline的時候沒有問題，但是做C程式開發的時候就需要我們來處理這個事件，因此我們添加了”on_pad_added”函式，並在main函式中呼叫”g_signal_connect”函式來動態連結pipeline中的demux元件和decoder元件。

./ main函式最後通過”gst_element_set_state”函式play pipeline，並通過” g_main_loop_run”函式開始迴圈。

c). 測試上述c程式程式碼執行請見如下：

./ 應用1：

--------------------------------

[email protected]:~# ./gstest 1 /dev/video3                                     

[ 3689.676941] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

[ 3689.682806] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

[ 3689.688697] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

====== IMXV4L2SRC: 4.1.4 build on Apr 10 2017 02:13:12. ======                 

====== IMXV4L2SINK: 4.1.4 build on Apr 10 2017 02:13:12. ======                

display(/dev/fb0) resolution is (1920x1080).                                   

Running                                                                        

v4l2sink need allocate 3 buffers.

--------------------------------

顯示如下：

./ 應用2：

--------------------------------

[email protected]:~# ./gstest 2 /dev/video3 output.mkv                           

[ 9096.456753] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

[ 9096.462704] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

[ 9096.468553] ERROR: v4l2 capture: slave not found! V4L2_CID_HUE              

====== IMXV4L2SRC: 4.1.4 build on Apr 10 2017 02:13:12. ======                 

[INFO]  Product Info: i.MX6Q/D/S                                               

====== VPUENC: 4.1.4 build on Apr 10 2017 02:13:17. ======                     

        wrapper: 1.0.68 (VPUWRAPPER_ARM_LINUX Build on Apr  4 2017 17:47:13)   

        vpulib: 5.4.35                                                         

        firmware: 3.1.1.46072                                                  

Running                                                                         

[INFO]  ringBufferEnable 0, chromaInterleave 1, mapType 0, linear2TiledEnable 0

--------------------------------

檢視生成檔案如下：

./ 應用3：

--------------------------------

[email protected]:~# ./gstest 3 output.mkv                                      

[INFO]  Product Info: i.MX6Q/D/S                                                

====== IMXV4L2SINK: 4.1.4 build on Apr 10 2017 02:13:12. ======                

display(/dev/fb0) resolution is (1920x1080).                                   

[INFO]  Product Info: i.MX6Q/D/S                                                

====== VPUDEC: 4.1.4 build on Apr 10 2017 02:13:17. ======                     

        wrapper: 1.0.68 (VPUWRAPPER_ARM_LINUX Build on Apr  4 2017 17:47:13)   

        vpulib: 5.4.35                                                          

        firmware: 3.1.1.46072                                                  

Running                                                                        

Dynamic pad created, linking demux/decoder                                     

[INFO]  bitstreamMode 1, chromaInterleave 1, mapType 0, tiled2LinearEnable 0   

v4l2sink need allocate 3 buffers.

--------------------------------

顯示如下：

5). 總結

Gstreamer框架是非常強大的多媒體處理工具，本文只是做了一些簡單的應用示例，更多詳細說明和示例請參考其官方網站。