http://www.voidcn.com/blog/yhhyhhyhhyhh/article/p-5769736.html

    最近做專案，參考網上的資料，梳理了一下視訊採集，編碼，傳輸，顯示相關知識及常用的視訊處理框架和開源庫（本文有誤的地方請見諒，好多概念網上說的感覺都不清楚）。

一.FFmpeg，H.264，Directshow，和opencv

1）FFmpeg：一套開源的音視訊處理的框架或程式。

2）H.264：一種目前比較高效的視訊壓縮標準或一套編解碼協議，x264是關於H.264的一個開源專案（是實現這種視訊壓縮的方法（演算法或軟體））。

3）DirectShow：微軟推出的

流媒體處理的開發包。

4）Opencv:一個開源的計算機視覺的處理庫。

       FFmpeg，Directshow和opencv都可以實現視訊檔案和流資料（攝像頭採集）的播放處理，其中Directshow攝像頭採集的資料（攝像頭採集資料返回的資料型別和opencv一致），可以直接在opencv中的介面使用。

FFmpeg中的libavcodec包含了音視訊編解碼器的庫，其中包含H.264的編解碼。

Opencv中包含FFmpeg的dll。

1.FFmpeg

FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。它包括了領先的音/視訊編碼庫libavcodec等。

FFmpeg有非常強大的功能包括視訊採集功能、視訊格式轉換、視訊抓圖、給視訊加水印等。FFmpeg視訊採集功能非常強大，不僅可以採集視訊採集卡或USB攝像頭的影象，還可以進行螢幕錄製，同時還支援以RTP方式將視訊流傳送給支援RTSP的流媒體伺服器，支援直播應用。FFmpeg 在Linux上開發，也可以在大多數作業系統下編譯，包括Windows。

2.H.264:

目前比較高效的視訊壓縮標準(h.265更高效)或一套編解碼協議。

x264則是關於H264的一個開源專案（是實現這種視訊壓縮的方法（演算法或軟體））。

H.264，同時也是MPEG-4第十部分，是由ITU-T視訊編碼專家組（VCEG）和ISO/IEC

動態影象專家組（MPEG）聯合組成的聯合視訊組（JVT，Joint Video Team）提出的高度壓縮數字視訊編解碼器標準。這個標準通常被稱之為H.264/AVC（或者AVC/H.264或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC）而明確的說明它兩方面的開發者。

3.DirectShow

DirectShow是微軟公司推出的新一代基於COM(Component Object Model)的流媒體處理的開發包。主要功能是流媒體的採集與回放。它集成了DirectDraw,DirectSound,Direct3D的一些技術。它是一個開放的架構，你自己可以寫自己的Filter元件。一般在windows下做視訊採集處理。

4.opencv

opencv是一個開源的計算機視覺的處理庫。opencv可以利用DirectShow來採集攝像頭視訊，這比採用opencv裡的採集視訊資料函式要好用。directshow用於視訊採集容易些而opencv用於影象處理容易些。opencv內含ffmpeg編、解碼的dll。所攝像頭時可以：利用DirectShow採集，利用opencv處理。

Video4linux2（簡稱V4L2),是linux中關於視訊裝置的核心驅動。在Linux中，視訊裝置是裝置檔案，可以像訪問普通檔案一樣對其進行讀寫，攝像頭在/dev/video0下。

二.視訊編碼與封裝格式

遠端攝像頭採集視訊實時播放機處理流程：

視訊原始資料（攝像頭採集）---->編碼---->傳輸---->終端（解碼，顯示，處理）

1.攝像頭採集的資料格式：

色彩空間或色彩模型：RGB,YUV，YCbCr

RGB紅綠藍色彩空間。常見的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等；

YUV色彩空間的重要性是它的亮度訊號Y和色度訊號U、V是分離的。

YCbCr 則是在世界數字組織視訊標準研製過程中作為ITU - R BT1601 建議的一部分, 其實是YUV經過縮放和偏移的翻版。其中Y與YUV 中的Y含義一致, Cb , Cr 同樣都指色彩, 只是在表示方法上不同而已。在YUV 家族中, YCbCr 是在計算機系統中應用最多的成員, 其應用領域很廣泛,JPEG、MPEG均採用此格式。一般人們所講的YUV大多是指YCbCr。YCbCr 有許多取樣格式, 如4∶4∶4 , 4∶2∶2 , 4∶1∶1 和4∶2∶0。常見的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。

X264在進行編碼的時候需要標準的YUV（4：2：0）。

RGB24一幀的大小size＝width×heigth×3 Byte，RGB32的size＝width×heigth×4，如果是I420（即YUV標準格式4：2：0）的資料量是 size＝width×heigth×1.5 Byte。在採集到RGB24資料後，需要對這個格式的資料進行第一次壓縮。即將影象的顏色空間由RGB2YUV。

要看攝像頭驅動支援哪些格式，一般攝像頭採集後輸出的視訊（或幀）格式為RGB或YUV。也有可能是經過硬體壓縮的格式的圖片。如ZC301晶片的攝像頭輸出是JPEG流，ov511晶片的攝像頭輸出的是16位的RGB圖片。

2.視訊編碼：

主視訊流傳輸中最為重要的編解碼標準有國際電聯的H.261、H.263、H.264，運動靜止影象專家組的M-JPEG和國際標準化組織運動影象專家組的MPEG系列標準，此外在網際網路上被廣泛應用的還有Real-Networks的RealVideo、微軟公司的WMV以及Apple公司的QuickTime等。還有國內的AVS。

3.封裝格式:

封裝格式（也叫容器），就是將已經編碼壓縮好的視訊軌和音訊軌按照一定的格式放到一個檔案中，也就是說僅僅是一個外殼，或者大家把它當成一個放視訊軌和音訊軌的資料夾也可以。

3.1常見封裝格式

AVI：微軟在90年代初創立的封裝標準，是當時為對抗quicktime格式（mov）而推出的，只能支援固定CBR恆定位元率編碼的聲音檔案。

FLV：針對於h.263家族的格式。

MKV：萬能封裝器，有良好的相容和跨平臺性、糾錯性，可帶外掛字幕。

相關推薦