音視頻編解碼（一）——解碼：代碼實現
前言：對於從未接觸過音視頻編解碼的同學來說，使用FFmpeg的學習曲線恐怕略顯陡峭。本人由於工作需要，正好需要在項目中使用。因此特地將開發過程總結下來。只當提供給有興趣的同學參考和學習。
由於FFmpeg是使用C語言開發，所有和函數調用都是面向過程的。以我目前的學習經驗來說，通常我會把一個功能的代碼全部放在main函數中實現。經過測試和修改認為功能正常，再以C++面向對象的方式逐步將代碼分解和封裝。因此在對本套指南中我也會采用先代碼實現再功能封裝的步驟。
一、開發前的準備工作
開發工具為VS2013+Qt5，目錄結構：
- bin:工作和測試目錄
- doc:開發文檔目錄
- include:ffmpeg頭文件配置目錄
- lib:ffmpeg靜態庫配置目錄
- src:源碼目錄
屬性頁配置：
- 常規-輸出目錄：..\..\bin
- 調試-工作目錄：..\..\bin
- C/C++-常規-附加包含目錄：..\..\include
- 鏈接器-常規-附加庫目錄：..\..\lib
- 鏈接器-系統-子系統：控制臺 (/SUBSYSTEM:CONSOLE)
二、編解碼基礎知識
（1）封裝格式
所謂封裝格式是指音視頻的組合格式，例如最常見的封裝格式有mp4、mp3、flv等。簡單來說，我們平時接觸到的帶有後綴的音視頻文件都是一種封裝格式。不同的封裝格式遵循不同的協議標準。有興趣的同學可以自行擴展，更深的東西我也不懂。
（2）編碼格式
以mp4為例，通常應該包含有視頻和音頻。視頻的編碼格式為YUV420P，音頻的編碼格式為PCM。再以YUV420編碼格式為例。我們知道通常圖像的顯示為RGB（紅綠藍三原色），在視頻壓縮的時候會首先將代表每一幀畫面的RGB壓縮為YUV，再按照關鍵幀（I幀），過渡幀（P幀或B幀）進行運算和編碼。解碼的過程正好相反，解碼器會讀到I幀，並根據I幀運算和解碼P幀以及B幀。並最終根據視頻文件預設的FPS還原每一幀畫面的RGB數據。最後推送給顯卡。所以通常我們說的編碼過程就包括：畫面采集、轉碼、編碼再封裝。
（3）視頻解碼和音頻解碼有什麽區別
玩遊戲的同學肯定對FPS不陌生，FPS太低畫面會感覺閃爍不夠連貫，FPS
但是音頻則不然，音頻的播放必須和采集保持同步。提高或降低音頻的播放速度都會讓音質發生變化，這也是變聲器的原理。因此在實際開發中為了保證播放的音視頻同步，我們往往會按照音頻的播放速度來控制視頻的解碼轉碼速度。
三、代碼實現
（1）註冊FFmpeg組件：註冊和初始化FFmpeg封裝器和網絡設備
av_register_all();
avformat_network_init();
avdevice_register_all();
（2）打開文件和創建輸入設備
AVFormatContext *pFormatCtx = NULL; int errnum = avformat_open_input(&pFormatCtx, filename, NULL, NULL); if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; }
AVFormatContext 表示一個封裝器，在讀取多媒體文件的時候，它負責保存與封裝和編解碼有關的上下文信息。avformat_open_input函數可以根據文件後綴名來創建封裝器。
（3）遍歷流並初始化解碼器
for (int i = 0; i < pFormatCtx->nb_streams; ++i) { AVCodecContext *pCodecCtx = pFormatCtx->streams[i]->codec; // 解碼器上下文 if (pCodecCtx->codec_type == AVMEDIA_TYPE_VIDEO) { // 視頻通道 int videoIndex = i; // 視頻的寬，高 int srcWidth = pCodecCtx->width; int srcHeight = pCodecCtx->height; // 創建視頻解碼器，打開解碼器 AVCodec *codec = avcodec_find_decoder(pCodecCtx->codec_id); if (!codec) { // 無法創建對應的解碼器 } errnum = avcodec_open2(pCodecCtx, codec, NULL); if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } cout << "video decoder open success!" << endl; } if (pCodecCtx->codec_type == AVMEDIA_TYPE_AUDIO) { // 音頻通道 int audioIndex = i; // 創建音頻解碼器，打開解碼器 AVCodec *codec = avcodec_find_decoder(pCodecCtx->codec_id); if (!codec) { // 無法創建對應的解碼器 } errnum = avcodec_open2(pCodecCtx, codec, NULL); if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } int sampleRate = pCodecCtx->sample_rate; // 音頻采樣率 int channels = pCodecCtx->channels; // 聲道數 AVSampleFormat fmt = pCodecCtx->sample_fmt; // 樣本格式 cout << "audio decoder open success!" << endl; } }
封裝器中保存了各種流媒體的通道，通常視頻通道為0，音頻通道為1。除此以外可能還包含字幕流通道等。
第2步和第3步基本就是打開多媒體文件的主要步驟，解碼和轉碼的所有參數都可以在這裏獲取。接下來我們就需要循環進行讀取、解碼、轉碼直到播放完成。
（4）讀取壓縮數據：之所以稱為壓縮數據主要是為了區分AVPacket和AVFrame兩個結構體。AVPacket表示一幅經過了關鍵幀或過渡幀編碼後的畫面，AVFrame表示一個AVPacket經過解碼後的完整YUV畫面
AVPacket *pkt = NULL; pkt = av_packet_alloc(); // 初始化AVPacket // 讀取一幀數據 errnum = av_read_frame(pFormatCtx, pkt); if (errnum == AVERROR_EOF) { // 已經讀取到文件尾 av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; }
（5）解碼
errnum = avcodec_send_packet(pCodecCtx, pkt); if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } AVFrame *yuv = av_frame_alloc(); AVFrame *pcm = av_frame_alloc(); if (pkt->stream_index == videoIndex) { // 判斷當前解碼幀為視頻幀 errnum = avcodec_receive_frame(pCodecCtx, yuv); // 解碼視頻 if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } } if (pkt->stream_index == audioIndex) { // 判斷當前解碼幀為音頻幀 errnum = avcodec_receive_frame(pCodecCtx, pcm); // 解碼音頻 if (errnum < 0) { av_strerror(errnum, errbuf, sizeof(errbuf)); cout << errbuf << endl; } }
（6）視頻轉碼
// 720p輸出標準 int outWidth = 720; int outHeight = 480; char *outData = new char[outWidth * outHeight * 4] SwsContext *videoSwsCtx = NULL; videoSwsCtx = sws_getCachedContext(videoSwsCtx, srcWidth, srcHeight, (AVPixelFormat)pixFmt, // 輸入 outWidth, outHeight, AV_PIX_FMT_BGRA, // 輸出 SWS_BICUBIC, // 算法 0, 0, 0); // 分配數據空間 uint8_t *dstData[AV_NUM_DATA_POINTERS] = { 0 }; dstData[0] = (uint8_t *)outData; int dstStride[AV_NUM_DATA_POINTERS] = { 0 }; dstStride[0] = outWidth * 4; int h = sws_scale(videoSwsCtx, yuv->data, yuv->linesize, 0, srcHeight, dstData, dstStride); if (h != outHeight) { // 轉碼失敗 }
這裏需要解釋一下outWidth * outHeight * 4計算理由：720p標準的視頻畫面包含720 * 480個像素點，每一個像素點包含了RGBA4類數據，每一類數據分別由1個byte即8個bit表示。因此一幅完整畫面所占的大小為outWidth * outHeight * 4。
（7）音頻轉碼
char *outData = new char[10000]; 輸出指針 AVCodecContext *pCodecCtx = pFormatCtx->streams[audioIndex]->codec; // 獲取音頻解碼器上下文 SwrContext *audioSwrCtx = NULL; audioSwrCtx = swr_alloc(); audioSwrCtx = swr_alloc_set_opts(audioSwrCtx, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_S16, 44100, // 輸出參數：雙通道立體聲 CD音質 pCodecCtx->channel_layout, pCodecCtx->sample_fmt, pCodecCtx->sample_rate, // 輸入參數 0, 0); swr_init(audioSwrCtx); uint8_t *out[AV_NUM_DATA_POINTERS] = { 0 }; out[0] = (uint8_t *)outData; // 計算輸出空間 int dst_nb_samples = av_rescale_rnd(pcm->nb_samples, pCodecCtx->sample_rate, pCodecCtx->sample_rate, AV_ROUND_UP); int len = swr_convert(audioSwrCtx, out, dst_nb_samples, (const uint8_t **)pcm->data, pcm->nb_samples); int channels = av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO); // AV_CH_LAYOUT_STEREO -> 2 根據聲道類型得到聲道數 // 實際音頻數據長度 int dst_bufsize = av_samples_get_buffer_size(NULL, channels, // 通道數 pcm->nb_samples,// 1024 AV_SAMPLE_FMT_S16, 0); if (dst_bufsize < 0) { // 音頻轉碼錯誤 }
至此我們已經基本完成了對一個多媒體文件的解碼工作，不過離真正的播放還有一些工作沒有完成。包括對代碼的封裝和界面設計我們都會放在下一篇博客中介紹。
完整的項目代碼：https://gitee.com/learnhow/ffmpeg_studio/tree/master/_64bit/src/av_player
音視頻編解碼（一）——解碼：代碼實現