ffmpeg簡易播放器的實現-音訊播放

摘要： 基於FFmpeg和SDL實現的簡易視訊播放器，主要分為讀取視訊檔案解碼和呼叫SDL顯示兩大部分。詳細流程可參考程式碼註釋。 本篇實驗筆記主要參考如下兩篇文章： [1].最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0) ...

基於FFmpeg和SDL實現的簡易視訊播放器，主要分為讀取視訊檔案解碼和呼叫SDL顯示兩大部分。詳細流程可參考程式碼註釋。

本篇實驗筆記主要參考如下兩篇文章：

[1].ofollow,noindex" target="_blank">最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)

[2].An ffmpeg and SDL Tutorial

1. 視訊播放器基本原理

2. 簡易播放器的實現-音訊播放

2.1 實驗平臺

實驗平臺：openSUSE Leap 42.3

FFmpeg版本：4.1

SDL版本：2.0.9

FFmpeg開發環境搭建可參考“ffmpeg開發環境構建”

2.2 原始碼流程分析

2.3 關鍵函式

幾個關鍵函式的說明直接寫在程式碼註釋裡：

2.3.1 開啟音訊處理子執行緒

// 開啟音訊裝置並建立音訊處理執行緒。期望的引數是wanted_spec，實際得到的硬體引數是actual_spec
// 1) SDL提供兩種使音訊裝置取得音訊資料方法：
//a. push，SDL以特定的頻率呼叫回撥函式，在回撥函式中取得音訊資料
//b. pull，使用者程式以特定的頻率呼叫SDL_QueueAudio()，向音訊裝置提供資料。此種情況wanted_spec.callback=NULL
// 2) 音訊裝置開啟後播放靜音，不啟動回撥，呼叫SDL_PauseAudio(0)後啟動回撥，開始正常播放音訊
SDL_AudioSpec wanted_spec;
SDL_AudioSpec actual_spec;
wanted_spec.freq = p_codec_ctx->sample_rate;// 取樣率
wanted_spec.format = AUDIO_S16SYS;// S錶帶符號，16是取樣深度，SYS表採用系統位元組序
wanted_spec.channels = p_codec_ctx->channels;// 聲音通道數
wanted_spec.silence = 0;// 靜音值
wanted_spec.samples = SDL_AUDIO_BUFFER_SIZE;// SDL聲音緩衝區尺寸，單位是單聲道取樣點尺寸x通道數
wanted_spec.callback = audio_callback;// 回撥函式，若為NULL，則應使用SDL_QueueAudio()機制
wanted_spec.userdata = p_codec_ctx;// 提供給回撥函式的引數
SDL_OpenAudio(&wanted_spec, &actual_spec);

2.3.2 啟動音訊回撥機制

// 暫停/繼續音訊回撥處理。引數1表暫停，0表繼續。
// 開啟音訊裝置後預設未啟動回撥處理，通過呼叫SDL_PauseAudio(0)來啟動回撥處理。
// 這樣就可以在開啟音訊裝置後先為回撥函式安全初始化資料，一切就緒後再啟動音訊回撥。
// 在暫停期間，會將靜音值往音訊裝置寫。
SDL_PauseAudio(0);

2.3.3 音訊回撥函式

使用者實現的函式，由SDL音訊處理子執行緒回撥

// 音訊處理回撥函式。讀佇列獲取音訊包，解碼，播放
// 此函式被SDL按需呼叫，此函式不在使用者主執行緒中，因此資料需要保護
// \param[in]userdata使用者在註冊回撥函式時指定的引數
// \param[out] stream 音訊資料緩衝區地址，將解碼後的音訊資料填入此緩衝區
// \param[out] len音訊資料緩衝區大小，單位位元組
// 回撥函式返回後，stream指向的音訊緩衝區將變為無效
// 雙聲道取樣點的順序為LRLRLR
void audio_callback(void *userdata, uint8_t *stream, int len)
{
...
}

2.3.4 音訊包佇列讀寫函式

使用者實現的函式，主執行緒向佇列尾部寫音訊包，SDL音訊處理子執行緒(回撥函式處理)從佇列頭部取出音訊包

// 寫佇列尾部
int packet_queue_push(packet_queue_t *q, AVPacket *pkt)
{
...
}

// 讀佇列頭部
int packet_queue_pop(packet_queue_t *q, AVPacket *pkt, int block)
{
...
}

2.3.5 音訊解碼

音訊解碼功能封裝為一個函式，將一個音訊packet解碼後得到的聲音資料傳遞給輸出緩衝區。此處的輸出緩衝區audio_buf會由上一級呼叫函式audio_callback()在返回時將緩衝區資料提供給音訊裝置。

int audio_decode_frame(AVCodecContext *p_codec_ctx, AVPacket *p_packet, uint8_t *audio_buf, int buf_size)
{
AVFrame *p_frame = av_frame_alloc();

int frm_size = 0;
int ret_size = 0;
int ret;

// 1 向解碼器喂資料，每次喂一個packet
ret = avcodec_send_packet(p_codec_ctx, p_packet);
if (ret != 0)
{
printf("avcodec_send_packet() failed %d\n", ret);
av_packet_unref(p_packet);
return -1;
}

ret_size = 0;
while (1)
{
// 2 接收解碼器輸出的資料，每次接收一個frame
ret = avcodec_receive_frame(p_codec_ctx, p_frame);
if (ret != 0)
{
if (ret == AVERROR_EOF)
{
printf("audio avcodec_receive_frame(): the decoder has been fully flushed\n");
return 0;
}
else if (ret == AVERROR(EAGAIN))
{
printf("audio avcodec_receive_frame(): output is not available in this state - "
"user must try to send new input\n");
break;
}
else if (ret == AVERROR(EINVAL))
{
printf("audio avcodec_receive_frame(): codec not opened, or it is an encoder\n");
}
else
{
printf("audio avcodec_receive_frame(): legitimate decoding errors\n");
}
}

// 3. 根據相應音訊引數，獲得所需緩衝區大小
frm_size = av_samples_get_buffer_size(
NULL, 
p_codec_ctx->channels,
p_frame->nb_samples,
p_codec_ctx->sample_fmt,
1);

printf("frame size %d, buffer size %d\n", frm_size, buf_size);
assert(frm_size <= buf_size);

// 4. 將音訊幀拷貝到函式輸出引數audio_buf
memcpy(audio_buf, p_frame->data[0], frm_size);

if (frm_size > 0)
{
ret_size += frm_size;
}
}

av_frame_unref(p_frame);

return ret_size;
}

注意：

[1]. 一個音訊packet中含有多個完整的音訊幀，因此一次avcodec_send_packet()後，會多次呼叫avcodec_receive_frame()來將這一個packet解碼後的資料接收完。

[2]. 解碼器內部會有緩衝機制，會快取一定量的音訊幀，不沖洗(flush)解碼器的話，快取幀是取不出來的，未沖洗(flush)解碼器情況下，avcodec_receive_frame()返回AVERROR(EAGAIN)，表示解碼器中改取的幀已取完了(當然快取幀還是在的)，需要用avcodec_send_packet()向解碼器提供新資料。

[3]. 檔案播放完畢時，應沖洗(flush)解碼器。沖洗(flush)解碼器的方法就是呼叫avcodec_send_packet(..., NULL)，然後按之前同樣的方式多次呼叫avcodec_receive_frame()將快取幀取盡。快取幀取完後，avcodec_receive_frame()返回AVERROR_EOF。

2.4 原始碼清單

原始碼清單中涉及的一些概念簡述如下：

container:

對應資料結構AVFormatContext

封裝器，將流資料封裝為指定格式的檔案，檔案格式如AVI、MP4等。

FFmpeg可識別五種流型別：視訊video(v)、音訊audio(a)、attachment(t)、資料data(d)、字幕subtitle。

codec:

對應資料結構AVCodec

編解碼器。編碼器將未壓縮的原始影象或音訊資料編碼為壓縮資料。解碼器與之相反。

codec context:

對應資料結構AVCodecContext

編解碼器上下文。此為非常重要的一個數據結構，後文分析。各API大量使用AVCodecContext來引用編解碼器。

codec par:

對應資料結構AVCodecParameters

編解碼器引數。新版本增加的欄位。新版本建議使用AVStream->codepar替代AVStream->codec。

packet:

對應資料結構AVPacket

經過編碼的資料。通過av_read_frame()從媒體檔案中獲取得到的一個packet可能包含多個(整數個)音訊幀或單個

視訊幀，或者其他型別的流資料。

frame:

對應資料結構AVFrame

解碼後的原始資料。解碼器將packet解碼後生成frame。

2.3 編譯

gcc -o ffplayer ffplayer.c -lavutil -lavformat -lavcodec -lavutil -lswscale -lSDL2

2.4 測試

選用clock_320.avi測試檔案，此檔案

ffprobe clock_320.avi

列印視訊檔案資訊如下：

[avi @ 0x9286c0] non-interleaved AVI
Input #0, avi, from 'clock_320.avi':
Duration: 00:00:12.00, start: 0.000000, bitrate: 42 kb/s
Stream #0:0: Video: msrle ([1][0][0][0] / 0x0001), pal8, 320x320, 1 fps, 1 tbr, 1 tbn, 1 tbc
Stream #0:1: Audio: truespeech ([34][0][0][0] / 0x0022), 8000 Hz, mono, s16, 8 kb/s

執行測試命令：

./ffplayer clock_320.avi

可以聽到每隔1秒播放一次“嘀”聲，播放12次後播放結束。播放過程只有聲音，沒有影象視窗。播放正常。

3. 參考資料

[1] 雷霄驊，視音訊編解碼技術零基礎學習方法

[2] 雷霄驊，最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)

[3] SDL WIKI,https://wiki.libsdl.org/

[4] Martin Bohme,An ffmpeg and SDL Tutorial, Tutorial 03: Playing Sound

4. 修改記錄

2018-12-04 V1.0 初稿