1. 程式人生 > >ffmpeg簡易播放器的實現-最簡版

ffmpeg簡易播放器的實現-最簡版

實驗平臺:openSUSE Leap 42.3
ffmpeg版本:4.1
SDL版本:2.0.9

基於ffmpeg 4.1實現簡易視訊播放器,主要分為讀取視訊檔案解碼和呼叫SDL顯示兩大部分。具體流程可參考程式碼註釋。程式碼實現主要參考如下兩篇文章:
最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)
An ffmpeg and SDL Tutorial

1. 原始碼清單

/*****************************************************************
 * ffplayer.c
 *
 * history:
 *   2018-11-27 - [lei]     created file
 *
 * details:
 *   A simple ffmpeg player.
 *
 * refrence:
 *   1. https://blog.csdn.net/leixiaohua1020/article/details/38868499
 *   2. http://dranger.com/ffmpeg/ffmpegtutorial_all.html#tutorial01.html
 *   3. http://dranger.com/ffmpeg/ffmpegtutorial_all.html#tutorial02.html
******************************************************************/

#include <stdio.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include <SDL2/SDL.h>
#include <SDL2/SDL_video.h>
#include <SDL2/SDL_render.h>
#include <SDL2/SDL_rect.h>

int main(int argc, char *argv[])
{
    // Initalizing these to NULL prevents segfaults!
    AVFormatContext*    p_fmt_ctx = NULL;
    AVCodecContext*     p_codec_ctx = NULL;
    AVCodecParameters*  p_codec_par = NULL;
    AVCodec*            p_codec = NULL;
    AVFrame*            p_frm_raw = NULL;        // 幀,由包解碼得到原始幀
    AVFrame*            p_frm_yuv = NULL;        // 幀,由原始幀色彩轉換得到
    AVPacket*           p_packet = NULL;         // 包,從流中讀出的一段資料
    struct SwsContext*  sws_ctx = NULL;
    int                 buf_size;
    uint8_t*            buffer = NULL;
    int                 i;
    int                 v_idx;
    int                 ret;
    SDL_Window*         screen; 
    SDL_Renderer*       sdl_renderer;
    SDL_Texture*        sdl_texture;
    SDL_Rect            sdl_rect;

    if (argc < 2)
    {
        printf("Please provide a movie file\n");
        return -1;
    }

    // 初始化libavformat(所有格式),註冊所有複用器/解複用器
    // av_register_all();   // 已被申明為過時的,直接不再使用即可

    // A1. 開啟視訊檔案:讀取檔案頭,將檔案格式資訊儲存在"fmt context"中
    ret = avformat_open_input(&p_fmt_ctx, argv[1], NULL, NULL);
    if (ret != 0)
    {
        printf("avformat_open_input() failed\n");
        return -1;
    }

    // A2. 搜尋流資訊:讀取一段視訊檔案資料,嘗試解碼,將取到的流資訊填入pFormatCtx->streams
    //     p_fmt_ctx->streams是一個指標陣列,陣列大小是pFormatCtx->nb_streams
    ret = avformat_find_stream_info(p_fmt_ctx, NULL);
    if (ret < 0)
    {
        printf("avformat_find_stream_info() failed\n");
        return -1;
    }

    // 將檔案相關資訊列印在標準錯誤裝置上
    av_dump_format(p_fmt_ctx, 0, argv[1], 0);

    // A3. 查詢第一個視訊流
    v_idx = -1;
    for (i=0; i<p_fmt_ctx->nb_streams; i++)
    {
        if (p_fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            v_idx = i;
            printf("Find a video stream, index %d\n", v_idx);
            break;
        }
    }
    if (v_idx == -1)
    {
        printf("Cann't find a video stream\n");
        return -1;
    }

    // A5. 為視訊流構建解碼器AVCodecContext

    // A5.1 獲取解碼器引數AVCodecParameters
    p_codec_par = p_fmt_ctx->streams[v_idx]->codecpar;
    // A5.2 獲取解碼器
    p_codec = avcodec_find_decoder(p_codec_par->codec_id);
    if (p_codec == NULL)
    {
        printf("Cann't find codec!\n");
        return -1;
    }
    // A5.3 構建解碼器AVCodecContext
    // A5.3.1 p_codec_ctx初始化:分配結構體,使用p_codec初始化相應成員為預設值
    p_codec_ctx = avcodec_alloc_context3(p_codec);

    // A5.3.2 p_codec_ctx初始化:p_codec_par ==> p_codec_ctx,初始化相應成員
    ret = avcodec_parameters_to_context(p_codec_ctx, p_codec_par);
    if (ret < 0)
    {
        printf("avcodec_parameters_to_context() failed %d\n", ret);
        return -1;
    }

    // A5.3.3 p_codec_ctx初始化:使用p_codec初始化p_codec_ctx,初始化完成
    ret = avcodec_open2(p_codec_ctx, p_codec, NULL);
    if (ret < 0)
    {
        printf("avcodec_open2() failed %d\n", ret);
        return -1;
    }

    // A6. 分配AVFrame
    // A6.1 分配AVFrame結構,注意並不分配data buffer(即AVFrame.*data[])
    p_frm_raw = av_frame_alloc();
    p_frm_yuv = av_frame_alloc();

    // A6.2 為AVFrame.*data[]手工分配緩衝區,用於儲存sws_scale()中目的幀視訊資料
    //     p_frm_raw的data_buffer由av_read_frame()分配,因此不需手工分配
    //     p_frm_yuv的data_buffer無處分配,因此在此處手工分配
    buf_size = av_image_get_buffer_size(AV_PIX_FMT_YUV420P, 
                                        p_codec_ctx->width, 
                                        p_codec_ctx->height, 
                                        1
                                       );
    // buffer將作為p_frm_yuv的視訊資料緩衝區
    buffer = (uint8_t *)av_malloc(buf_size);
    // 使用給定引數設定p_frm_yuv->data和p_frm_yuv->linesize
    av_image_fill_arrays(p_frm_yuv->data,           // dst data[]
                         p_frm_yuv->linesize,       // dst linesize[]
                         buffer,                    // src buffer
                         AV_PIX_FMT_YUV420P,        // pixel format
                         p_codec_ctx->width,        // width
                         p_codec_ctx->height,       // height
                         1                          // align
                        );

    // A7. 初始化SWS context,用於後續影象轉換
    sws_ctx = sws_getContext(p_codec_ctx->width,    // src width
                             p_codec_ctx->height,   // src height
                             p_codec_ctx->pix_fmt,  // src format
                             p_codec_ctx->width,    // dst width
                             p_codec_ctx->height,   // dst height
                             AV_PIX_FMT_YUV420P,    // dst format
                             SWS_BICUBIC,           // flags
                             NULL,                  // src filter
                             NULL,                  // dst filter
                             NULL                   // param
                            );                 


    // B1. 初始化SDL子系統:預設(事件處理、檔案IO、執行緒)、視訊、音訊、定時器
    if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER))
    {  
        printf("SDL_Init() failed: %s\n", SDL_GetError()); 
        return -1;
    }
    
    // B2. 建立SDL視窗,SDL 2.0支援多視窗
    //     SDL_Window即執行程式後彈出的視訊視窗,同SDL 1.x中的SDL_Surface
    screen = SDL_CreateWindow("Simplest ffmpeg player's Window", 
                              SDL_WINDOWPOS_UNDEFINED,// 不關心視窗X座標
                              SDL_WINDOWPOS_UNDEFINED,// 不關心視窗Y座標
                              p_codec_ctx->width, 
                              p_codec_ctx->height,
                              SDL_WINDOW_OPENGL
                             );

    if (!screen)
    {  
        printf("SDL_CreateWindow() failed: %s\n", SDL_GetError());  
        return -1;
    }

    // B3. 建立SDL_Renderer
    //     SDL_Renderer:渲染器
    sdl_renderer = SDL_CreateRenderer(screen, -1, 0);

    // B4. 建立SDL_Texture
    //     一個SDL_Texture對應一幀YUV資料,同SDL 1.x中的SDL_Overlay
    sdl_texture = SDL_CreateTexture(sdl_renderer, 
                                    SDL_PIXELFORMAT_IYUV, 
                                    SDL_TEXTUREACCESS_STREAMING,
                                    p_codec_ctx->width,
                                    p_codec_ctx->height);  

    sdl_rect.x = 0;
    sdl_rect.y = 0;
    sdl_rect.w = p_codec_ctx->width;
    sdl_rect.h = p_codec_ctx->height;

    p_packet = (AVPacket *)av_malloc(sizeof(AVPacket));
    // A8. 從視訊檔案中讀取一個packet
    //     packet可能是視訊幀、音訊幀或其他資料,解碼器只會解碼視訊幀或音訊幀,非音視訊資料並不會被
    //     扔掉、從而能向解碼器提供儘可能多的資訊
    //     對於視訊來說,一個packet只包含一個frame
    //     對於音訊來說,若是幀長固定的格式則一個packet可包含整數個frame,
    //                   若是幀長可變的格式則一個packet只包含一個frame
    while (av_read_frame(p_fmt_ctx, p_packet) == 0)
    {
        if (p_packet->stream_index == v_idx)  // 僅處理視訊幀
        {
            // A9. 視訊解碼:packet ==> frame
            // A9.1 向解碼器喂資料,一個packet可能是一個視訊幀或多個音訊幀,此處音訊幀已被上一句濾掉
            ret = avcodec_send_packet(p_codec_ctx, p_packet);
            if (ret != 0)
            {
                printf("avcodec_send_packet() failed %d\n", ret);
                return -1;
            }
            // A9.2 接收解碼器輸出的資料,此處只處理視訊幀,每次接收一個packet,將之解碼得到一個frame
            ret = avcodec_receive_frame(p_codec_ctx, p_frm_raw);
            if (ret != 0)
            {
                printf("avcodec_receive_frame() failed %d\n", ret);
                return -1;
            }

            // A10. 影象轉換:p_frm_raw->data ==> p_frm_yuv->data
            // 將源影象中一片連續的區域經過處理後更新到目標影象對應區域,處理的影象區域必須逐行連續
            // plane: 如YUV有Y、U、V三個plane,RGB有R、G、B三個plane
            // slice: 影象中一片連續的行,必須是連續的,順序由頂部到底部或由底部到頂部
            // stride/pitch: 一行影象所佔的空間位元組數,Stride = BytesPerPixel * Width,4位元組對齊
            // AVFrame.*data[]: 每個陣列元素指向對應plane
            // AVFrame.linesize[]: 每個陣列元素表示對應plane中一行影象所佔的空間位元組數
            sws_scale(sws_ctx,                                  // sws context
                      (const uint8_t *const *)p_frm_raw->data,  // src slice
                      p_frm_raw->linesize,                      // src stride
                      0,                                        // src slice y
                      p_codec_ctx->height,                      // src slice height
                      p_frm_yuv->data,                          // dst planes
                      p_frm_yuv->linesize                       // dst strides
                     );
            
            // B5. 使用新的YUV畫素資料更新SDL_Rect
            SDL_UpdateYUVTexture(sdl_texture,                   // sdl texture
                                 &sdl_rect,                     // sdl rect
                                 p_frm_yuv->data[0],            // y plane
                                 p_frm_yuv->linesize[0],        // y pitch
                                 p_frm_yuv->data[1],            // u plane
                                 p_frm_yuv->linesize[1],        // u pitch
                                 p_frm_yuv->data[2],            // v plane
                                 p_frm_yuv->linesize[2]         // v pitch
                                 );
            
            // B6. 使用特定顏色清空當前渲染目標
            SDL_RenderClear(sdl_renderer);
            // B7. 使用部分影象資料(texture)更新當前渲染目標
            SDL_RenderCopy(sdl_renderer,                        // sdl renderer
                           sdl_texture,                         // sdl texture
                           NULL,                                // src rect, if NULL copy texture
                           &sdl_rect                            // dst rect
                          );
            // B8. 執行渲染,更新螢幕顯示
            SDL_RenderPresent(sdl_renderer);  

            // B9. 控制幀率為25FPS,此處不夠準確,未考慮解碼消耗的時間
            SDL_Delay(40);
        }
        av_packet_unref(p_packet);
    }

    SDL_Quit();
    sws_freeContext(sws_ctx);
    av_free(buffer);
    av_frame_free(&p_frm_yuv);
    av_frame_free(&p_frm_raw);
    avcodec_close(p_codec_ctx);
    avformat_close_input(&p_fmt_ctx);

    return 0;
}

1.1 播放器基本原理

參考雷霄驊視音訊編解碼技術零基礎學習方法
第1節“視訊播放器原理”

1.2 流程簡述

流程比較簡單,不畫流程圖了,簡述如下:

media file ---[decode]---> raw frame ---[scale]---> yuv frame ---[SDL]---> display  
media file --------------> p_frm_raw -------------> p_frm_yuv -----------> sdl_renderer  

加上相關關鍵函式後,流程如下:

media_file ---[av_read_frame()]----------->  
p_packet   ---[avcodec_send_packet()]----->  
decoder    ---[avcodec_receive_frame()]--->  
p_frm_raw  ---[sws_scale]----------------->  
p_frm_yuv  ---[SDL_UpdateYUVTexture()]---->  
display  

1.3 相關概念

原始碼清單中涉及的一些概念簡述如下:
container:
對應資料結構AVFormatContext
封裝器,將流資料封裝為指定格式的檔案,檔案格式如AVI、MP4等。
ffmpeg可識別五種流型別:視訊video(v)、音訊audio(a)、attachment(t)、資料data(d)、字幕subtitle。

codec:
對應資料結構AVCodec
編解碼器。編碼器將未壓縮的原始影象或音訊資料編碼為壓縮資料。解碼器與之相反。

codec context:
對應資料結構AVCodecContext
編解碼器上下文。此為非常重要的一個數據結構,後文分析。各API大量使用AVCodecContext來引用編解碼器。

codec par:
對應資料結構AVCodecParameters
編解碼器引數。新版本增加的欄位。新版本建議使用AVStream->codepar替代AVStream->codec。

packet:
對應資料結構AVPacket
經過編碼的資料。通過av_read_frame()從媒體檔案中獲取得到的一個packet可能包含多個(整數個)音訊幀或單個
視訊幀,或者其他型別的流資料。
解碼過程中packet的流向為:
media file ---[av_read_frame()]---> packet ---[avcodec_send_packet()]---> decoder

frame:
對應資料結構AVFrame
解碼後的原始資料。解碼器將packet解碼後生成frame。
解碼過程中frame的資料流向為:
packet ---[avcodec_send_packet()]---> decoder ---[avcodec_receive_frame()]---> frame

plane:
如YUV有Y、U、V三個plane,RGB有R、G、B三個plane

slice:
影象中一片連續的行,必須是連續的,順序由頂部到底部或由底部到頂部

stride/pitch:
一行影象所佔的空間位元組數,Stride = BytesPerPixel * Width,x位元組對齊[待確認]

sdl window:
對應資料結構SDL_Window
播放視訊時彈出的視窗。在SDL1.x版本中,只可以建立一個視窗。在SDL2.0版本中,可以建立多個視窗。

sdl texture:
對應資料結構SDL_Texture
一個SDL_Texture對應一幀解碼後的影象資料。

sdl renderer:
對應資料結構SDL_Renderer
渲染器。將SDL_Texture渲染至SDL_Window。

sdl rect:
對應資料結構SDL_Rect
SDL_Rect用於確定SDL_Texture顯示的位置。一個SDL_Window上可以顯示多個SDL_Rect。這樣可以實現同一視窗的分屏顯示。

2、編譯

gcc -o ffplayer ffplayer.c -lavutil -lavformat -lavcodec -lavutil -lswscale -lSDL2

3、測試

./ffplayer 480x272.h265 

4、參考資料

[1] 雷霄驊,FFmpeg原始碼簡單分析:常見結構體的初始化和銷燬(AVFormatContext,AVFrame等)
[2] 雷霄驊,最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)
[3] Martin Bohme, An ffmpeg and SDL Tutorial, Tutorial 01: Making Screencaps
[4] Martin Bohme, An ffmpeg and SDL Tutorial, Tutorial 02: Outputting to the Screen
[5] YUV影象裡的stride和plane的解釋
[6] 圖文詳解YUV420資料格式
[7] wiki,YUV

5、修改記錄

2018-11-23 V1.0 初稿