2. 程式人生 > >MP4中提取H.264碼流

MP4中提取H.264碼流

阿新 • • 發佈：2019-02-10



1.獲取資料
ffmpeg讀取mp4中的H264資料，並不能直接得到NALU，檔案中也沒有儲存0x00000001的分隔符。下面這張圖為packet.data中的資料


從圖中可以發現，packet中的資料起始處沒有分隔符(0x00000001), 也不是0x65、0x67、0x68、0x41等位元組，所以可以肯定這不是標準的nalu。

其實，前4個字0x000032ce表示的是nalu的長度，從第5個位元組開始才是nalu的資料。所以直接將前4個位元組替換為0x00000001即可得到標準的nalu資料。


2.獲取pps及sps

pps及sps不能從packet獲得，而是儲存在AVCodecContext的extradata資料域中。如下：




如何從extradata中解析出sps及pps呢？ffmpeg中提供了一個流過濾器"h264_mp4toannexb"完成這項工作，關鍵程式碼如下

[cpp] view plaincopyprint?

  1. //h264_mp4toannexb_bsf.c
  2. static int h264_mp4toannexb_filter(AVBitStreamFilterContext *bsfc,
  3. AVCodecContext *avctx, const char *args,
  4. uint8_t **poutbuf, int *poutbuf_size,
  5. const uint8_t *buf, int buf_size,
  6. int keyframe) {
  7. H264BSFContext *ctx = bsfc->priv_data;
  8. uint8_t unit_type;
  9. int32_t nal_size;
  10. uint32_t cumul_size = 0;
  11. const uint8_t *buf_end = buf + buf_size;
  12. if (!avctx->extradata || avctx->extradata_size < 6) {
  13. *poutbuf = (uint8_t*) buf;
  14. *poutbuf_size = buf_size;
  15. return 0;
  16. }
  17. //
  18. //從extradata中分析出SPS、PPS
  19. //
  20. if (!ctx->extradata_parsed) {
  21. uint16_t unit_size;
  22. uint64_t total_size = 0;
  23. uint8_t *out = NULL, unit_nb, sps_done = 0, sps_seen = 0, pps_seen = 0;
  24. const uint8_t *extradata = avctx->extradata+4; //跳過前4個位元組
  25. static const uint8_t nalu_header[4] = {0, 0, 0, 1};
  26. ctx->length_size = (*extradata++ & 0x3) + 1; //用於指示表示編碼資料長度所需位元組數
  27. if (ctx->length_size == 3)
  28. return AVERROR(EINVAL);
  29. unit_nb = *extradata++ & 0x1f;
  30. if (!unit_nb) {
  31. goto pps;
  32. } else {
  33. sps_seen = 1;
  34. }
  35. while (unit_nb--) {
  36. void *tmp;
  37. unit_size = AV_RB16(extradata);
  38. total_size += unit_size+4;
  39. if (total_size > INT_MAX - FF_INPUT_BUFFER_PADDING_SIZE ||
  40. extradata+2+unit_size > avctx->extradata+avctx->extradata_size) {
  41. av_free(out);
  42. return AVERROR(EINVAL);
  43. }
  44. tmp = av_realloc(out, total_size + FF_INPUT_BUFFER_PADDING_SIZE);
  45. if (!tmp) {
  46. av_free(out);
  47. return AVERROR(ENOMEM);
  48. }
  49. out = tmp;
  50. memcpy(out+total_size-unit_size-4, nalu_header, 4);
  51. memcpy(out+total_size-unit_size, extradata+2, unit_size);
  52. extradata += 2+unit_size;
  53. pps:
  54. if (!unit_nb && !sps_done++) {
  55. unit_nb = *extradata++;
  56. if (unit_nb)
  57. pps_seen = 1;
  58. }
  59. }
  60. if(out)
  61. memset(out + total_size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
  62. if (!sps_seen)
  63. av_log(avctx, AV_LOG_WARNING, "Warning: SPS NALU missing or invalid. The resulting stream may not play.\n");
  64. if (!pps_seen)
  65. av_log(avctx, AV_LOG_WARNING, "Warning: PPS NALU missing or invalid. The resulting stream may not play.\n");
  66. av_free(avctx->extradata);
  67. avctx->extradata = out;
  68. avctx->extradata_size = total_size;
  69. ctx->first_idr = 1;
  70. ctx->extradata_parsed = 1;
  71. }
  72. *poutbuf_size = 0;
  73. *poutbuf = NULL;
  74. do {
  75. if (buf + ctx->length_size > buf_end)
  76. goto fail; //buf為NULL時，以下程式碼將不再執行
  77. //
  78. //用於儲存資料長度的位元組數，是在分析原extradata計算出來的
  79. //
  80. if (ctx->length_size == 1) {
  81. nal_size = buf[0];
  82. } else if (ctx->length_size == 2) {
  83. nal_size = AV_RB16(buf);
  84. } else
  85. nal_size = AV_RB32(buf);
  86. buf += ctx->length_size;
  87. unit_type = *buf & 0x1f;
  88. if (buf + nal_size > buf_end || nal_size < 0)
  89. goto fail;
  90. if (ctx->first_idr && unit_type == 5) {
  91. //
  92. //copy IDR 幀時，需要將sps及pps一同拷貝
  93. //
  94. if (alloc_and_copy(poutbuf, poutbuf_size,
  95. avctx->extradata, avctx->extradata_size,
  96. buf, nal_size) < 0)
  97. goto fail;
  98. ctx->first_idr = 0;
  99. } else {
  100. //
  101. //非IDR幀，沒有sps及pps
  102. if (alloc_and_copy(poutbuf, poutbuf_size,
  103. NULL, 0,
  104. buf, nal_size) < 0)
  105. goto fail;
  106. if (!ctx->first_idr && unit_type == 1)
  107. ctx->first_idr = 1;
  108. }
  109. buf += nal_size;
  110. cumul_size += nal_size + ctx->length_size;
  111. } while (cumul_size < buf_size);
  112. return 1;
  113. fail:
  114. av_freep(poutbuf);
  115. *poutbuf_size = 0;
  116. return AVERROR(EINVAL);
  117. }
//h264_mp4toannexb_bsf.c static int h264_mp4toannexb_filter(AVBitStreamFilterContext<wbr> *bsfc, AVCodecContext *avctx, const char *args, uint8_t **poutbuf, int *poutbuf_size, const uint8_t *buf, int buf_size, int keyframe) { H264BSFContext *ctx = bsfc->priv_data; uint8_t unit_type; int32_t nal_size; uint32_t cumul_size = 0; const uint8_t *buf_end = buf + buf_size; if (!avctx->extradata || avctx->extradata_size < 6) { *poutbuf = (uint8_t*) buf; *poutbuf_size = buf_size; return 0; } // //從extradata中分析出SPS、PPS // if (!ctx->extradata_parsed) { uint16_t unit_size; uint64_t total_size = 0; uint8_t *out = NULL, unit_nb, sps_done = 0, sps_seen = 0, pps_seen = 0; const uint8_t *extradata = avctx->extradata+4; //跳過前4個位元組 static const uint8_t nalu_header[4] = {0, 0, 0, 1}; ctx->length_size = (*extradata++ & 0x3) + 1; //用於指示表示編碼資料長度所需位元組數 if (ctx->length_size == 3) return AVERROR(EINVAL); unit_nb = *extradata++ & 0x1f; if (!unit_nb) { goto pps; } else { sps_seen = 1; } while (unit_nb--) { void *tmp; unit_size = AV_RB16(extradata); total_size += unit_size+4; if (total_size > INT_MAX - FF_INPUT_BUFFER_PADDING_SIZE || extradata+2+unit_size > avctx->extradata+avctx->extradata_size) { av_free(out); return AVERROR(EINVAL); } tmp = av_realloc(out, total_size + FF_INPUT_BUFFER_PADDING_SIZE); if (!tmp) { av_free(out); return AVERROR(ENOMEM); } out = tmp; memcpy(out+total_size-unit_size-4, nalu_header, 4); memcpy(out+total_size-unit_size, extradata+2, unit_size); extradata += 2+unit_size; pps: if (!unit_nb && !sps_done++) { unit_nb = *extradata++; if (unit_nb) pps_seen = 1; } } if(out) memset(out + total_size, 0, FF_INPUT_BUFFER_PADDING_SIZE); if (!sps_seen) av_log(avctx, AV_LOG_WARNING, "Warning: SPS NALU missing or invalid. The resulting stream may not play.\n"); if (!pps_seen) av_log(avctx, AV_LOG_WARNING, "Warning: PPS NALU missing or invalid. The resulting stream may not play.\n"); av_free(avctx->extradata); avctx->extradata = out; avctx->extradata_size = total_size; ctx->first_idr = 1; ctx->extradata_parsed = 1; } *poutbuf_size = 0; *poutbuf = NULL; do { if (buf + ctx->length_size > buf_end) goto fail; //buf為NULL時，以下程式碼將不再執行 // //用於儲存資料長度的位元組數，是在分析原extradata計算出來的 // if (ctx->length_size == 1) { nal_size = buf[0]; } else if (ctx->length_size == 2) { nal_size = AV_RB16(buf); } else nal_size = AV_RB32(buf); buf += ctx->length_size; unit_type = *buf & 0x1f; if (buf + nal_size > buf_end || nal_size < 0) goto fail; if (ctx->first_idr && unit_type == 5) { // //copy IDR 幀時，需要將sps及pps一同拷貝 // if (alloc_and_copy(poutbuf, poutbuf_size, avctx->extradata, avctx->extradata_size, buf, nal_size) < 0) goto fail; ctx->first_idr = 0; } else { // //非IDR幀，沒有sps及pps if (alloc_and_copy(poutbuf, poutbuf_size, NULL, 0, buf, nal_size) < 0) goto fail; if (!ctx->first_idr && unit_type == 1) ctx->first_idr = 1; } buf += nal_size; cumul_size += nal_size + ctx->length_size; } while (cumul_size < buf_size); return 1; fail: av_freep(poutbuf); *poutbuf_size = 0; return AVERROR(EINVAL); }</wbr>


一般情況下，extradata中包含一個sps、一個pps 的nalu, 從上面的程式碼中容易看出extradata的資料格式。分析後的sps及pps依然儲存在extradata域中，並添加了起始符。從程式碼中還可以看出，上面的函式會將sps、pps及packet中的資料，都copy到poutbuf指示的記憶體中，如果不需要copy到指定記憶體，直接給buf引數傳入空值即可。




3.使用ffmpeg的流過濾器獲取sps及pps
流過濾器"h264_mp4toannexb", 在av_register_all()函式中會被註冊。用法示例如下：

[cpp] view plaincopyprint?

  1. int ParseH264ExtraDataInMp4(int stream_id)
  2. {
  3. uint8_t *dummy = NULL;
  4. int dummy_size;
  5. AVBitStreamFilterContext* bsfc = av_bitstream_filter_init("h264_mp4toannexb");
  6. if(bsfc == NULL)
  7. {
  8. return -1;
  9. }
  10. av_bitstream_filter_filter(
  11. bsfc, format_ctx_->streams[stream_id]->codec, NULL, &dummy, &dummy_size, NULL, 0, 0);
int ParseH264ExtraDataInMp4(int stream_id) { uint8_t *dummy = NULL; int dummy_size; AVBitStreamFilterContext<wbr>* bsfc = av_bitstream_filter_init("h264_mp4toannexb"); if(bsfc == NULL) { return -1; } av_bitstream_filter_filter( bsfc, format_ctx_->streams[stream_id]->codec, NULL, &dummy, &dummy_size, NULL, 0, 0);</wbr>

[cpp] view plaincopyprint?

  1. av_bitstream_filter_close(bsfc);
  2. return 0;
  3. }
 av_bitstream_filter_close(bsfc); return 0; }

相關推薦

MP4中提取H.264碼流

 1.獲取資料 ffmpeg讀取mp4中的H264資料，並不能直接得到NALU，檔案中也沒有儲存0x00000001的分隔符。下面這張圖為packet.data中的資料 從圖中可以發現，packet中的資料起始處沒有分隔符(0x00000001), 也不是0x65、0x

使用FFMPEG類庫分離出多媒體檔案中的H 264碼流

                在使用FFMPEG的類庫進行程式設計的過程中，可以直接輸出解複用之後的的視訊資料碼流。只需要在每次呼叫av_read_frame()之後將得到的視訊的AVPacket存為本地檔案即可。經試驗，在分離MPEG2碼流的時候，直接儲存AVPacket即可。在分離H.264碼流的時候，

海思3518EV200 SDK中獲取和儲存H.264碼流詳解

1 /****************************************** 2 step 2: Start to get streams of each channel. 3 ************************************

【視頻編解碼·學習筆記】6. H.264碼流分析工程創建

clear href mark 一個 html filename down 創建 fail 一、準備工作： 新建一個VS工程SimpleH264Analyzer， 修改工程屬性參數-> 輸出目錄：$(SolutionDir)bin\$(Configuration)\，

libx264編碼---YUV影象資料編碼為h.264碼流

編譯環境：ubuntu12.04 目標平臺：ARM Cortex A9 交叉編譯器：arm-none-linux-gnueabi-gcc 4.4.1 基本步驟：  一、移植x264庫到ARM板，請看上一篇博文移植x264編碼庫 二、測試：

H.264---碼流格式分析

1、H.264的基本流結構 H.264 的基本流（elementary stream,ES）的結構分為兩層，包括視訊編碼層（VCL）和網路適配層（NAL）。視訊編碼層負責高效的視訊內容表示，而網路適配層負責以網路所要求的恰當的方式對資料進行打包和傳送。引入NAL並使之與VCL分離帶來的好處包括兩方面：1、使

H.264碼流打包為RTP碼流

H264碼流打包成RTP包的程式碼如下： #include <stdio.h> #include <stdlib.h> #include <conio.h> #include <string.h&g

Linux下H.264碼流實時RTP打包與傳送

    由於專案要求在DM6467T平臺上新增實時RTP打包傳送模組，這才找了找有沒有人分享 這方面的經驗。這裡需要感謝網友：yanyuan9527，他寫的文章對我幫助很大，可以說讓一個完全小白的人瞭解了RTP打包，連結在此：http://www.chinavideo.or

H.264碼流解析 一個SPS的nalu及獲取視訊的解析度

00 00 00 01 67 42 00 28 E9 00   A0 0B 77 FE 00 02 00 03 C4 80   00 00 03 00 80 00 00 1A 4D 88   10 94 00 00 00 01 00 00 00 01為NALu頭，‍其餘

【H.264/AVC視訊編解碼技術詳解】十二、解析H.264碼流的巨集塊結構（上）

《H.264/AVC視訊編解碼技術詳解》視訊教程已經在“CSDN學院”上線，視訊中詳述了H.264的背景、標準協議和實現，並通過一個實戰工程的形式對H.264的標準進行解析和實現，歡迎觀看！ “紙上得來終覺淺，絕知此事要躬行”，只有自己按照標準文件以程式碼

H.264碼流的RTP打包格式[FU-A]

本荷載型別允許分片一個NAL單元到幾個RTP包中。下圖 表示FU-A的RTP荷載格式。FU-A由1位元組的分片單元指示，1位元組的分片單元頭，和分片單元荷載組成。 FU指示位元組有以下格式： FU指示位元組的型別域的28，29表示FU-A和FU-B。F的使用在5。3描述。NRI域

H.264碼流分析

原文轉自：http://blog.163.com/[email protected]/blog/static/193507792010498440670/ H.264標準寫得比較繁複，所以考慮在瀏覽完Whitepaper之後就開始研讀X264程式碼。X264程

Linux安裝SRS伺服器轉發H.264碼流

操作步驟：2.得到srs-master.zip原始碼檔案，把它拷貝到Linux系統3.解壓檔案命令unzip srs-master.zip4.進入檔案安裝目錄命令cd srs-master/trunk5.生成預設Makefile命令./configure6.編譯命令make命

H.264 碼流結構解析 (整理)

1. H.264簡介 MPEG（Moving Picture Experts Group）和VCEG（Video Coding Experts Group）已經聯合開發了一個比早期研發的MPEG

H.264裸流檔案中獲取每一幀資料

    測試解碼器效能時，最常用的無非是向解碼器中推送碼流。     之前封裝了一個avc的解碼器，想做一個測試，讀取H.264裸流檔案將碼流定期定時推送到解碼器。     測試其實很簡單：     1.瞭解H.264裸流檔案的構成     2.解析H.264裸流檔案

android平臺下基於ffmpeg採集Camera資料編碼成H.264推流到RTMP伺服器

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

H.264---碼率控制策略

maximum details iss 同時 地方 ext .net https 限制 轉自：https://blog.csdn.net/yuanray/article/details/54090014 CBR（Constant Bit Rate）是以恒定比特率方式進行編碼

讀264碼流檔案,以0x 00 00 00 01為分界

common/bs.h 函式名稱： 函式功能：從s中讀出1位，並將其做為uint32_t型別返回。 函式引數： 返 回 值： 思    路：若s流並未結束，則讀取一位 資    料：   畢厚傑：第145頁，u(n)/u(v)，讀進連續的若干位元，並將它們解釋為“無符號整數

H 264中NALU RBSP SODB的關係 弄清碼流結構

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

在MP4檔案中提取H264的SPS、PPS及碼流

一、MP4封裝格式的基本概念 1  MP4封裝格式對應標準為 ISO/IEC 14496-12（資訊科技 視聽物件編碼的第12部分: ISO 基本媒體檔案格式/Information technology Coding of audio-visual objects Pa