2. 程式人生 > >視音頻數據處理入門：FLV封裝格式解析

視音頻數據處理入門：FLV封裝格式解析

阿新 • • 發佈：2018-03-29
tail rip 主頁 typedef gda ack print 地址 視頻

=====================================================

視音頻數據處理入門系列文章：

視音頻數據處理入門：RGB、YUV像素數據處理

視音頻數據處理入門：PCM音頻采樣數據處理

視音頻數據處理入門：H.264視頻碼流解析

視音頻數據處理入門：AAC音頻碼流解析

視音頻數據處理入門：FLV封裝格式解析

視音頻數據處理入門：UDP-RTP協議解析

=====================================================

前兩篇文章介紹了音頻碼流處理程序和視頻碼流處理程序，本文介紹將他們打包到一起後的數據——封裝格式數據的處理程序。封裝格式數據在視頻播放器中的位置如下所示。

技術分享圖片

本文中的程序是一個FLV封裝格式解析程序。該程序可以從FLV中分析得到它的基本單元Tag，並且可以簡單解析Tag首部的字段。通過修改該程序可以實現不同的FLV格式數據處理功能。

原理

FLV封裝格式是由一個FLV Header文件頭和一個一個的Tag組成的。Tag中包含了音頻數據以及視頻數據。FLV的結構如下圖所示。

技術分享圖片

有關FLV的格式本文不再做記錄。可以參考文章《視音頻編解碼學習工程：FLV封裝格式分析器》。本文的程序實現了FLV中的FLV Header和Tag的解析，並可以分離出其中的音頻流。

代碼

整個程序位於simplest_flv_parser()函數中，如下所示。

[cpp]
view plain copy
  1. /**
  2. * 最簡單的視音頻數據處理示例
  3. * Simplest MediaData Test
  4. *
  5. * 雷霄驊 Lei Xiaohua
  6. * [email protected]
  7. * 中國傳媒大學/數字電視技術
  8. * Communication University of China / Digital TV Technology
  9. * http://blog.csdn.net/leixiaohua1020
  10. *
  11. * 本項目包含如下幾種視音頻測試示例：
  12. * (1)像素數據處理程序。包含RGB和YUV像素格式處理的函數。
  13. * (2)音頻采樣數據處理程序。包含PCM音頻采樣格式處理的函數。
  14. * (3)H.264碼流分析程序。可以分離並解析NALU。
  15. * (4)AAC碼流分析程序。可以分離並解析ADTS幀。
  16. * (5)FLV封裝格式分析程序。可以將FLV中的MP3音頻碼流分離出來。
  17. * (6)UDP-RTP協議分析程序。可以將分析UDP/RTP/MPEG-TS數據包。
  18. *
  19. * This project contains following samples to handling multimedia data:
  20. * (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data.
  21. * (2) Audio sample data handling program. It contains several examples to handle PCM data.
  22. * (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream.
  23. * (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream.
  24. * (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream.
  25. * (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet.
  26. *
  27. */
  28. #include <stdio.h>
  29. #include <stdlib.h>
  30. #include <string.h>
  32. //Important!
  33. #pragma pack(1)
  36. #define TAG_TYPE_SCRIPT 18
  37. #define TAG_TYPE_AUDIO 8
  38. #define TAG_TYPE_VIDEO 9
  40. typedef unsigned char byte;
  41. typedef unsigned int uint;
  43. typedef struct {
  44. byte Signature[3];
  45. byte Version;
  46. byte Flags;
  47. uint DataOffset;
  48. } FLV_HEADER;
  50. typedef struct {
  51. byte TagType;
  52. byte DataSize[3];
  53. byte Timestamp[3];
  54. uint Reserved;
  55. } TAG_HEADER;
  58. //reverse_bytes - turn a BigEndian byte array into a LittleEndian integer
  59. uint reverse_bytes(byte *p, char c) {
  60. int r = 0;
  61. int i;
  62. for (i=0; i<c; i++)
  63. r |= ( *(p+i) << (((c-1)*8)-8*i));
  64. return r;
  65. }
  67. /**
  68. * Analysis FLV file
  69. * @param url Location of input FLV file.
  70. */
  72. int simplest_flv_parser(char *url){
  74. //whether output audio/video stream
  75. int output_a=1;
  76. int output_v=1;
  77. //-------------
  78. FILE *ifh=NULL,*vfh=NULL, *afh = NULL;
  80. //FILE *myout=fopen("output_log.txt","wb+");
  81. FILE *myout=stdout;
  83. FLV_HEADER flv;
  84. TAG_HEADER tagheader;
  85. uint previoustagsize, previoustagsize_z=0;
  86. uint ts=0, ts_new=0;
  88. ifh = fopen(url, "rb+");
  89. if ( ifh== NULL) {
  90. printf("Failed to open files!");
  91. return -1;
  92. }
  94. //FLV file header
  95. fread((char *)&flv,1,sizeof(FLV_HEADER),ifh);
  97. fprintf(myout,"============== FLV Header ==============\n");
  98. fprintf(myout,"Signature: 0x %c %c %c\n",flv.Signature[0],flv.Signature[1],flv.Signature[2]);
  99. fprintf(myout,"Version: 0x %X\n",flv.Version);
  100. fprintf(myout,"Flags : 0x %X\n",flv.Flags);
  101. fprintf(myout,"HeaderSize: 0x %X\n",reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)));
  102. fprintf(myout,"========================================\n");
  104. //move the file pointer to the end of the header
  105. fseek(ifh, reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)), SEEK_SET);
  107. //process each tag
  108. do {
  110. previoustagsize = _getw(ifh);
  112. fread((void *)&tagheader,sizeof(TAG_HEADER),1,ifh);
  114. //int temp_datasize1=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize));
  115. int tagheader_datasize=tagheader.DataSize[0]*65536+tagheader.DataSize[1]*256+tagheader.DataSize[2];
  116. int tagheader_timestamp=tagheader.Timestamp[0]*65536+tagheader.Timestamp[1]*256+tagheader.Timestamp[2];
  118. char tagtype_str[10];
  119. switch(tagheader.TagType){
  120. case TAG_TYPE_AUDIO:sprintf(tagtype_str,"AUDIO");break;
  121. case TAG_TYPE_VIDEO:sprintf(tagtype_str,"VIDEO");break;
  122. case TAG_TYPE_SCRIPT:sprintf(tagtype_str,"SCRIPT");break;
  123. default:sprintf(tagtype_str,"UNKNOWN");break;
  124. }
  125. fprintf(myout,"[%6s] %6d %6d |",tagtype_str,tagheader_datasize,tagheader_timestamp);
  127. //if we are not past the end of file, process the tag
  128. if (feof(ifh)) {
  129. break;
  130. }
  132. //process tag by type
  133. switch (tagheader.TagType) {
  135. case TAG_TYPE_AUDIO:{
  136. char audiotag_str[100]={0};
  137. strcat(audiotag_str,"| ");
  138. char tagdata_first_byte;
  139. tagdata_first_byte=fgetc(ifh);
  140. int x=tagdata_first_byte&0xF0;
  141. x=x>>4;
  142. switch (x)
  143. {
  144. case 0:strcat(audiotag_str,"Linear PCM, platform endian");break;
  145. case 1:strcat(audiotag_str,"ADPCM");break;
  146. case 2:strcat(audiotag_str,"MP3");break;
  147. case 3:strcat(audiotag_str,"Linear PCM, little endian");break;
  148. case 4:strcat(audiotag_str,"Nellymoser 16-kHz mono");break;
  149. case 5:strcat(audiotag_str,"Nellymoser 8-kHz mono");break;
  150. case 6:strcat(audiotag_str,"Nellymoser");break;
  151. case 7:strcat(audiotag_str,"G.711 A-law logarithmic PCM");break;
  152. case 8:strcat(audiotag_str,"G.711 mu-law logarithmic PCM");break;
  153. case 9:strcat(audiotag_str,"reserved");break;
  154. case 10:strcat(audiotag_str,"AAC");break;
  155. case 11:strcat(audiotag_str,"Speex");break;
  156. case 14:strcat(audiotag_str,"MP3 8-Khz");break;
  157. case 15:strcat(audiotag_str,"Device-specific sound");break;
  158. default:strcat(audiotag_str,"UNKNOWN");break;
  159. }
  160. strcat(audiotag_str,"| ");
  161. x=tagdata_first_byte&0x0C;
  162. x=x>>2;
  163. switch (x)
  164. {
  165. case 0:strcat(audiotag_str,"5.5-kHz");break;
  166. case 1:strcat(audiotag_str,"1-kHz");break;
  167. case 2:strcat(audiotag_str,"22-kHz");break;
  168. case 3:strcat(audiotag_str,"44-kHz");break;
  169. default:strcat(audiotag_str,"UNKNOWN");break;
  170. }
  171. strcat(audiotag_str,"| ");
  172. x=tagdata_first_byte&0x02;
  173. x=x>>1;
  174. switch (x)
  175. {
  176. case 0:strcat(audiotag_str,"8Bit");break;
  177. case 1:strcat(audiotag_str,"16Bit");break;
  178. default:strcat(audiotag_str,"UNKNOWN");break;
  179. }
  180. strcat(audiotag_str,"| ");
  181. x=tagdata_first_byte&0x01;
  182. switch (x)
  183. {
  184. case 0:strcat(audiotag_str,"Mono");break;
  185. case 1:strcat(audiotag_str,"Stereo");break;
  186. default:strcat(audiotag_str,"UNKNOWN");break;
  187. }
  188. fprintf(myout,"%s",audiotag_str);
  190. //if the output file hasn‘t been opened, open it.
  191. if(output_a!=0&&afh == NULL){
  192. afh = fopen("output.mp3", "wb");
  193. }
  195. //TagData - First Byte Data
  196. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))-1;
  197. if(output_a!=0){
  198. //TagData+1
  199. for (int i=0; i<data_size; i++)
  200. fputc(fgetc(ifh),afh);
  202. }else{
  203. for (int i=0; i<data_size; i++)
  204. fgetc(ifh);
  205. }
  206. break;
  207. }
  208. case TAG_TYPE_VIDEO:{
  209. char videotag_str[100]={0};
  210. strcat(videotag_str,"| ");
  211. char tagdata_first_byte;
  212. tagdata_first_byte=fgetc(ifh);
  213. int x=tagdata_first_byte&0xF0;
  214. x=x>>4;
  215. switch (x)
  216. {
  217. case 1:strcat(videotag_str,"key frame ");break;
  218. case 2:strcat(videotag_str,"inter frame");break;
  219. case 3:strcat(videotag_str,"disposable inter frame");break;
  220. case 4:strcat(videotag_str,"generated keyframe");break;
  221. case 5:strcat(videotag_str,"video info/command frame");break;
  222. default:strcat(videotag_str,"UNKNOWN");break;
  223. }
  224. strcat(videotag_str,"| ");
  225. x=tagdata_first_byte&0x0F;
  226. switch (x)
  227. {
  228. case 1:strcat(videotag_str,"JPEG (currently unused)");break;
  229. case 2:strcat(videotag_str,"Sorenson H.263");break;
  230. case 3:strcat(videotag_str,"Screen video");break;
  231. case 4:strcat(videotag_str,"On2 VP6");break;
  232. case 5:strcat(videotag_str,"On2 VP6 with alpha channel");break;
  233. case 6:strcat(videotag_str,"Screen video version 2");break;
  234. case 7:strcat(videotag_str,"AVC");break;
  235. default:strcat(videotag_str,"UNKNOWN");break;
  236. }
  237. fprintf(myout,"%s",videotag_str);
  239. fseek(ifh, -1, SEEK_CUR);
  240. //if the output file hasn‘t been opened, open it.
  241. if (vfh == NULL&&output_v!=0) {
  242. //write the flv header (reuse the original file‘s hdr) and first previoustagsize
  243. vfh = fopen("output.flv", "wb");
  244. fwrite((char *)&flv,1, sizeof(flv),vfh);
  245. fwrite((char *)&previoustagsize_z,1,sizeof(previoustagsize_z),vfh);
  246. }
  247. #if 0
  248. //Change Timestamp
  249. //Get Timestamp
  250. ts = reverse_bytes((byte *)&tagheader.Timestamp, sizeof(tagheader.Timestamp));
  251. ts=ts*2;
  252. //Writeback Timestamp
  253. ts_new = reverse_bytes((byte *)&ts, sizeof(ts));
  254. memcpy(&tagheader.Timestamp, ((char *)&ts_new) + 1, sizeof(tagheader.Timestamp));
  255. #endif
  258. //TagData + Previous Tag Size
  259. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))+4;
  260. if(output_v!=0){
  261. //TagHeader
  262. fwrite((char *)&tagheader,1, sizeof(tagheader),vfh);
  263. //TagData
  264. for (int i=0; i<data_size; i++)
  265. fputc(fgetc(ifh),vfh);
  266. }else{
  267. for (int i=0; i<data_size; i++)
  268. fgetc(ifh);
  269. }
  270. //rewind 4 bytes, because we need to read the previoustagsize again for the loop‘s sake
  271. fseek(ifh, -4, SEEK_CUR);
  273. break;
  274. }
  275. default:
  277. //skip the data of this tag
  278. fseek(ifh, reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize)), SEEK_CUR);
  279. }
  281. fprintf(myout,"\n");
  283. } while (!feof(ifh));
  286. _fcloseall();
  288. return 0;
  289. }


上文中的函數調用方法如下所示。

[cpp] view plain copy
  1. simplest_flv_parser("cuc_ieschool.flv");

結果

本程序的輸入為一個FLV的文件路徑，輸出為FLV的統計數據，如下圖所示。

技術分享圖片

此外本程序還可以分離FLV中的視頻碼流和音頻碼流。需要註意的是本程序並不能分離一些特定類型的音頻（例如AAC）和視頻，這一工作有待以後有時間再完成。

下載

Simplest mediadata test

項目主頁

SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

開源中國：http://git.oschina.net/leixiaohua1020/simplest_mediadata_test


CSDN下載地址：http://download.csdn.net/detail/leixiaohua1020/9422409


本項目包含如下幾種視音頻數據解析示例：
(1)像素數據處理程序。包含RGB和YUV像素格式處理的函數。
(2)音頻采樣數據處理程序。包含PCM音頻采樣格式處理的函數。
(3)H.264碼流分析程序。可以分離並解析NALU。
(4)AAC碼流分析程序。可以分離並解析ADTS幀。
(5)FLV封裝格式分析程序。可以將FLV中的MP3音頻碼流分離出來。
(6)UDP-RTP協議分析程序。可以將分析UDP/RTP/MPEG-TS數據包。

視音頻數據處理入門：FLV封裝格式解析

相關推薦

視音頻數據處理入門：FLV封裝格式解析

tail rip 主頁 typedef gda ack print 地址 視頻 ===================================================== 視音頻數據處理入門系列文章： 視音頻數據處理入門：RGB、YUV像素數據處理 視音頻數

視音訊資料處理入門：FLV封裝格式解析

=====================================================視音訊資料處理入門系列文章：=====================================================前兩篇文章介紹了音訊碼流處理程式和視

『cs231n』視頻數據處理

return 分辨 learning 組成 tput sin con 自己 時間信息 視頻信息 和我之前的臆想不同，視頻數據不僅僅是一幀一幀的圖片本身，還包含個幀之間的聯系，也就是還有一個時序的信息維度，包含人的動作判斷之類的任務都是要依賴動作的時序信息的 視頻數據處理的兩

KVO---視圖間數據的傳遞：標簽顯示輸入的內容【多個視圖中】

tla trac content color smis rep ret oot ani RootViewController.m #import "ModalViewController.h" @interface RootViewController () @en

Python爬蟲音頻數據

apt tps ide att 每分鐘 方便 __name__ 12個 lan 一：前言 本次爬取的是喜馬拉雅的熱門欄目下全部電臺的每個頻道的信息和頻道中的每個音頻數據的各種信息，然後把爬取的數據保存到mongodb以備後續使用。這次數據量在70萬左右。音頻數據包括音頻下載

單例---視圖間數據的傳遞：標簽顯示輸入的內容【多個視圖中】

release 視圖 pro button data- pos view copy field RootViewController.m - (void)viewDidLoad { [super viewDidLoad]; self.view.

數據處理不等式：Data Processing Inequality

ext right 工程 log src enter 可用 proc 互信 我是在差分隱私下看到的，新解決方案的可用性肯定小於原有解決方案的可用性，也就是說信息的後續處理只會降低所擁有的信息量。 那麽如果這麽說的話為什麽還要做特征工程呢，這是因為該不等式有一個巨大

數據分析入門：如何訓練數據分析思維？

可視化 功能 生活 方便 演講 但是 外部 免費 logs 作者：吳彬彬歡迎訪問網易雲社區，了解更多網易技術產品運營經驗。我們在生活中，會經常聽說兩種推理模式，一種是歸納 一種是演繹，這兩種思維模式能夠幫助數據分析師完成原始的業務邏輯積累，在此基礎上快速定位業務問題，提升分

視音訊資料處理入門：UDP-RTP協議解析

=====================================================視音訊資料處理入門系列文章：=====================================================本文介紹網路協議資料的處理程式。網路

視音訊資料處理入門 FLV封裝格式解析

                =====================================================視音訊資料處理入門系列文章：=====================================================前兩篇文章介紹了音訊碼流處理程式和視訊

視音訊編解碼學習工程：FLV封裝格式分析器

=====================================================視音訊編解碼學習工程系列文章列表：=====================================================本文介紹一個自己的開源小專案：

Android 音視頻開發(四)：使用 Camera API 采集視頻數據

ont android開發 預覽 exce exceptio stat open rri 采集視頻 本文主要將的是：使用 Camera API 采集視頻數據並保存到文件，分別使用 SurfaceView、TextureView 來預覽 Camera 數據，取到 NV21 的

一個基於JRTPLIB的輕量級RTSP客戶端(myRTSPClient)——實現篇：（六）RTP音視頻傳輸解析層之音視頻數據傳輸格式

客戶端 會有 服務 client 基本 cnblogs 存在 額外 導致 一、差異 本地音視頻數據格式和用來傳輸的音視頻數據格式存在些許差異，由於音視頻數據流到達客戶端時，需要考慮數據流的數據邊界、分包、組包順序等問題，所以傳輸中的音視頻數據往往會多一些字節。 舉個例子

FFmpeg開發實戰（五）：FFmpeg 抽取音視頻的視頻數據

warn context pps main b- can fwrite ber tdi 如何使用FFmpeg抽取音視頻的視頻數據，代碼如下： // FFmpegTest.cpp : 此文件包含 "main" 函數。程序執行將在此處開始並結束。 // #include

數據庫原理及應用(SQL Server 2016數據處理)【上海精品視頻課程】

應用 原理 sql 信息無處不在，數據處理無處不用。物質、信息、能源已經成為人類生存和發展的重要保障。數據庫的應用廣度深度及建設規模已經成為衡量一個國家信息化程度的一項重要標誌。數據庫技術是計算機學科的一個重要分支，反映了數據管理的最新技術。數據庫技術與計算機網絡、人工智能一起被稱為計算機三大

kaggle入門項目：Titanic存亡預測（二）數據處理

理解 ima 簡單 標識符 數據處理 let ger 好的 元素 原kaggle比賽地址：https://www.kaggle.com/c/titanic 原kernel地址：A Data Science Framework: To Achieve 99% Accuracy

Excel數據處理與分析實戰|Excel數據分析視頻教程

ice 網盤 sym excel 計算 財務會計 分類匯總 講解 篩選 Excel數據處理與分析實戰網盤地址：https://pan.baidu.com/s/1CJcxxBwvkYttVEj6SyM5Hg 密碼: yd5p備用地址（騰訊微雲）：https://share.w

手機音頻視頻數據被誤刪了還能恢復嗎

形象 然而 拍照 process ges 手機應用 方法 介紹 分享 生活中我們除了喜歡用手機拍照外，用手機錄音也是一件必不可少的愛好錄音的內容也是五花八門，運用於各種情形，這也是從另一方面更為形象的記錄當時的情景。然而我們有時候會不小心將錄制的音視頻給刪掉，那麽手機音視頻

最簡單的視音頻播放演示樣例7：SDL2播放RGB/YUV

pro big 更新 沒有 opaque support 解決 控制 mem =====================================================最簡單的視音頻播放演示樣例系列文章列表：最簡單的視音頻播放演示樣例1：總述最簡單的視音

海量數據處理：Hash映射 + Hash_map統計 + 堆/快速/歸並排序

針對 內存 value 快速 round div ack 數據處理 訪問 海量日誌數據，提取出某日訪問百度次數最多的那個IP。 既然是海量數據處理，那麽可想而知，給我們的數據那就一定是海量的。 針對這個數據的海量，我們如何著手呢?對的，無非就是分而治之/hash映射 +