2. 程式人生 > >FFMPEG 實時解碼網路H264碼流，RTP封裝

FFMPEG 實時解碼網路H264碼流，RTP封裝

阿新 • • 發佈：2019-02-09

初學FFMPEG和H264，解碼視訊流時遇到了很多麻煩，記錄一下研究成果。

我使用的FFMPEG 2.5.2版本，使用av_parser_parse2重組影象幀時遇到了一下麻煩！

下面是主要程式碼：

RTP頭定義，

typedef struct   
{  
	/**//* byte 0 */  
	unsigned char csrc_len:4;        /**//* expect 0 */  
	unsigned char extension:1;        /**//* expect 1, see RTP_OP below */  
	unsigned char padding:1;        /**//* expect 0 */  
	unsigned char version:2;        /**//* expect 2 */  
	/**//* byte 1 */  
	unsigned char payload:7;        /**//* RTP_PAYLOAD_RTSP */  
	unsigned char marker:1;        /**//* expect 1 */  
	/**//* bytes 2, 3 */  
	unsigned short seq_no;              
	/**//* bytes 4-7 */  
	unsigned  long timestamp;          
	/**//* bytes 8-11 */  
	unsigned long ssrc;            /**//* stream number is used here. */  
} RTP_FIXED_HEADER;

初始化，

int CVPPMediaPlayer::init_decode()
{
	av_init_packet(&m_avpkt);

	m_codec = avcodec_find_decoder(CODEC_ID_H264);
	if(!m_codec){
		TRACE(_T("Codec not found\n"));
		return -1;
	}
	m_pCodecCtx = avcodec_alloc_context3(m_codec);
	if(!m_pCodecCtx){
		TRACE(_T("Could not allocate video codec context\n"));
		return -1;
	}

	m_pCodecParserCtx=av_parser_init(AV_CODEC_ID_H264);
	if (!m_pCodecParserCtx){
		TRACE(_T("Could not allocate video parser context\n"));
		return -1;
	}
	
	if(m_codec->capabilities&CODEC_CAP_TRUNCATED)
		m_pCodecCtx->flags|= CODEC_FLAG_TRUNCATED; 

	if (avcodec_open2(m_pCodecCtx, m_codec, NULL) < 0) {
		TRACE(_T("Could not open codec\n"));
		return -1;
	}

	m_picture = av_frame_alloc();
	m_pFrameRGB = av_frame_alloc();
	if(!m_picture || !m_pFrameRGB){
		TRACE(_T("Could not allocate video frame\n"));
		return -1;
	}

	m_PicBytes = 0;
	m_PicBuf = NULL;
	m_pImgCtx = NULL;

	return 0;
}
反初始化， 
void CVPPMediaPlayer::uninit_decode()
{
	avcodec_close(m_pCodecCtx);
	if(m_pCodecCtx){
		av_free(m_pCodecCtx);
		m_pCodecCtx = NULL;
	}
	if(m_picture){
		av_frame_free(&m_picture);
		m_picture = NULL;
	}
	if(m_pFrameRGB){
		av_frame_free(&m_pFrameRGB);
		m_pFrameRGB = NULL;
	}
	if(m_pImgCtx){
		sws_freeContext(m_pImgCtx);
	}

	if(m_pCodecParserCtx){
		av_parser_close(m_pCodecParserCtx);
	}

	m_PicBytes = 0;
	if(m_PicBuf != NULL){
		delete m_PicBuf;
		m_PicBuf = NULL;
	}
}

網路資料流接收，收到RTP包後去掉RTP包頭，在視訊幀分片前加上00 00 00 01；這裡沒有處理FU-A格式的H264資料，如果你的H264資料是FU-A打包的，需要做另外的處理。 
BOOL CVPPMediaPlayer::get_h264_data(char* in_buf, int in_len, char* out_buf, int &out_len)
{
	int rtp_head_len;
	char nalu[4] = {0x00, 0x00, 0x00, 0x01};
	
	memcpy(out_buf, nalu, 4);
	rtp_head_len = sizeof(RTP_FIXED_HEADER);
	out_buf += 4;
	in_buf += rtp_head_len;
	memcpy(out_buf, in_buf, in_len-rtp_head_len);
	out_len = in_len-rtp_head_len+4;

	return TRUE;
}

int CVPPMediaPlayer::video_recv_poll()
{
	char buf[RTP_RECV_BUF_LEN];
	char h264_buf[DECODE_BUF_SIZE];
	int sockfd, max_fd;
	int ret = 0;
	int len, out_len, addr_len;
	int line;

	struct sockaddr_in local_addr;
	struct sockaddr_in remote_addr;

	fd_set rset;
	struct timeval timeout = {RTP_RECV_TIMEOUT, 0};

	RTP_FIXED_HEADER* p_rtp_head;
	int rtp_head_len = sizeof(RTP_FIXED_HEADER);

	memset(&local_addr, 0, sizeof(local_addr));
	local_addr.sin_family = AF_INET;
	local_addr.sin_addr.s_addr = inet_addr(g_vpp_call.lines[m_VcId].meida_info.local_ip);
	local_addr.sin_port = htons(g_vpp_call.lines[m_VcId].meida_info.local_video_port);

	sockfd = socket(PF_INET, SOCK_DGRAM, 0);
	if(sockfd <= 0){
		TRACE(_T("Create socket for video recv failed\n"));
		return -1;
	}

	if(bind(sockfd, (struct sockaddr *)&local_addr, sizeof(local_addr)) < 0){
		TRACE(_T("bind failed\n"));
		closesocket(sockfd);
		return -1;
	}

	while(1)
	{
		timeout.tv_sec = RTP_RECV_TIMEOUT; 
		timeout.tv_usec = 0;
		FD_ZERO(&rset);
		FD_SET(sockfd, &rset);
		max_fd = sockfd + 1;
		ret = select(max_fd, &rset, NULL, NULL, &timeout);
		if(g_vpp_call.lines[m_VcId].status == CALL_STATUS_IDLE){
			TRACE(_T("Thread for recv video rtp end!\n"));
			PostMessage(WM_CLOSE_MEDIA_PLAYER);
			closesocket(sockfd);
			return 0;
		}

		if(ret < 0){
			TRACE(_T("select error"));
			PostMessage(WM_CLOSE_MEDIA_PLAYER);
			closesocket(sockfd);
			return -1;
		}else if(ret == 0){
			//TRACE(_T("select timeout %d s"), RTP_RECV_TIMEOUT);
			continue;
		}else{
			memset(buf, 0, sizeof(buf));
			memset(h264_buf, 0, sizeof(h264_buf));
			addr_len = sizeof(struct sockaddr);
			len = recvfrom(sockfd, buf, RTP_RECV_BUF_LEN, 0, (struct sockaddr *)&remote_addr, &addr_len);
			if(len <= 0){
				TRACE(_T("socket was shut, close it"));
				PostMessage(WM_CLOSE_MEDIA_PLAYER);
				closesocket(sockfd);
				return -1;
			}

			
			p_rtp_head = (RTP_FIXED_HEADER*)buf;
			TRACE(_T("recv video stream, len=%d, ssrc=0x%08x\n"), len, ntohl(p_rtp_head->ssrc));
			out_len = RTP_RECV_BUF_LEN;
			if(get_h264_data(buf, len, h264_buf, out_len)){
				h264_decode(h264_buf, out_len);
			}
		}
	}

	return 0;
}

重組視訊幀並解碼，解碼流程為 H264->YUV->RGB，得到RGB後直接顯示出來就行了。

這裡使用avcodec_decode_video2來將分片組成視訊幀，當返回值為0時表示前面的分片已經組成一幀完整的視訊幀，可以送給解碼函式進行解碼了，需要注意的是此時當前的分片並沒有加入到視訊幀中（也就是通過當前的分片判斷出前面的所有分片已經組成了視訊幀），所以當前的分片需要加入到下一幀中，我就在這裡吃了大虧，沒有把當前的分片加入到下一幀中，導致解碼出來的畫面很模糊，糾結了好幾天尷尬。

當avcodec_decode_video2返回0時，將m_avpkt送給解碼函式，同時再次呼叫avcodec_decode_video2函式，將當前分片的buf送進去。

int CVPPMediaPlayer::h264_decode(char* buf, int buf_len)
{
	int got, len, paser_len;
	

	if(buf == NULL || buf_len == 0){
		return -1;
	}

	paser_len = av_parser_parse2(m_pCodecParserCtx, m_pCodecCtx, &m_avpkt.data, &m_avpkt.size, (uint8_t *)buf, buf_len,
		AV_NOPTS_VALUE, AV_NOPTS_VALUE, AV_NOPTS_VALUE);

	if(paser_len == 0){
		switch(m_pCodecParserCtx->pict_type){
			case AV_PICTURE_TYPE_I: TRACE(_T("Type: I\n"));break;
			case AV_PICTURE_TYPE_P: TRACE(_T("Type: P\n"));break;
			case AV_PICTURE_TYPE_B: TRACE(_T("Type: B\n"));break;
			default: TRACE(_T("Type: Other\n"));break;
		}
		len = avcodec_decode_video2(m_pCodecCtx, m_picture, &got, &m_avpkt);
		if(len < 0){
			TRACE(_T("Error while decoding frame\n"));
			return -1;
		}

		if(got){
			TRACE(_T("Got picture\n"));
			if(m_PicBytes == 0){
				m_PicBytes = avpicture_get_size(PIX_FMT_BGR24, m_pCodecCtx->width, m_pCodecCtx->height);
				m_PicBuf = new uint8_t[m_PicBytes];
				avpicture_fill((AVPicture *)m_pFrameRGB, m_PicBuf, PIX_FMT_BGR24,
					m_pCodecCtx->width, m_pCodecCtx->height);
			}

			if(!m_pImgCtx){
				m_pImgCtx = sws_getContext(m_pCodecCtx->width, m_pCodecCtx->height, m_pCodecCtx->pix_fmt, m_pCodecCtx->width, m_pCodecCtx->height, PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL);
			}

			m_picture->data[0] += m_picture->linesize[0]*(m_pCodecCtx->height-1);
			m_picture->linesize[0] *= -1;                      
			m_picture->data[1] += m_picture->linesize[1]*(m_pCodecCtx->height/2-1);
			m_picture->linesize[1] *= -1;
			m_picture->data[2] += m_picture->linesize[2]*(m_pCodecCtx->height/2-1);
			m_picture->linesize[2] *= -1;
			sws_scale(m_pImgCtx, (const uint8_t* const*)m_picture->data, m_picture->linesize, 0, m_pCodecCtx->height, m_pFrameRGB->data, m_pFrameRGB->linesize); 

			display_picture(m_pFrameRGB->data[0], m_pCodecCtx->width, m_pCodecCtx->height);
		}
	}

	if(paser_len == 0){
		paser_len = av_parser_parse2(m_pCodecParserCtx, m_pCodecCtx, &m_avpkt.data, &m_avpkt.size, (uint8_t *)buf, buf_len,
			AV_NOPTS_VALUE, AV_NOPTS_VALUE, AV_NOPTS_VALUE);
	}

	return 0;
}
在視窗中顯示每一幀RGB圖片；這裡過載一個CStatic控制元件來做視訊播放。 
void CVideoStatic::init_bm_head()
{
	m_bm_info.bmiHeader.biSize = sizeof(BITMAPINFOHEADER);
	m_bm_info.bmiHeader.biWidth = m_width;
	m_bm_info.bmiHeader.biHeight = m_height;
	m_bm_info.bmiHeader.biPlanes =1;
	m_bm_info.bmiHeader.biBitCount = 24;
	m_bm_info.bmiHeader.biCompression = BI_RGB;
	m_bm_info.bmiHeader.biSizeImage = 0;
	m_bm_info.bmiHeader.biClrUsed = 0;
	m_bm_info.bmiHeader.biClrImportant = 0;
}


void CVideoStatic::display_pic(unsigned char* data, int width, int height)
{
	CRect  rc;
	HDC hdc = GetDC()->GetSafeHdc();
	GetClientRect(&rc);

	if(m_height != height || m_width != width){
		m_height = height;
		m_width = width;

		MoveWindow(0, 0, width, height, 0);
		Invalidate();
	}

	init_bm_head();

	DrawDibDraw(m_DrawDib,
		hdc,
		rc.left,
		rc.top,
		-1,	// don't stretch
		-1,
		&m_bm_info.bmiHeader, 
		(void*)data, 
		0, 
		0, 
		width, 
		height, 
		0);
}


存在的問題：

1、不能相容FU-A方式封裝的H264流，一些裝置的視訊無法播放。

2、分片組幀應該可以自己實現，不需要avcodec_decode_video2來做。

相關推薦

FFMPEG 實時解碼網路H264碼流，RTP封裝

初學FFMPEG和H264，解碼視訊流時遇到了很多麻煩，記錄一下研究成果。 我使用的FFMPEG 2.5.2版本，使用av_parser_parse2重組影象幀時遇到了一下麻煩！ 下面是主要程式碼： RTP頭定義， typedef struct { /**/

用ffmpeg提取mp4的h264碼流寫檔案花屏

1、用ffmpeg提取mp4的h264碼流寫檔案的方法網上有很多，不知道的請參考雷神部落格：http://blog.csdn.net/leixiaohua1020/article/details/11800877 2、但是這麼寫出來的檔案是有問題的，首先的確能播放，但是會有

h264碼流在RTP中的傳輸(基於rfc3984)

  Timestamp: 時間戳 32 bits   synchronization source (SSRC) identifier：同步源標誌   contributing source (CSRC) identifiers：一般不用，作用源列表  H.264 Payload 格式定義了三種不同的

Live555+FFMPEG+ddraw實現H264碼流接收,解碼，顯示

1)H264碼流接收採用的是live555，live555會將sps,pps,I幀，p幀都是單獨的包過來的，在接收到Buffer，需要對它進行組成幀,live555自己支援I幀和P幀的組幀的，但是我們交給ffmpeg前，必須對在每幀之前插入00 00 00 01開始碼,同時

FFmpeg In Android - H264碼流解碼/OpenGL ES渲染

主要思路是FFmpeg解碼H264得到一張yuv420p圖片後，傳遞給opengl es在著色器內部做圖片轉換yuv->rgb，然後通過紋理貼圖的方式渲染出來．這種方式的效率更高．核心程式碼如下： #include "common.h" #include "gl_util.h"

FFmpeg In Android - H264碼流解碼/儲存Yuv

本節例子原始碼_NativeH264Android,修改自ffmpeg原始碼目錄/doc/examples/decode_video.c H264的碼流結構 H.264原始碼流（又稱為“裸流”）是由一個一個的NALU組成的，包括I幀，B幀，P幀等等，他們的結構如下圖所示： 其中每個

FFMPEG實現RTSP中H264資料流解碼 並且實時播放

主要改動原始檔案的讀取 播放器是播放本地檔案 而我們這裡需要讀取的是RTSP中H264資料流 char filepath[1024] = "rtsp://184.72.239.149/vod/mp4://BigBuckBunny_175k.

Java利用JNI呼叫FFMpeg對h264碼流進行解碼

前期配置工作： 使用JNI呼叫： java端： package com.recon.action; public class Decode { public native String loadfile(String s); //

FFmpeg實時解碼H264

    ffmpeg的解碼過程在前面已經稍微總結了下，這裡主要是測試一下用ffmpeg如何進行實時的解碼。    在解碼之前，我們先做好準備工作，呼叫攝像頭。編碼的過程中，進行入隊出隊操作，出隊後的資料交給解碼器，進行解碼。    接下來依次介紹各個模組。1.呼叫攝像頭：Vi

關於對H264碼流的PS的封裝的相關代碼實現

真心 clip gef 但是 占用 udp 大致 結果 方法 轉自：http://www.cnblogs.com/lidabo/p/6604988.html 1、寫在開始之前： 最近因為新工作要維護別人留下的GB模塊代碼，先熟悉了流程，然後也試著封裝

關於對H264碼流的TS的封裝的相關代碼實現

有效 當前 完成 read ble tco and mark comm 轉自：http://www.cnblogs.com/lidabo/p/6604998.html 1 寫在開始之前 在前段時間有分享一個H264封裝ps流到相關文章的，這次和

H264碼流中SPS PPS詳解<轉>

擴展 vlc 地址 逗號 部分 級別 軟件 第一個 bottom 轉載地址：https://zhuanlan.zhihu.com/p/27896239 1 SPS和PPS從何處而來？ 2 SPS和PPS中的每個參數起什麽作用？ 3 如何解析SDP中

H264碼流中SPS PPS詳解

轉載地址：https://zhuanlan.zhihu.com/p/27896239 1 SPS和PPS從何處而來？ 2 SPS和PPS中的每個引數起什麼作用？ 3 如何解析SDP中包含的H.264的SPS和PPS串？ 1 客戶端抓包 在做客戶端視訊解碼時，一

FFmpeg命令：幾種常見場景下的FFmpeg命令（攝像頭採集推流，桌面錄製推流、轉流，拉流等等）

前提： 再者，推流你得有個流媒體服務，個人測試用小水管：rtmp://eguid.cc:1935/rtmp/test（小水管，請儘量錯開時間使用，另切記推流視訊位元速率不要太高，避免佔用太多頻寬）

gstreamer將H264碼流轉為avi視訊檔案示例

是時候記錄怎麼使用gstreamer庫將h264碼流轉為avi、mp4、flv等視訊檔案了。 下圖是本片示例視訊合成的流程圖，其中H264 採集與佇列實現部分程式碼未貼上。 總體思想是，“視訊合成主執行緒”根據視訊資料通道建立gstreamer視訊合成pipe

將H264碼流打包成RTP包

H264碼流打包成RTP包的程式碼如下：#include <stdio.h> #include <stdlib.h> #include <conio.h> #include <string.h> #incl

h264碼流rtp打包（一）

  一幀image編碼完的資料儲存在h264buffer中，編碼後的h264碼流的大小為nH264Size      因為對於NALU，並不是一幀對應一個NALU，而是對於SLICE而言，一個slice就封裝層一個nal，所以一幀可以有多個slice，即一幀有多個nal。

H264編碼器11( H.264 探索 第二部分 H264碼流格式)

來自：https://segmentfault.com/a/1190000006698552 表1中描述了所有可能的資料包型別。 Type Definition 0 Undefined

H264編碼器8( H264碼流打包分析(精華))

來自：https://www.cnblogs.com/lidabo/p/4602422.html H264碼流打包分析 SODB　資料位元串－－＞最原始的編碼資料 RBSP　原始位元組序列載荷－－＞在SODB的後面填加了結尾位元（RBSP trailing bits　一個bit“1”）若

Wireshark提取RTP包中的H264碼流

1-- Dump RTP h.264 payload to raw h.264 file (*.264) 2-- According to RFC3984 to dissector H264 payload of RTP to NALU, and write it 3--