1. 程式人生 > >H.264+AAC在會話描述協議SDP中格式

H.264+AAC在會話描述協議SDP中格式

預備知識《SDP 引數說明》,讀者可以先參考連結地址  https://blog.csdn.net/zymill/article/details/79836953

--------------------------------------------------------------------------------------------------------

H264通用樣例

m=video 0 RTP/AVP 96
a=control:trackID=0
a=framerate:25.000000
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=4D002A;sprop-parameter-sets=Z00AKp2oHgCJ+WbgICAoAAAfQAAGGoQgAA==,aO48gAA=

. "m=" 行中的媒體名必須是 "video"
. "a=rtpmap" 行中的編碼名稱必須是 "H264".
. "a=rtpmap" 行中的時鐘頻率必須是 90000.
. 其他引數都包括在 "a=fmtp" 行中(請參考下面詳細說明)

--------------------------------------------------------------------------------------------------------

AAC樣

m=audio 0 RTP/AVP 104

c=IN IP4 0.0.0.0
b=AS:50
a=recvonly
a=control:rtsp://admin:

[email protected]:554/h264/ch1/main/av_stream/trackID=2
a=rtpmap:104 mpeg4-generic/48000/1
a=fmtp:104 profile-level-id=15; streamtype=5; mode=AAC-hbr; config=1190;SizeLength=13; IndexLength=3; IndexDeltaLength=3; Profile=1;
a=Media_header:MEDIAINFO=494D4B4801010000040000010120011080BB000000FA000000000000000000000000000000000000;
a=appversion:1.0

------------------------------------------------------------------------

----------------------------------

H264引數詳細介紹(a=fmtp

1. packetization-mode  表示支援的封包模式. 

當 packetization-mode 的值為 0 時或不存在時, 必須使用單一 NALU 單元模式.
當 packetization-mode 的值為 1 時必須使用非交錯(non-interleaved)封包模式.

當 packetization-mode 的值為 2 時必須使用交錯(interleaved)封包模式.

每個打包方式允許的NAL單元型別總結(yes = 允許, no = 不允許, ig = 忽略)
      Type   Packet    Single NAL    Non-Interleaved    Interleaved
                       Unit Mode           Mode             Mode
      -------------------------------------------------------------

      0      undefined     ig               ig               ig
      1-23   NAL unit     yes              yes               no
      24     STAP-A        no              yes               no
      25     STAP-B        no               no              yes
      26     MTAP16        no               no              yes
      27     MTAP24        no               no              yes
      28     FU-A          no              yes              yes
      29     FU-B          no               no              yes
      30-31  undefined     ig               ig               ig


這個引數不可以取其他的值.

2 sprop-parameter-sets: SPS,PPS
這個引數可以用於傳輸 H.264 的序列引數集和影象引數 NAL 單元. 這個引數的值採用 Base64 進行編碼. 不同的引數集間用","號隔開.

3 profile-level-id:
這個引數用於指示 H.264 流的 profile 型別和級別. 由 Base16(十六進位制) 表示的 3 個位元組. 第一個位元組表示 H.264 的 Profile 型別, 第三個位元組表示 H.264 的 Profile 級別。
4 max-mbps: 

這個引數的值是一個整型, 指出了每一秒最大的巨集塊處理速度.

具體包分析結果如下:

Rtp payload的第一個位元組和264的NALU類似

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type    |
+---------------+

F: 1 個位元.

forbidden_zero_bit. 在 H.264 規範中規定了這一位必須為 0.

NRI: 2 個位元.

nal_ref_idc. 取 00 ~ 11, 似乎指示這個 NALU 的重要性, 如 00 的 NALU 解碼器可以丟棄它而不影響影象的回放. 不過一般情況下不太關心這個屬性.

Type: 5 個位元.

nal_unit_type. 這個 NALU 單元的型別. 簡述如下:
0     沒有定義
1-23 NAL單元 單個 NAL 單元包.
24    STAP-A   單一時間的組合包
24    STAP-B   單一時間的組合包
26    MTAP16   多個時間的組合包
27    MTAP24   多個時間的組合包
28    FU-A     分片的單元
29    FU-B     分片的單元
30-31 沒有定義

例子:

0x5C=01011100 (F:0  NRI:10  Type:28) FU-A

0x41=01000001 (F:0  NRI:10  Type:01)Single NAL

0x68=01000100 (F:0  NRI:10  Type:08)Single NAL

Single NAL Unit Mode :Type[1-23] packetization-mode=0

對於 NALU 的長度小於 MTU 大小的包, 一般採用單一 NAL 單元模式.
對於一個原始的 H.264 NALU 單元常由 [Start Code] [NALU Header] [NALU Payload] 三部分組成, 其中 Start Code 用於標示這是一個 NALU 單元的開始, 必須是 "00 00 00 01" 或 "00 00 01", NALU 頭僅一個位元組, 其後都是 NALU 單元內容.
打包時去除 "00 00 01" 或 "00 00 00 01" 的開始碼, 把其他資料封包的 RTP 包即可. 

Non-interleaved Mode:Type[1-23,24,28] packetization-mode=1

       Type=[1-23]的情況 參照 packetization-mode=0

Type=28 FU-A

+---------------+---------------+
|0|1|2|3|4|5|6|7|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI| Type:28 |S|E|R| Type    |
+---------------+---------------+

 

S:開始標誌

E:結束標誌 (與 Mark相同)

R:必須為0

 

Type:h264的NALU Type

 

例:

 

0x7C85=01111100 10000101 (開始包)

0x7C05=01111100 00000101 (中間包)

0x7C45=01111100 01000101 (結束包)


Type=23  STAP-A

0               1             2                 3
|0 1 2 3 4 5 6 7|8 9 0 1 2 3 4|5 6 7 8 9 0 1 2 3|4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                          RTP Header                           |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|STAP-A NAL HDR |         NALU 1 Size           | NALU 1 HDR    |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                         NALU 1 Data                           |
:                                                               :
+               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|               | NALU 2 Size                   | NALU 2 HDR    |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                         NALU 2 Data                           |
:                                                               :
|                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                               :...OPTIONAL RTP padding        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+