2.ts格式      ts檔案分為三層：ts層（Transport Stream）、pes層（Packet Elemental Stream）、es層（Elementary Stream）。es層就是音視訊資料，pes層是在音視訊資料上加了時間戳等對資料幀的說明資訊，ts層是在pes層上加入了資料流識別和傳輸的必要資訊。

3.ts層      ts包大小固定為188位元組，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個位元組；adaptation field可能存在也可能不存在，主要作用是給不足188位元組的資料做填充；payload是pes資料。 3.1.ts header

sync_byte	8b	同步位元組，固定為0x47
transport_error_indicator	1b	傳輸錯誤指示符，表明在ts頭的adapt域後由一個無用位元組，通常都為0，這個位元組算在adapt域長度內
payload_unit_start_indicator	1b	負載單元起始標示符，一個完整的資料包開始時標記為1
transport_priority	1b	傳輸優先順序，0為低優先順序，1為高優先順序，通常取0
pid	13b	pid值
transport_scrambling_control	2b	傳輸加擾控制，00表示未加密
adaptation_field_control	2b	是否包含自適應區，‘00’保留；‘01’為無自適應域，僅含有效負載；‘10’為僅含自適應域，無有效負載；‘11’為同時帶有自適應域和有效負載。
continuity_counter	4b	遞增計數器，從0-f，起始值不一定取0，但必須是連續的

     ts層的內容是通過PID值來標識的，主要內容包括：PAT表、PMT表、音訊流、視訊流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然後就可以找到音視訊流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為使用者隨時可能加入ts流，這個間隔比較小，通常每隔幾個視訊幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業務描述表）等，不過hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明瞭PMT表的PID值。
• PMT表：他主要的作用就是指明瞭音視訊流的PID值。
• 音訊流/視訊流：承載音視訊內容。

3.2.adaption

adaptation_field_length	1B	自適應域長度，後面的位元組數
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，節目時鐘參考，用於恢復出與編碼端一致的系統時序時鐘STC（System Time Clock）。
stuffing_bytes	xB	填充位元組，取值0xff

     自適應區的長度要包含傳輸錯誤指示符標識的一個位元組。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的取樣值，pcr是遞增的，因此可以將其設定為dts值，音訊資料不需要pcr。如果沒有欄位，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視訊流和音訊流都需要加adaptation field，通常加在一個幀的第一個ts包和最後一個ts包裡，中間的ts包不加。

3.3.PAT格式

table_id	8b	PAT表固定為0x00
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	後面資料的長度
transport_stream_id	16b	傳輸流ID，固定為0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1，表示這個PAT表可以用，如果為0則要等待下一個PAT表
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
開始迴圈
program_number	16b	節目號為0x0000時表示這是NIT，節目號為0x0001時,表示這是PMT
reserved	3b	固定為111
PID	13b	節目號對應內容的PID值
結束迴圈
CRC32	32b	前面資料的CRC32校驗碼

3.4.PMT格式

table_id	8b	PMT表取值隨意，0x02
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	後面資料的長度
program_number	16b	頻道號碼，表示當前的PMT關聯到的頻道，取值0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
reserved	3b	固定為111
PCR_PID	13b	PCR(節目參考時鐘)所在TS分組的PID，指定為視訊PID
reserved	4b	固定為1111
program_info_length	12b	節目描述資訊，指定為0x000表示沒有
開始迴圈
stream_type	8b	流型別，標誌是Video還是Audio還是其他資料，h.264編碼對應0x1b，aac編碼對應0x0f，mp3編碼對應0x03
reserved	3b	固定為111
elementary_PID	13b	與stream_type對應的PID
reserved	4b	固定為1111
ES_info_length	12b	描述資訊，指定為0x000表示沒有
結束迴圈
CRC32	32b	前面資料的CRC32校驗碼

4.pes層      pes層是在每一個視訊/音訊幀上加入了時間戳等資訊，pes包內容很多，我們只留下最常用的。

pes start code	3B	開始碼，固定為0x000001
stream id	1B	音訊取值（0xc0-0xdf），通常為0xc0 視訊取值（0xe0-0xef），通常為0xe0
pes packet length	2B	後面pes資料的長度，0表示長度不限制， 只有視訊資料長度會超過0xffff
flag	1B	通常取值0x80，表示資料不加密、無優先順序、備份的資料
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	後面資料的長度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

     pts是顯示時間戳、dts是解碼時間戳，視訊資料兩種時間戳都需要，音訊資料的pts和dts相同，所以只需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等於dts。如果一個視訊沒有B幀，則pts永遠和dts相同。從檔案中順序讀取視訊幀，取出的幀順序和dts順序相同。dts演算法比較簡單，初始值 + 增量即可，pts計算比較複雜，需要在dts的基礎上加偏移量。      音訊的pes中只有pts（同dts），視訊的I、P幀兩種時間戳都要有，視訊B幀只要pts（同dts）。打包pts和dts就需要知道視訊幀型別，但是通過容器格式我們是無法判斷幀型別的，必須解析h.264內容才可以獲取幀型別。 舉例說明：                          I          P          B          B          B          P 讀取順序：         1         2          3          4          5          6 dts順序：           1         2          3          4          5          6 pts順序：           1         5          3          2          4          6 點播視訊dts演算法： dts = 初始值 + 90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。 pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。 用一幀的timescale除以取樣頻率就可以轉換為一幀的播放時長 點播音訊dts演算法： dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是取樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。 直播視訊的dts和pts應該直接用直播資料流中的時間，不應該按公式計算。 5.es層      es層指的就是音視訊資料，我們只介紹h.264視訊和aac音訊。 h.264視訊：      打包h.264資料我們必須給視訊資料加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的資料是由slice組成的，slice的內容包括：視訊、sps、pps等。nalu type決定了後面的h.264資料內容。

F	1b	forbidden_zero_bit，h.264規定必須取0
NRI	2b	nal_ref_idc，取值0~3，指示這個nalu的重要性，I幀、sps、pps通常取3，P幀通常取2，B幀通常取0
Type	5b	參考下表

nal_unit_type	說明
0	未使用
1	非IDR影象片，IDR指關鍵幀
2	片分割槽A
3	片分割槽B
4	片分割槽C
5	IDR影象片，即關鍵幀
6	補充增強資訊單元(SEI)
7	SPS序列引數集
8	PPS影象引數集
9	分解符
10	序列結束
11	碼流結束
12	填充
13~23	保留
24~31	未使用

     紅色字型顯示的內容是最常用的，打包es層資料時pes頭和es資料之間要加入一個type=9的nalu，關鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

aac音訊：      打包aac音訊必須加上一個adts(Audio Data Transport Stream)頭，共7Byte，adts包括fixed_header和variable_header兩部分，各28bit。 fixed_header

syncword	12b	固定為0xfff
id	1b	0表示MPEG-4，1表示MPEG-2
layer	2b	固定為00
protection_absent	1b	固定為1
profile	2b	取值0~3,1表示aac
sampling_frequency_index	4b	表示取樣率，0: 96000 Hz，1: 88200 Hz，2: 64000 Hz，3：48000 Hz，4: 44100 Hz，5: 32000 Hz，6: 24000 Hz，7: 22050 Hz，8: 16000 Hz，9: 12000 Hz，10: 11025 Hz，11: 8000 Hz，12: 7350 Hz
private_bit	1b	固定為0
channel_configuration	3b	取值0~7，1: 1 channel: front-center，2: 2 channels: front-left, front-right，3: 3 channels: front-center, front-left, front-right，4: 4 channels: front-center, front-left, front-right, back-center
original_copy	1b	固定為0
home	1b	固定為0

variable_header

copyright_identification_bit	1b	固定為0
copyright_identification_start	1b	固定為0
aac_frame_length	13b	包括adts頭在內的音訊資料總長度
adts_buffer_fullness	11b	固定為0x7ff
number_of_raw_data_blocks_in_frame	2b	固定為00

mp3音訊： mp3音訊不需要加adts頭。 6.h264幀型別判斷 當nalu type=5或1時，表示後面跟著的資料是視訊資料，下面我們只列出前2項。