《音視訊開發進階指南》讀書筆記（一） —— 音視訊基礎概念

摘要： 最近要學音視訊，在圖書館借到這本《音視訊開發進階指南》，讀了一段時間覺得挺好就在某寶買了。 以後一段時間應該都會沉浸在研究音視訊中，開個專題記錄哈每一章的讀書筆記吧(以iOS開發的角度記錄，安卓的暫時不涉及)。 第一章 音視訊基礎概念 本章介紹了 聲音、影象、視...

最近要學音視訊，在圖書館借到這本《音視訊開發進階指南》，讀了一段時間覺得挺好就在某寶買了。

以後一段時間應該都會沉浸在研究音視訊中，開個專題記錄哈每一章的讀書筆記吧(以iOS開發的角度記錄，安卓的暫時不涉及)。

第一章 音視訊基礎概念

本章介紹了 聲音、影象、視訊的相關概念。筆者在書本的基礎上，研究了一些自己讀書時好奇的問題，並且記錄在這篇文章中。

聲音的物理性質

聲波的三要素：頻率、振幅和波形。頻率代表音階的高低，振幅代表響度，波形代表音色。

頻率越高，波長就越短。低頻聲響的波長則較長，所以其可以更容易地繞過障礙物，因此能量衰減就小，聲音就會傳得遠。 人的聽力有一個頻率範圍，大約是20Hz~20kHz 。

響度是能量大小的反應。

波的形狀決定了其所代表的音色。

數字音訊

將模擬訊號數字化，要經過3個步驟，取樣，量化和編碼。

取樣

取樣：在時間軸上對訊號進行數字化。對應著聲音的頻率。

根據奈奎斯特定理，按比聲音 最高頻率高2倍 以上的頻率對聲音進行取樣，經過數字化處理之後，人耳聽到的聲音質量不會被降低。所以 取樣頻率一般為44.1kHz 。

量化

量化：在幅度軸上對訊號進行數字化。對應著聲音的振幅。

比如，每個取樣用16位元的二進位制訊號來表示，則範圍是[-32768, 32767]。

取樣和量化，能勾畫出波的形狀，即音色。聲波的三要素就轉化完成了。

編碼

編碼，就是按照一定的格式 記錄 取樣和量化後的數字資料，比如順序儲存或壓縮儲存，等等。

• 音訊的 裸資料 格式，脈衝編碼調製，英文叫 PCM (Pulse Code Modulation)。

描述一段PCM資料一般需要以下幾個概念：量化格式(sampleFormat)、取樣率(sampleRate)、聲道數(channel)。

量化格式和取樣率上面提到過了，聲道數是指支援能不同發聲的音響的個數。不難理解，立體聲道的聲道數預設為2個聲道。

• 資料位元率，即1秒時間內的位元數目。

以CD的音質為例，量化格式（位深度）為16位元，取樣率為44100，聲道數為2。

位元率 44100 * 16 * 2 = 1378.123kbps

一分鐘這類資料的儲存空間 1378.125 * 60 / 8 / 1024 = 10.09MB

音訊的壓縮

壓縮編碼的 原理 實際上是壓縮掉冗餘訊號，冗餘訊號是指不能被人耳感知到的訊號，包含人耳聽覺範圍之外的音訊訊號以及被掩蔽掉的音訊訊號等。人耳聽覺範圍之外的音訊上面提到過。被掩蔽掉的音訊訊號則主要是因為人耳的 掩蔽效應 ，主要表現為頻域掩蔽效應與時域掩蔽效應。

書上沒有介紹掩蔽效應，估計對於應用層的開發人員來說，不用理解也可以。但筆者還是查閱了一番，感嘆一句，人類真奇妙。

下面介紹幾種常用的壓縮編碼格式。簡單看一下就行。

1. WAV 編碼

WAV 編碼的一種實現就是在PCM 資料格式的前面加上44位元組，分別用來描述PCM 的取樣率、聲道數、資料格式等資訊。

特點：音質非常好，大量軟體都支援。

適用場合：多媒體開發的中間檔案、儲存音樂和音效素材。

2. MP3 編碼

MP3，使用LAME 編碼的中高位元速率的MP3檔案，聽感上非常接近源WAV檔案。

特點：音質在128Kbit/s以上表現還不錯，壓縮比比較高，大量軟體和硬體都支援，相容性好。

適用場合：高位元率下對相容性有要求的音樂欣賞。

3. AAC 編碼

特點：在小於128Kbit/s 的位元速率下表現優異，並且多用於視訊中的音訊編碼。

適用場合：128Kbit/s 以下的音訊編碼，多用於視訊中音訊軌的編碼。

4. Ogg 編碼

特點：可以用比MP3更小的位元速率實現比MP3更好的音質，高中低位元速率下均有良好的表現，相容性不夠好，流媒體特性不支援。

適用場合：語音聊天的音訊訊息場景。

關於音訊的概念，書上就介紹到以上。但筆者還有困惑，一段音訊，播放器是怎麼知道它的取樣率、聲道數、資料格式呢？

WAV檔案的組成

於是筆者查閱到這篇文章WAV 檔案格式。簡單點說，就是頭部的某一段，被定義下來代表的含義。所以 編解碼就按照約定的意義執行 。

至於其他編碼格式，檔案格式是怎麼樣的，就請讀者有需要的時候再查閱了。

影象的物理現象

• 紅綠藍三種光無法被分解，故稱為三原色光。

假設一部手機螢幕的解析度是 1280 * 720，說明有1280列，720行，所以整個手機螢幕就有1280 * 720 個畫素點。每個畫素點由三個子畫素點組成。這三個畫素點分別為紅、綠、藍，共同作用下形成一種顏色。

影象的數值表示

RGB 表示方式

• 浮點表示：取值範圍為 0.0 ~ 1.0，比如，在OpenGL ES中對每一個 子畫素點 的表示使用的就是這種表達方式。

• 整數表示：取值範圍為 0 ~ 255 或者 00 ~ FF， 8個位元表示一個子畫素，32個位元表示一個畫素 ，這就是類似於某些平臺上表示影象格式的 RGBA_8888 資料格式。比如， Android 平臺上 RGB_565 的表示方法為16位元模式表示一個畫素， R 用5個位元來表示， G 用 6個位元來表示， B 用5個位元來表示。

對於一幅影象，一般使用整數表示方法來進行描述，比如計算一張 1280 * 720 的 RGBA_8888影象的大小，這也是點陣圖(bitmap)在記憶體中所佔用的大小。

1280 * 720 * 32 / 8 = 3.516MB

YUV表示方式

“Y”表示明亮度，也稱灰階值；而“U”和“V”表示的則是色度，它們的作用是描述影像的色彩及飽和度，用於指定畫素的顏色。

“U”和“V”分別用Cr 和 Cb來表示。分別反映了 RGB 輸入訊號 紅色部分 和 藍色部分 與 RGB 訊號亮度值之間的差異。

如果只有 Y 訊號分量而沒有U、V分量，那麼這樣表示的影象就是黑白灰度影象。

• 最常用的 表示形式 是Y、U、V都使用一個位元組來表示，所以取值範圍就是 0 ~ 255。

• YUV最常用的 取樣格式 是 4:2:0。

這並不意味著只有Y、Cb，沒有Cr分量。直接上圖，方便理解。

以下說的取樣針對UV分量。 4:4:4表示完全取樣，每一個Y對應一組UV分量。 4:2:2表示2:1的水平取樣，垂直完全取樣，每兩個Y共用一組UV分量。 4:2:0表示2:1的水平取樣，垂直2：1取樣，每四個Y共用一組UV分量。

舉書本上一個例子，可以看到，色度的抽樣率是4:1，即Y:U:V為4:1:1。32個畫素點，就有32個Y，U和V一共16個，按1位元組來算，佔用48位元組儲存空間。

YUV 和 RGB 的轉化

這一部分略，就是套用一個合理的轉化公式轉換。

書上關於影象就介紹到以上。筆者自己還查閱了影象的檔案組成。

影象壓縮編碼格式及檔案的組成

jpg是有失真壓縮格式，png是無失真壓縮格式。

有關它們的區別。

對於jpg檔案格式，查到這篇jpg檔案格式分析。和WAV 檔案格式原理類似。

有趣的是，檔案格式裡有一段用於表述 縮圖 的資料。

在iOS開發中，相簿顯示圖片時，可以先讀取縮圖。具體顯示時再載入原圖資料。

視訊的編碼

採集到的視訊源存在冗餘資訊，我們可以通過 幀間編碼技術 以及 幀內編碼技術 分別去除時間上和空間上的冗餘資訊。具體怎麼做以及為什麼可以這麼做，具體請看這篇文章，書上沒有介紹這部分。

經過一系列的去處冗餘資訊，可以大大的降低視訊的資料量，更利於視訊的儲存、傳輸，去除冗餘資訊的過程，我們就稱之為壓縮編碼。

壓縮編碼有很多標準，目前應用最廣泛的是ITU-T 制定的 H.264 （AVC），以高壓縮高質量和支援多種網路的流媒體傳輸著稱。

原理：分組，組內每一幀之間可以通過互相參照，從而去掉冗餘的資訊。

先來了解有關的概念

• IPB 幀

  • I 幀：幀內編碼幀，I幀通常是每個GOP(暫且理解為一個組)的第一個幀。
  • P 幀：前向預測編碼幀(predictive-frame)，也稱預測幀。
  • B 幀：雙向預測內插編碼幀，也稱為雙向預測幀。

一般來說 I的壓縮率是7，P的壓縮率是20，B可以達到50。

• GOP

兩個 I 幀之間形成的一組圖片，就是GOP(Group Of Picture)的概念。gop_size表示的是兩個 I 幀之間的幀數目。

• IDR幀

在解碼器中，一旦接收到一個 IDR 幀，就會立即清理參考幀緩衝區，並將 IDR 幀作為被參考的幀。

• PTS 與 DTS

兩種不同的時間戳。DTS(Decoding Time Stame)主要用於視訊的解碼，PTS(Presentation Time Stamp) 主要用於在解碼階段進行視訊的同步和輸出。

前面說到B幀，是前後預測幀。所以在解碼時，會打亂解碼和顯示的順序。所以存在B幀，PTS 和 DTS勢必就會不同。

除了H.264，ISO制定的標準:Motion JPEG即， MPEG ，MPEG 演算法是適用於動態視訊的壓縮演算法。

H.264 和 MPEG 只是編碼演算法，檔案字尾名取決於你選取的封裝容器。

書上第一章的內容介紹到以上就結束了。