1. 程式人生 > >華為:解讀下一代視訊壓縮標準HEVC(H.265)

華為:解讀下一代視訊壓縮標準HEVC(H.265)

 概述

  H.264(AVC)從2003年5月草稿釋出以來,憑藉其相對於以往的視訊壓縮標準在壓縮效率以及網路適應性方面的明顯優勢,逐步成為視訊應用領域的主流標準。根據 MeFeedia的資料,由於iPad 以及其它新興裝置大多支援H.264 硬體加速,至2011年底,80%的視訊使用H.264編碼,並且隨著支援H.264解碼的裝置不斷增多,這一佔有率還將進一步增長。

  但是,隨著數字視訊應用產業鏈的快速發展,視訊應用向以下幾個方向發展的趨勢愈加明顯:

  • 高清晰度(Higher Definition):數字視訊的應用格式從720 P向1080 P全面升級,在一些視訊應用領域甚至出現了4K x 2K、8K x 4K的數字視訊格式;
  • 高幀率(Higher frame rate ):數字視訊幀率從30 fps向60fps、120fps甚至240fps的應用場景升級;
  • 高壓縮率(Higher Compression rate ):傳輸頻寬和儲存空間一直是視訊應用中最為關鍵的資源,因此,在有限的空間和管道中獲得最佳的視訊體驗一直是使用者的不懈追求。

  由於數字視訊應用在發展中面臨上述趨勢,如果繼續採用H.264編碼就出現的如下一些侷限性:

  1. 巨集塊個數的爆發式增長,會導致用於編碼巨集塊的預測模式、運動向量、參考幀索引和量化級等巨集塊級引數資訊所佔用的碼字過多,用於編碼殘差部分的碼字明顯減少。
  2. 由於解析度的大大增加,單個巨集塊所表示的影象內容的資訊大大減少,這將導致相鄰的4 x 4或8 x 8塊變換後的低頻係數相似程度也大大提高,導致出現大量的冗餘。
  3. 由於解析度的大大增加,表示同一個運動的運動向量的幅值將大大增加,H.264中採用一個運動向量預測值,對運動向量差編碼使用的是哥倫布指數編碼,該編碼方式的特點是數值越小使用的位元數越少。因此,隨著運動向量幅值的大幅增加,H.264中用來對運動向量進行預測以及編碼的方法壓縮率將逐漸降低。
  4. H.264的一些關鍵演算法例如採用CAVLC和CABAC兩種基於上下文的熵編碼方法、deblock濾波等都要求序列編碼,並行度比較低。針對GPU/DSP/FPGA/ASIC等並行化程度非常高的CPU,H.264的這種序列化處理越來越成為制約運算效能的瓶頸。

  為了面對以上發展趨勢,2010年1月,ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)聯合成立JCT-VC(Joint Collaborative Team on Video Coding)了聯合組織,統一制定下一代編碼標準:HEVC(High Efficiency Video Coding)。

  HEVC協議標準計劃於2013年2月份正式在業界釋出,目前整個框架結構已基本確定。截至2012年4月份,JCT-VC聯合工作組已經召開了第八次會議,並於2012年2月17日釋出了第一版內部草稿《High efficiency video coding (HEVC) text specification draft 6》,計劃2012年7月釋出第一版公開版草稿,在H.264標準2~4倍的複雜度基礎上,將壓縮效率提升一倍以上。

  下表列出了HM4.0(HEVC參考程式碼)相對於JM18.0 BD-Rate對比:

\

表1  HEVC相對於H.264的壓縮效率提升資料列表

  由表中資料可見,在Low Delay的情況下,HEVC(HM4.0)相對於H.264位元率平均下降44%。

  HEVC(H.265)的技術亮點

  作為新一代視訊編碼標準,HEVC(H.265)仍然屬於預測加變換的混合編碼框架。然而,相對於H.264,H.265 在很多方面有了革命性的變化。HEVC(H.265)的技術亮點有:

  靈活的編碼結構

  在H.265中,將巨集塊的大小從H.264的16x16擴充套件到了64x64,以便於高解析度視訊的壓縮。同時,採用了更加靈活的編碼結構來提高編碼效率,包括編碼單元(Coding Unit)、預測單元(Predict Unit)和變換單元(Transform Unit)。如圖1所示:

\

圖1 編碼單元(CU)、預測單元(PU)、變換單元(CU)

  其中編碼單元類似於H.264/AVC中的巨集塊的概念,用於編碼的過程,預測單元是進行預測的基本單元,變換單元是進行變換和量化的基本單元。這三個單元的分離,使得變換、預測和編碼各個處理環節更加靈活,也有利於各環節的劃分更加符合視訊影象的紋理特徵,有利於各個單元更優化的完成各自的功能。

  靈活的塊結構----RQT(Residual Quad-tree Transform)

  RQT是一種自適應的變換技術,這種思想是對H.264/AVC中ABT(Adaptive Block-size Transform)技術的延伸和擴充套件。對於幀間編碼來說,它允許變換塊的大小根據運動補償塊的大小進行自適應的調整;對於幀內編碼來說,它允許變換塊的大小根據幀內預測殘差的特性進行自適應的調整。大塊的變換相對於小塊的變換,一方面能夠提供更好的能量集中效果,並能在量化後儲存更多的影象細節,但是另一方面在量化後卻會帶來更多的振鈴效應。因此,根據當前塊訊號的特性,自適應的選擇變換塊大小,如圖2所示,可以得到能量集中、細節保留程度以及影象的振鈴效應三者最優的折中。

\

圖2 靈活的塊結構示意圖

  取樣點自適應偏移(Sample Adaptive Offset)

  SAO在編解碼環路內,位於Deblock之後,通過對重建影象的分類,對每一類影象畫素值加減一個偏移,達到減少失真的目的,從而提高壓縮率,減少碼流。

  採用SAO後,平均可以減少2%~6%的碼流,而編碼器和解碼器的效能消耗僅僅增加了約2%。

  自適應環路濾波(Adaptive Loop Filter)

  ALF在編解碼環路內,位於Deblock和SAO之後,用於恢復重建影象以達到重建影象與原始影象之間的均方差(MSE)最小。ALF的係數是在幀級計算和傳輸的,可以整幀應用ALF,也可以對於基於塊或基於量化樹(quadtree)的部分割槽域進行ALF,如果是基於部分割槽域的ALF,還必須傳遞指示區域資訊的附加資訊。

並行化設計

  當前晶片架構已經從單核效能逐漸往多核並行方向發展,因此為了適應並行化程度非常高的晶片實現,HEVC/H265引入了很多並行運算的優化思路, 主要包括以下幾個方面:

  (1)     Tile

  如圖3所示,用垂直和水平的邊界將影象劃分為一些行和列,劃分出的矩形區域為一個Tile,每一個Tile包含整數個LCU(Largest Coding Unit), Tile之間可以互相獨立,以此實現並行處理:

\

圖3 Tile劃分示意圖

  (2)     Entropy slice

  Entropy Slice允許在一個slice內部再切分成多個Entropy Slices,每個Entropy Slice可以獨立的編碼和解碼,從而提高了編解碼器的並行處理能力: 

\

圖4 每一個slice可以劃分為多個Entropy Slice

  (3)     WPP(Wavefront Parallel Processing)

  上一行的第二個LCU處理完畢,即對當前行的第一個LCU的熵編碼(CABAC)概率狀態引數進行初始化,如圖5所示。因此,只需要上一行的第二個LCU編解碼完畢,即可以開始當前行的編解碼,以此提高編解碼器的並行處理能力:

\

圖5 WPP示意圖

  H.264中已有特性的改進

  相對於H.264,H.265標準的演算法複雜性有了大幅提升,以此獲得較好的壓縮效能。H.265在很多特性上都做了較大的改進,如表2所示:

\

表2  H.264和H.265關鍵特性對比

  HEVC(H.265)技術應用前景展望

  H.265標準是在H.264標準的基礎上發展起來的,結合H.264在視訊應用領域的主流地位可以預見H.265協議在未來廣大的發展前景。

  世界的一些主流電視組織以及媒體運營商已經選擇H.264作為媒體格式標準,一些主要的編解碼裝置廠商也一直積極參與到H.265標準的研究當中。華為是ITU-T視訊標準的主要Reporter(報告人)和Editor(編輯者)。作為國際電信聯盟(ITU-T)成員單位,華為牽頭並參與制訂了多項國家標準和行業、企業標準。在H.265協議制定期間,華為提交了多項相關提案、建議,並提供了非常典型的應用場景測試序列,得到ITU-T的高度認可和接納。華為提供的ChinaSpeed序列已經被標準組織採納作為Class F的標準測試序列。

  隨著晶片處理能力越來越強,演算法複雜性對應用的影響因素越來越小。相反,在演算法實時通訊應用以及IPTV應用中,業務的不斷擴充套件和需求的增加使得有限的頻寬資源逐漸成為瓶頸,高壓縮率的編碼是解決這一難題的有效技術手段,這也為H.265在基於IP進行流媒體服務領域的應用奠定了堅實的基礎。目前很多電信運營商使用H.264標準作為其媒體格式,也有很多廠商推出了基於H.264標準的機頂盒以及基於H.264標準的視訊會議解決方案。

  華為作為全球領先的電信解決方案供應商,是國內目前最大的視訊會議研發機構,從1993年華為正式推出ViewPoint系列視訊會議產品以來,已經發布了五代視訊會議產品,在視訊通訊領域目前獲得600多項專利受理,其中國際專利100多項。華為能夠提供全系列的視訊會議產品,包括智真視訊會議系統、高清視訊會議系統、標清視訊會議系統以及基於IPTV的解決方案。根據Frost& Sullivan諮詢報告,2011年華為視訊會議解決方案市場佔有率全球排名前三,智真的市場佔有率全球排名第二。華為作為研究HEVC的第一梯隊企業,密切關注H.265標準的發展,並將率先推出H.265相關的視訊產品。

  結束語

  HEVC(H.265)標準預計2013年2月釋出正式版本,由於其在壓縮效率、並行處理能力以及網路適應性方面的極大改進,它的發展和應用必將把視訊編解碼理論和應用推向一個新的高度。