目錄

• 一、亮點
• 二、網路
• 三、Mask 及其融合
• 四、結論

一、亮點

提出 partition-masked Convolutin Neural Network (CNN) ，用以提升 HEVC 壓縮視訊的質量。
其亮點在於：該網路利用編碼端提供的塊分割資訊，在解碼端進行質量增強。

而現存的質量提升方法中，大多要麼只在編碼端（環路濾波器），要麼只在解碼端（ 一般 CNN 方法）。

However, existing works only consider the appearance of input coding units
(CUs) or frames, while the partition variations in different CUs and frames are neglected.

塊分割資訊，實際上暗示了 visual compression artifacts 的來源。因此塊分割資訊可以用於質量增強。

In practice, since the partition information (e.g., 1616, 88) is introduced by the blockwise processing and quantization of HEVC, this indicates the source of visual compression artifacts.

Thus, we use the partition information to effectively guide the quality enhancement process performed by CNN.

Since the block-wise transform and quantization are performed in HEVC during encoding, the quality degradation of compressed frames is highly related to the coding unit splitting.

Thus, the partition information contains useful clues for eliminating the artifacts present during the encoding.

二、網路

塊分割資訊，經過 mask generation 後，得到 mask 。
mask 和待增強的幀分別進行特徵提取，再融合，最終生成“質量更高”的幀。

其 CNN 網路如圖：

這個網路看圖很好懂，不復雜。作者還強調了其中殘差網路的深度，使其可以學到更多有意義的資訊。

三、Mask 及其融合

作為本文的第二個貢獻，作者首先提出並對比了兩種 mask 。
第一種是 Mean-based mask ，第二種是 Boundary-based mask ，如圖。

在邊界 mask 中，邊界寬度為2，用 1 填滿；其餘部分為 0 。
沒有太多的說道。唯一的說法是：由於 mask 的塊之間差異很大，因此可以借鑑許多有意義的資訊？

其次，作者提出了 3 種融合方式：

1. 分別經過 CNN ，得到各自的 feature map 再相加，即 Add-based fusion
2. 在輸入 CNN 前，作為不同的通道相加，再輸入 CNN ，即 Concatenate-based fusion
3. 類似於第一種方式，但由於 mask 資訊量較少，因此對 mask 只做 3 層卷積，稱為 Early fusion

在20個標準測試序列上的實驗結果表面，MM + AF 效果最優。

四、結論

本文基本沒有數學，但利用塊分割資訊進行解碼端質量增強的思路值得借鑑。