阿里雲視訊雲直播轉碼每天都會處理大量的不同場景、不同編碼格式的直播流。為了保證高畫質，團隊藉助VMAF標準來對每路轉碼的效果做質量評估，然後進行反饋、調優、迭代。這麼做的原因在於，像動作片、紀錄片、動畫片、體育賽事這些場景，影響畫質的因素各不相同，基於VMAF的視訊質量反饋機制，可以在保證畫質的前提下，對不同的場景做針對性優化，達到畫質最優、成本最低的效果。本文由阿里雲視訊雲高階開發工程師楊洋撰寫，旨在分享VMAF的核心模組與技術實踐。

背景

影象質量的衡量是個老問題，對此人們提出過很多簡單可行的解決方案。例如均方誤差（Mean-squared-error，MSE）、峰值信噪比（Peak-signal-to-noise-ratio，PSNR）以及結構相似性指數（Structural Similarity Index，SSIM），這些指標最初都是被用於衡量影象質量的，隨後被擴充套件到視訊領域。這些指標通常會用在編碼器（“迴圈”）內部，可用於對編碼決策進行優化並估算最終編碼後視訊的質量。但是由於這些演算法衡量標準單一，缺乏對畫面前後序列的總體評估，導致計算的結果很多情況下與主觀感受並不相符。

VMAF 介紹

VMAF(Video Multimethod Assessment Fusion)由Netflix開發並開源在Github上，基本想法在於，面對不同特徵的源內容、失真型別，以及扭曲程度，每個基本指標各有優劣。通過使用機器學習演算法(SVM)將基本指標“融合”為一個最終指標，可以為每個基本指標分配一定的權重，這樣最終得到的指標就可以保留每個基本指標的所有優勢，藉此可得出更精確的最終分數。Netfix使用主觀實驗中獲得的意見分數對這個機器學習模型進行訓練和測試。VMAF主要使用了3種指標：visual quality fidelity（VIF）、detail loss measure（DLM）、temporal information（TI）。其中VIF和DLM是空間域的也即一幀畫面之內的特徵，TI是時間域的也即多幀畫面之間相關性的特徵。這些特性之間融合計算總分的過程使用了訓練好的SVM來預測。工作流程如圖：

VMAF 核心模組

VMAF基於SVM的nuSvr演算法，在執行的過程中，根據事先訓練好的model，賦予每種視訊特徵以不同的權重。對每一幀畫面都生成一個評分，最終以均值演算法進行歸總（也可以使用其他的歸總演算法），算出該視訊的最終評分。其中主要的幾個核心模組如下：

VMAF分別用python和C++實現了兩套介面，同時提供了C版本的lib庫，最新版本的ffmpeg已經將vmaf作為一個filter整合進去。下面我們分析下各個模組的作用：

• Asset

一個Asset單元，包含了一個正在執行的任務資訊。比如目標視訊與原始視訊的幀範圍，低解析度視訊幀上取樣資訊等（VMAF會在特徵提取前通過上取樣的方式保證兩個視訊解析度相同）。

• Executor

Executor會取走並計算Asset連結串列中每一個Asset單元，將執行結果返回到一個Results連結串列中。Executor類是FeatureExtractor與QualityRunner的基類。它提供了一些基函式，包括Results的操作函式、FIFO管道函式、clean函式等。

• Result

Result是以key-value形式，將Executor執行的結果儲存起來。key儲存的是“FrameNum”或者質量分數的型別（VMAF_feature_vif_scale0_score或VMAF_feature_vif_scale1_score等），value儲存的是一系列分值組成的連結串列。

Result類也提供了一個彙總工具，將每個單元的質量分數彙總成一個值。預設的彙總演算法是“均值演算法”，但是Result.set_score_aggregate_method()方法允許定製其他的演算法。

• ResultStore

ResultStore類提供了Result資料集的儲存、載入的能力。

• FeatureExtractor

FeatureExtractor是Extractor子類，專門用於從Asset集合中提取特徵，作為基本的特徵提取類。任何具體的特徵提取介面，都繼承自FeatureExtractor，例如VmafFeatureExtractor/PsnrFeatureExtractor/SsimFeatureExtractor等。

• FeatureAssembler

FeatureAssembler是一個聚合類，通過在建構函式傳入feature_dict引數，指定具體的特徵提取標準，將該標準提取出的特徵結果聚合，輸出到一個BasicResult物件中。FeatureAssembler被QualityRunner呼叫，用來將提取後的特徵陣列傳給TrainTestModel使用。

• TrainTestModel

TrainTestModel是任何具體的迴歸因子介面的基類，迴歸因子必須提供一個train()方法去訓練資料集，predict()方法去預測資料集，以及to_file(),frome_file()方法去儲存、載入訓練好的模型。
迴歸方程的超引數必須通過TrainTestModel的建構函式傳入。TrainTestModel類提供了一些基礎方法，例如歸一化、反歸一化、評估預測效能。

• CrossValidation

CrossValidation提供了一組靜態方法來促進TrainTestModel訓練結果的驗證。因此，它還提供了搜尋TrainTestModel最優超參的方法。

• QualityRunner

QualityRunner是Executor子類，用來評估Asset任務集合的畫質分數。任何用於生成最終質量評分的介面都應該繼承QualityRunner。例如跑vmaf標準的VmafQualityRunner，跑psnr標準的PsnrQualityRunner都是QualityRunner的子類。

自定義VMAF

最新版本的vmaf提供了1080p、4k、mobilephone三種場景下的model檔案。Netflix號稱使用了海量的、多解析度、多位元速率視訊素材（高噪聲視訊、CG動漫、電視劇）作為資料集，得到的這三組model。在日常使用中，這三組model基本滿足需求了。不過，VMAF提供了model訓練工具，可以用於訓練私有model。

建立新的資料集

首先，按照dataset格式，定義資料集檔案，比如定義一個

example_dataset.py:
dataset_name = 'example_dataset'
yuv_fmt = 'yuv420p'
width = 1920
height = 1080
ref_videos = [
{'content_id': 0,
'content_name': 'BigBuckBunny',
'path': ref_dir + '/BigBuckBunny_25fps.yuv'}
...
]
dis_videos = [{'asset_id': 0,
'content_id': 0,
'dmos': 100.0,
'path': ref_dir + '/BigBuckBunny_25fps.yuv',
}
...
]

ref_video是比對視訊集，dis_video是訓練集。每個訓練集樣本視訊都有一個主觀評分DMOS，進行主觀訓練。SVM會根據DMOS做有監督學習，所以DMOS直接關係到訓練後model的準確性。

PS: 將所有觀察者針對每個樣本視訊的分數彙總在一起計算出微分平均意見分數（Differential Mean Opinion Score）即DMOS，並換算成0-100的標準分，分數越高表示主觀感受越好。

驗證資料集

./run_testing quality_type test_dataset_file [--vmaf-model optional_VMAF_model_path] [--cache-result] [--parallelize]

資料集建立後，用現有的VMAF或其他指標(PSNR,SSIM)驗證資料集是否正確，驗證無誤後才能訓練。

訓練新的模型

驗證完資料集沒問題後，便可以基於資料集，訓練一個新的質量評估模型。

./run_vmaf_training train_dataset_filepath feature_param_file model_param_file output_model_file [--cache-result] [--parallelize]
例如，
./run_vmaf_training example_dataset.py resource/feature_param/vmaf_feature_v2.py resource/model_param/libsvmnusvr_v2.py workspace/model/test_model.pkl --cache-result --parallelize
feature_param_file 定義了使用那些VMAF特徵屬性。例如，
feature_dict = {'VMAF_feature':'all', } 或 feature_dict = {'VMAF_feature':['vif', 'adm'], }

model_param_file 定義了迴歸量的型別和使用的引數集。當前版本的VMAF支援nuSVR和隨機森林兩種機器演算法，預設使用的nuSVR。
output_model_file 是新生成的model檔案。

交叉驗證

vmaf提供了run_vmaf_cross_validation.py工具用於對新生成的model檔案做交叉驗證。

自定義特徵和迴歸因子

vmaf具有很好的可擴充套件性，不僅可以訓練私有的model，也可以定製化或插入第三方的特徵屬性、SVM迴歸因子。

通過feature_param_file型別檔案，支援自定義或插入第三方特徵，需要注意的是所有的新特徵必須要是FeatureExtractor子類。類似的，也可以通過param_model_file型別檔案，自定義或插入一個第三方的迴歸因子。同樣需要注意的是，所有建立的新因子，必須是TrainTestModel子類。

由於Netflix沒有開放用於訓練的資料集，個人覺得，受制於資料集DMOS準確性、資料集樣本的量級等因素，通過自建資料集訓練出普適的model還是挺不容易滴~

最後，附上VMAF Github地址：https://github.com/Netflix/vmaf