背景
圖像質量的衡量是個老問題，對此人們提出過很多簡單可行的解決方案。例如均方誤差（Mean-squared-error，MSE）、峰值信噪比（Peak-signal-to-noise-ratio，PSNR）以及結構相似性指數（Structural Similarity Index，SSIM），這些指標最初都是被用於衡量圖像質量的，隨後被擴展到視頻領域。這些指標通常會用在編碼器（“循環”）內部，可用於對編碼決策進行優化並估算最終編碼後視頻的質量。但是由於這些算法衡量標準單一，缺乏對畫面前後序列的總體評估，導致計算的結果很多情況下與主觀感受並不相符。

VMAF 介紹
VMAF(Video Multimethod Assessment Fusion)由Netflix開發並開源在Github上，基本想法在於，面對不同特征的源內容、失真類型，以及扭曲程度，每個基本指標各有優劣。通過使用機器學習算法(SVM)將基本指標“融合”為一個最終指標，可以為每個基本指標分配一定的權重，這樣最終得到的指標就可以保留每個基本指標的所有優勢，借此可得出更精確的最終分數。Netfix使用主觀實驗中獲得的意見分數對這個機器學習模型進行訓練和測試。VMAF主要使用了3種指標：visual quality fidelity（VIF）、detail loss measure（DLM）、temporal information（TI）。其中VIF和DLM是空間域的也即一幀畫面之內的特征，TI是時間域的也即多幀畫面之間相關性的特征。這些特性之間融合計算總分的過程使用了訓練好的SVM來預測。工作流程如圖：

VMAF 核心模塊
VMAF基於SVM的nuSvr算法，在運行的過程中，根據事先訓練好的model，賦予每種視頻特征以不同的權重。對每一幀畫面都生成一個評分，最終以均值算法進行歸總（也可以使用其他的歸總算法），算出該視頻的最終評分。其中主要的幾個核心模塊如下：

VMAF分別用python和C++實現了兩套接口，同時提供了C版本的lib庫，最新版本的ffmpeg已經將vmaf作為一個filter集成進去。下面我們分析下各個模塊的作用：

? Asset
一個Asset單元，包含了一個正在執行的任務信息。比如目標視頻與原始視頻的幀範圍，低分辨率視頻幀上采樣信息等（VMAF會在特征提取前通過上采樣的方式保證兩個視頻分辨率相同）。

? Executor
Executor會取走並計算Asset鏈表中每一個Asset單元，將執行結果返回到一個Results鏈表中。Executor類是FeatureExtractor與QualityRunner的基類。它提供了一些基函數，包括Results的操作函數、FIFO管道函數、clean函數等。

? Result
Result是以key-value形式，將Executor執行的結果存儲起來。key存儲的是“FrameNum”或者質量分數的類型（VMAF_feature_vif_scale0_score或VMAF_feature_vif_scale1_score等），value存儲的是一系列分值組成的鏈表。

Result類也提供了一個匯總工具，將每個單元的質量分數匯總成一個值。默認的匯總算法是“均值算法”，但是Result.set_score_aggregate_method()方法允許定制其他的算法。

? ResultStore
ResultStore類提供了Result數據集的存儲、加載的能力。

? FeatureExtractor
FeatureExtractor是Extractor子類，專門用於從Asset集合中提取特征，作為基本的特征提取類。任何具體的特征提取接口，都繼承自FeatureExtractor，例如VmafFeatureExtractor/PsnrFeatureExtractor/SsimFeatureExtractor等。

? FeatureAssembler
FeatureAssembler是一個聚合類，通過在構造函數傳入feature_dict參數，指定具體的特征提取標準，將該標準提取出的特征結果聚合，輸出到一個BasicResult對象中。FeatureAssembler被QualityRunner調用，用來將提取後的特征數組傳給TrainTestModel使用。

? TrainTestModel
TrainTestModel是任何具體的回歸因子接口的基類，回歸因子必須提供一個train()方法去訓練數據集，predict()方法去預測數據集，以及to_file(),frome_file()方法去保存、加載訓練好的模型。
回歸方程的超參數必須通過TrainTestModel的構造函數傳入。TrainTestModel類提供了一些基礎方法，例如歸一化、反歸一化、評估預測性能。

? CrossValidation
CrossValidation提供了一組靜態方法來促進TrainTestModel訓練結果的驗證。因此，它還提供了搜索TrainTestModel最優超參的方法。

? QualityRunner
QualityRunner是Executor子類，用來評估Asset任務集合的畫質分數。任何用於生成最終質量評分的接口都應該繼承QualityRunner。例如跑vmaf標準的VmafQualityRunner，跑psnr標準的PsnrQualityRunner都是QualityRunner的子類。

自定義VMAF
最新版本的vmaf提供了1080p、4k、mobilephone三種場景下的model文件。Netflix號稱使用了海量的、多分辨率、多碼率視頻素材（高噪聲視頻、CG動漫、電視劇）作為數據集，得到的這三組model。在日常使用中，這三組model基本滿足需求了。不過，VMAF提供了model訓練工具，可以用於訓練私有model。

創建新的數據集
首先，按照dataset格式，定義數據集文件，比如定義一個

example_dataset.py:
dataset_name = ‘example_dataset‘
yuv_fmt = ‘yuv420p‘
width = 1920
height = 1080
ref_videos = [
{‘content_id‘: 0,
‘content_name‘: ‘BigBuckBunny‘,
‘path‘: ref_dir + ‘/BigBuckBunny_25fps.yuv‘}
...
]
dis_videos = [{‘asset_id‘: 0,
‘content_id‘: 0,
‘dmos‘: 100.0,
‘path‘: ref_dir + ‘/BigBuckBunny_25fps.yuv‘,
}
...
]

ref_video是比對視頻集，dis_video是訓練集。每個訓練集樣本視頻都有一個主觀評分DMOS，進行主觀訓練。SVM會根據DMOS做有監督學習，所以DMOS直接關系到訓練後model的準確性。

PS: 將所有觀察者針對每個樣本視頻的分數匯總在一起計算出微分平均意見分數（Differential Mean Opinion Score）即DMOS，並換算成0-100的標準分，分數越高表示主觀感受越好。

驗證數據集
./run_testing quality_type test_dataset_file [--vmaf-model optional_VMAF_model_path] [--cache-result] [--parallelize]

數據集創建後，用現有的VMAF或其他指標(PSNR,SSIM)驗證數據集是否正確，驗證無誤後才能訓練。

訓練新的模型
驗證完數據集沒問題後，便可以基於數據集，訓練一個新的質量評估模型。

./run_vmaf_training train_dataset_filepath feature_param_file model_param_file output_model_file [--cache-result] [--parallelize]
例如，
./run_vmaf_training example_dataset.py resource/feature_param/vmaf_feature_v2.py resource/model_param/libsvmnusvr_v2.py workspace/model/test_model.pkl --cache-result --parallelize
feature_param_file 定義了使用那些VMAF特征屬性。例如，
feature_dict = {‘VMAF_feature‘:‘all‘, } 或 feature_dict = {‘VMAF_feature‘:[‘vif‘, ‘adm‘], }

model_param_file 定義了回歸量的類型和使用的參數集。當前版本的VMAF支持nuSVR和隨機森林兩種機器算法，默認使用的nuSVR。
output_model_file 是新生成的model文件。

交叉驗證
vmaf提供了run_vmaf_cross_validation.py工具用於對新生成的model文件做交叉驗證。

自定義特征和回歸因子
vmaf具有很好的可擴展性，不僅可以訓練私有的model，也可以定制化或插入第三方的特征屬性、SVM回歸因子。

通過feature_param_file類型文件，支持自定義或插入第三方特征，需要註意的是所有的新特征必須要是FeatureExtractor子類。類似的，也可以通過param_model_file類型文件，自定義或插入一個第三方的回歸因子。同樣需要註意的是，所有創建的新因子，必須是TrainTestModel子類。

由於Netflix沒有開放用於訓練的數據集，個人覺得，受制於數據集DMOS準確性、數據集樣本的量級等因素，通過自建數據集訓練出普適的model還是挺不容易滴~

視頻質量評測標準——VMAF