基於深度學習的圖像語義分割技術概述之5.1度量標準
本文為論文閱讀筆記，不當之處，敬請指正。
A Review on Deep Learning Techniques Applied to Semantic Segmentation:原文鏈接
5.1度量標準
為何需要語義分割系統的評價標準？
- 為了衡量分割系統的作用及貢獻，其性能需要經過嚴格評估。並且，評估須使用標準、公認的方法以保證公平性。
- 系統的多個方面需要被測試以評估其有效性，包括：執行時間、內存占用、和精確度。
- 由於系統所處背景及測試目的的不同，某些標準可能要比其他標準更加重要，例如，對於實時系統可以損失精確度以提高運算速度。而對於一種特定的方法，盡量提高所有的度量性能是必須的。
5.1.1 執行時間
速度或運行時間是一個非常有價值的度量，因為大多數系統需要保證推理時間可以滿足硬實時的需求。某些情況下，知曉系統的訓練時間是非常有用的，但是這通常不是非常明顯，除非其特別慢。在某種意義上說，提供方法的確切時間可能不是非常有意義，因為執行時間非常依賴硬件設備及後臺實現，致使一些比較是無用的。
然而，出於重用和幫助後繼研究人員的目的，提供系統運行的硬件的大致描述及執行時間是有用的。這可以幫助他人評估方法的有效性，及在保證相同環境測試最快的執行方法。
5.1.2 內存占用
內存是分割方法的另一個重要的因素。盡管相比執行時間其限制較松，內存可以較為靈活地獲得，但其仍然是一個約束因素。在某些情況下，如片上操作系統及機器人平臺，其內存資源相比高性能服務器並不寬裕。即使是加速深度網絡的高端圖形處理單元（GPU），內存資源也相對有限。以此來看，在運行時間相同的情況下，記錄系統運行狀態下內存占用的極值和均值是及其有價值的。
5.1.3 精確度
圖像分割中通常使用許多標準來衡量算法的精度。這些標準通常是像素精度及IoU的變種，以下我們將會介紹常用的幾種逐像素標記的精度標準。為了便於解釋，假設如下：共有k+1個類（從L0到Lk，其中包含一個空類或背景），pij表示本屬於類i但被預測為類j的像素數量。即，pii表示真正的數量，而pij pji則分別被解釋為假正和假負，盡管兩者都是假正與假負之和。
- Pixel Accuracy(PA，像素精度)：這是最簡單的度量，為標記正確的像素占總像素的比例。
PA=∑ki=0pii∑ki=0∑kj=0pij - Mean Pixel Accuracy(MPA，均像素精度)：是PA的一種簡單提升，計算每個類內被正確分類像素數的比例，之後求所有類的平均。
MPA=1k+1∑i=0kpii∑kj=0pij -
Mean Intersection over Union(MIoU，均交並比)：為語義分割的標準度量。其計算兩個集合的交集和並集之比，在語義分割的問題中，這兩個集合為真實值（ground truth）和預測值（predicted segmentation）。這個比例可以變形為正真數（intersection）比上真正、假負、假正（並集）之和。在每個類上計算IoU，之後平均。
MIoU=1k+1∑i=0kpii∑kj=0pij+∑kj=0pji?pii -
Frequency Weighted Intersection over Union(FWIoU，頻權交並比):為MIoU的一種提升，這種方法根據每個類出現的頻率為其設置權重。
FWIoU=1∑ki=0∑kj=0pij∑i=0kpii∑kj=0pij+∑kj=0pji?pii
在以上所有的度量標準中，MIoU由於其簡潔、代表性強而成為最常用的度量標準，大多數研究人員都使用該標準報告其結果。
直觀理解
如下圖所示，橢圓A代表真實值，橢圓B代表預測值。橙色部分為A與B的交集，即真正（預測為1，真實值為1）的部分，綠色部分表示假負（預測為0，真實為1）的部分，黃色表示假正（預測為1，真實為0）的部分，兩個橢圓之外的白色區域表示真負（預測為0，真實值為0）的部分。表示綠色+橙色+黃色為A與B的並集。
- MP計算橙色與（橙色與黃色）的比例。
- MIoU計算的是計算A與B的交集（橙色部分）與A與B的並集（綠色+橙色+黃色）之間的比例，在理想狀態下A與B重合，兩者比例為1 。
基於深度學習的圖像語義分割技術概述之5.1度量標準