1. 程式人生 > >行人重識別簡介(Person ReID)

行人重識別簡介(Person ReID)

一、簡介

  • 行人重識別,也被稱為 ReID(Person Re-identification),是希望能夠利用計算機視覺的演算法來進行 跨攝像頭的追蹤,也就是找到不同攝像頭下的同一個人,這也是影象檢索的一個子問題

  • 多個攝像頭下拍攝行人的角度不同,影象中的行人可能72變。所以要正確判斷的話,就要找到行人上的區域性不變的part(比如:衣服顏色,衣服紋理,手提包,揹包等等)下圖為 DukeMTMC-reID 資料集的 retrieval demo

    • 左邊的 query 就是要查詢的某個人,右邊的 gallery 就是所有的人,我們需要從 gallery 裡面找到 query 的人
    • 綠色的框表示同一個人,紅色的框表示不同的人
      這裡寫圖片描述
  • 能不能用人臉識別來做重識別?

    • 因為攝像頭的距離比較遠,所以人的影象都比較模糊,沒有辦法通過人臉來定位
    • 廣泛存在後腦勺和側臉的情況,做正臉的人臉識別難
  • 有些人靠衣服的顏色就可以判斷出來了,還需要行人重識別麼?

    • 首先,衣服顏色確實是行人重識別做出判斷一個重要因素,但光靠顏色是不足的。
    • 其次,攝像頭之間是有色差,並且會有光照的影響
    • 最後,有撞衫(顏色相似)的人怎麼辦,要找細節,但比如顏色直方圖這種統計的特徵就把細節給忽略了。

二、評價指標

  • ReID 模型的好壞,目前有兩個比較常用的指標,一個是 Top1,一個是 mAP

    • Top1 表示首位命中的概率,我們會將 query 和 gallery 依次算一個距離(提取特徵後計算)然後根據距離排序,判斷一下 gallery 首位的圖有沒有命中 query,Top5 表示 1 - 5張圖片面至少有一張命中。
    • mAP 表示平均精度均值,我們可以用下面這張圖片來形象的說明 mAP 是如何計算的?
      這裡寫圖片描述
  • 餘弦距離(越小越相似,020 \sim 2
    在這裡插入圖片描述

三、測試方法

  • 用 ReID model 做預測就非常簡單,就去掉最後的全連線層,然後用網路提取 feature,最後算 query 和 gallery 所有圖片 feature 之間的距離,根據距離去算 Top1 和 mAP 就可以得到最後的效果

四、參考資料