1. 程式人生 > >行人重識別簡介+資料集+核心論文點

行人重識別簡介+資料集+核心論文點

 

1、行人重識別是什麼?

行人重識別(Person re-identification)也稱行人再識別,是利用計算機視覺技術判斷影象或者視訊序列中是否存在特定行人的技術。廣泛被認為是一個影象檢索的子問題。 給定一個監控行人影象,檢索跨裝置下的該行人影象。旨在彌補目前固定的攝像頭的視覺侷限,並可與行人檢測/行人跟蹤技術相結合 ,可廣泛應用於智慧視訊監控、智慧安保等領域。

        行人再識別(Person Re-Identification,簡稱 ReID),從字面意思理解就是對行人進行重新識別,是對不同的、沒有視野重疊覆蓋的(non-overlapping)攝像機拍攝的行人影象建立對應關係的處理過程。當攝像頭拍攝範圍之間不存在重疊時,由於沒有了連續資訊,檢索難度也隨之增大非常多。因此,行人再識別強調的是在跨攝像機的視訊中對特定行人進行檢索。

注:影象檢索分為兩種,一種是基於文字的影象檢索,另一種是基於內容的影象檢索。基於內容的影象檢索(Content-based Image Retrieval,簡稱CBIR)技術是對影象的內容語義,如影象的顏色、紋理、佈局等進行分析和檢索的影象檢索技術。

基本概述:在檢索原理上,無論是基於文字的影象檢索還是基於內容的影象檢索,主要包括三方面:一方面對使用者需求的分析和轉化,形成可以檢索索引資料庫的提問;另一方面,收集和加工影象資源,提取特徵,分析並進行標引,建立影象的索引資料庫;最後一方面是根據相似度演算法,計算使用者提問與索引資料庫中記錄的相似度大小,提取出滿足閾值的記錄作為結果,按照相似度降序的方式輸出。 [2] 

2、行人重識別能用來做什麼?

行人再識別(ReID)在公共安防的刑偵工作中以及影象檢索等場景中有很高的應用價值。除此之外,ReID還可以幫助手機使用者實現相簿聚類、幫助零售或商超經營者獲取有效的顧客軌跡、挖掘商業價值。也可以追蹤失蹤兒童,罪犯,小偷/保護vip等。

 

3、與行人重識別有關的問題

3.1  ReID的難點

由於影象拍攝的時間、地點隨機,且光線、角度、姿態不同,再加上行人容易受到檢測精度、遮擋等因素的影響, ReID的研究工作非常具有挑戰性。

3.2 行人重識別 和 人臉識別 有什麼不同?

  • 行人重識別 是用一個攝像頭下的照片 去認其他攝像頭下是否再次出現了這個人。需處理攝像頭的viewpoint變化,行人的姿態變化等。
  • 人臉識別 是給定pair,去識別是不是同一個人,或者找到照片庫中見過的人。
  • 行人和人臉一樣具有結構,但行人結構更復雜一些,部件更多,不容易對齊。
  • 大型行人資料集難以獲得,不像人臉可以扒名人。現有行人重識別資料集(DukeMTMC-reID,CUHK03,Market-1501等等)都是在校園中實際用攝像頭錄的。而早期的小資料集(Viper等)已無法提供全面評估,逐漸少用。
  • 行人重識別落地的產品很少, 而人臉識別的大量應用已經落地
  •  

3.3 行人重識別能不能用人臉識別做重識別?

理論上是可以的。但是有兩個原因導致人臉識別較難應用:首先,廣泛存在後腦勺和側臉的情況,做正臉的人臉識別難。其次,攝像頭拍攝的畫素可能不高,尤其是遠景攝像頭裡麵人臉截出來很可能都沒有32x32的畫素。所以人臉識別在實際的重識別應用中很可能有限。

3.4 有些人靠衣服的顏色就可以判斷出來了,還需要行人重識別麼?

衣服顏色確實是行人重識別 做出判斷一個重要因素,但光靠顏色是不足的。首先,攝像頭之間是有色差,並且會有光照的影響。其次,有撞衫(顏色相似)的人怎麼辦,要找細節,但比如顏色直方圖這種統計的特徵就把細節給忽略了。(顏色直方圖的缺點:統計特徵粗糙,忽視細節處理)在多個數據集上的測試表明,光用顏色特徵是難以達到50%的top1正確率的。

3.5 使用影象檢索的指標來衡量行人重識別的結果是否合適?

在早期,行人重識別資料集是由兩個攝像頭採集的比如viper,每個query只有一個正確的retrieval目標。所以往往使用top1比較。但在近期,隨著大資料集的提出,資料集中往往包含多個攝像頭的多個正確目標。光使用top1的話,不能反應模型的真實能力。所以類似影象檢索,重識別加入了mAP作為衡量標準,將top2,top3...topn都考慮進去。

3.6 如何處理多攝像頭下影象中行人變化問題?

多個攝像頭下拍攝行人的角度不同,影象中的行人可能72變。(如圖1)所以要正確判斷的話,就要找到行人上的區域性不變的part(比如:衣服顏色,衣服紋理,手提包,揹包等等)。在計算機視覺中,常用的特徵就有顏色直方圖等等

圖1 (DukeMTMC-reID 資料集的retrieval demo)

3.7 如何進行測試?

主要有兩種方案:

a.測試的輸入是一對行人,輸出為這對行人的相似度,然後再按相似度排序;

b.輸入單個人,提取特徵,再計算與其他人的歐式距離,然後再按距離排序。

第一種方案的優點是,判斷兩個人是不是一個人,簡單的二分類(是/否)。但缺點是如果我們搜尋庫中有m張圖片,那麼與目標圖片組成m對圖片對。每一對都要進一次模型,估算相似度,這極大的增加了測試的時間。如果我們有n個query,那麼我們要計算nm次相似度(而m往往很大)。另一種方案是,預先提取行人的特徵,我們只要預先提好n+m次特徵。之後只要比較就好了,比較特徵可以簡單的用矩陣乘法實現。

目前兩種方案都有在用,但是後一種更接近實際中影象搜尋的要求,用特徵來快速檢索。

3.8 科研中的方案

概括得不全,比較直接和簡要的想法有以下兩種(主要在神經網路上實現):

1. Part匹配:一部分一部分來比較。

a.常見方案是水平切條,就是將影象切為幾個水平的條。由於人體身材往往差不多,所以可以用簡單的水平條來做一一比較 [1,2,3,4]。

b.在領域中做匹配,採用的是一個正方形的領域 [6]。

c.另一個較新的方案是先在人體上檢測部件(手,腿,軀幹等等)再進行匹配,這樣的話可以減少位置的誤差,但可能引入檢測部件的誤差 [7,8]。

d. 類似LSTM的attention匹配,但必須pair輸入,測試時間較長。[5,10]

 

2.Loss設計:常見的幾種學習特徵表達的loss

a. identification loss 直接拿身份label做多類分類 [9]

 

b.verification loss [2,3,5,6] (主要是contrastive loss。[3, 6]中採用的是二分類loss)

c. identification loss + verification loss [11,12]

d. triplet loss [10,13,14]

e. 加入輔助任務 比如使用attribute等等 [15],

f. 資料增強 混合多資料集訓練 [16] ,加入訓練集上GAN生成的資料 [17].

目前有一些公開的程式碼,可詳見之前的知乎回答:有哪些行人重識別公開程式碼 做了一些彙總。

 

更多內容 關注 行人重識別 專欄

 

Reference

[1] Shengcai Liao, Yang Hu, Xiangyu Zhu, and Stan Z Li. 2015. Person re-identification by local maximal occurrence representation and metric http://learning.In CVPR.

[2] Dong Yi, Zhen Lei, Shengcai Liao, and Stan Z Li. 2014. Deep metric learning for person re-identification. In ICPR.

[3] Wei Li, Rui Zhao, Tong Xiao, and Xiaogang Wang. 2014. Deepreid: Deep filter pairing neural network for person re-identification. In CVPR.

[4] Rui Zhao, Wanli Ouyang, and Xiaogang Wang. 2013. Person re-identification by salience matching. In ICCV.

[5] Rahul Rama Varior, Mrinal Haloi, and Gang Wang. 2016. Gated siamese convolutional neural network architecture for human re-identification. In ECCV.

[6] Ejaz Ahmed, Michael Jones, and Tim K Marks. 2015. An improved deep learning architecture for person re-identification. In CVPR.

[7] Liang Zheng, Yujia Huang, Huchuan Lu, and Yi Yang. 2017. Pose Invariant Embedding for Deep Person Re-identication. arXiv:1701.07732.

[8] Dong Seon Cheng, Marco Cristani, Michele Stoppa, Loris Bazzani, and Vittorio Murino. 2011. Custom Pictorial Structures for Re-identification.. In BMVC.

[9] Liang Zheng, Yi Yang, and Alexander G Hauptmann. 2016. Person Re-identification: Past, Present and Future. arXiv:1610.02984

[10] Hao Liu, Jiashi Feng, Meibin Qi, Jianguo Jiang, and Shuicheng Yan. 2016. End-to-End Comparative Attention Networks for Person Re-identification. arXiv:1606.04404

 

[11] Zheng Z, Zheng L, Yang Y. A Discriminatively Learned CNN Embedding for Person Re-identification[J]. arXiv preprint arXiv:1611.05666, 2016.

[12] Mengyue Geng, Yaowei Wang, Tao Xiang, and Yonghong Tian. 2016. Deep Transfer Learning for Person Re-identification. arXiv:1603.06765

[13] Shengyong Ding, Liang Lin, Guangrun Wang, and Hongyang Chao. 2015. Deep feature learning with relative distance comparison for person re-identification. Pattern Recognition 48, 10 (2015), 2993–3003.

[14] Alexander Hermans, Lucas Beyer, and Bastian Leibe. 2017. In Defense of the Triplet Loss for Person Re-Identification. arXiv:1703.07737

[15] Yutian Lin, Liang Zheng, Zhedong Zheng, Yu Wu, and Yi Yang. 2017. Improving Person Re-identification by Attribute and Identity Learning. arXiv:1703.07220

[16] Tong Xiao, Hongsheng Li, Wanli Ouyang, and Xiaogang Wang. 2016. Learning deep feature representations with domain guided dropout for person reidentification. In CVPR.

[17] Zhedong Zheng, Liang Zheng, and Yi Yang. 2017. Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro. arXiv:1701.07717

注:3.2-3.7的參考文章地址:https://zhuanlan.zhihu.com/p/26168232

4 資料整理

4.1行人重識別常用 Large-scale 資料集

 

該資料集在杜克大學內採集,影象來自8個不同攝像頭。該資料集提供訓練集和測試集。 訓練集包含16,522張影象,測試集包含 17,661 張影象。訓練資料中一共有702人,平均每類(每個人)有23.5 張訓練資料。是目前最大的行人重識別資料集,並且提供了行人屬性(性別/長短袖/是否揹包等)的標註。DukeMTMC-reID 為 DukeMTMC資料集的行人重識別子集。原始資料集地址(http://vision.cs.duke.edu/DukeMTMC/) ,為行人跟蹤資料集。原始資料集包含了85分鐘的高解析度視訊,採集自8個不同的攝像頭。並且提供了人工標註的bounding box.

資料解釋: 我們從視訊中每120幀取樣一張影象,得到了 36,411張影象。一共有1,404個人出現在大於兩個攝像頭下,有408個人只出現在一個攝像頭下。所以我們隨機取樣了 702(是兩個攝像頭下人數的一半) 個人作為訓練集,702個人作為測試集。在測試集中,我們取樣了每個ID的每個攝像頭下的一張照片作為 查詢影象(query)。剩下的影象加入測試的 搜尋庫(gallery),並且將之前的 408人作為干擾項,也加到 gallery中。最終,DukeMTMC-reID 包含了 16,522張訓練圖片(來自702個人), 2,228個查詢影象(來自另外的702個人),以及 17,661 張影象的搜尋庫(gallery)。並提供切割後的影象供下載。

**影象命名規則為**

"0005_c2_f0046985.jpg", "0005" 代表行人的身份. "c2"代表這張影象來自第二個攝像頭. "f0046985" 代表來自攝像頭2的 第46985幀.另外,DukeMTMC-reID還提供了23種屬性資料標註 DukeMTMC-attribute供下載。https://github.com/vana77/DukeMTMC-attribute

  • Market-1501 (於清華校園 夏天拍攝 主要為清華學生)
  • 下載地址:  PRW, Mars: Liang Zheng's Homepage 

該資料集在清華大學校園中採集,影象來自6個不同的攝像頭,其中有一個攝像頭為低畫素。同時該資料集提供訓練集和測試集。 訓練集包含12,936張影象,測試集包含19,732 張影象。影象由檢測器自動檢測並切割,包含一些檢測誤差(接近實際使用情況)。訓練資料中一共有751人,測試集中有750人。所以在訓練集中,平均每類(每個人)有17.2張訓練資料。

  • CUHK03 (於香港中文大學拍攝 集中於地鐵站 光線稍暗)
  • 下載地址: CUHK01, 02, 03: Rui Zhao's Homepage 

該資料集在香港中文大學內採集,影象來自2個不同攝像頭。該資料集提供 機器檢測和手工檢測兩個資料集。 其中檢測資料集包含一些檢測誤差,更接近實際情況。平均每個人有9.6張訓練資料。

4.2 行人重識別需要看哪些論文?

     關於行人重識別綜述,推薦一下liang zheng 2016年的綜述: Past, Present and Future 寫了從傳統方法到深度學習,從圖片到視訊的行人重識別的方法。

 

正式接收的論文名單

Oral:

  1. Group Consistent Similarity Learning via Deep CRFs for Person Re-Identification Dapeng Chen, CUHK; Dan Xu, ; Hongsheng Li, ; Nicu Sebe, University of Trento, Italy; Xiaogang Wang, Chinese University of Hong Kong

Spotlight:

  1. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification, Longhui Wei, Peking University; Shiliang Zhang, Peking University; Wen Gao, ; Qi Tian [arXiv]
  2. Disentangled Person Image Generation,Liqian Ma, KU Leuven; Qianru Sun, MPI for Informatics; Stamatios Georgoulis, KU Leuven; Mario Fritz, MPI, Saarbrucken, Germany; Bernt Schiele, MPI Informatics Germany; Luc Van Gool, KU Leuven [arXiv]
  3. Unsupervised Person Image Synthesis in Arbitrary Poses, Albert Pumarola, IRI (CSIC-UPC); Antonio Agudo, IRI (CSIC-UPC); Alberto Sanfeliu, IRI (CSIC-UPC); Francesc Moreno-Noguer, Institut de Robotica i Informatica Industrial (UPC/CSIC)
  4. Good Appearance Features for Multi-Target Multi-Camera Tracking, Ergys Ristani, Duke University; Carlo Tomasi, Duke University

Poster:

  1. Diversity Regularized Spatiotemporal Attention for Video-based Person Re-identification, Shuang Li, The Chinese University of HK; Slawomir Bak, Disney Research; Peter Carr, Disney Research [arXiv]
  2. A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking,M. Saquib Sarfraz, KIT; Arne Schumann, KIT; Andreas Eberle, KIT; Rainer Stiefelhagen, Karlsruhe Institute of Technology[arXiv]
  3. Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification, Weijian Deng, University of Chinese Academy; Liang Zheng, University of Texas at San Ant; GUOLIANG KANG, UTS; Yi Yang, ; Qixiang Ye, ; Jianbin Jiao,[arXiv]
  4. Human Semantic Parsing for Person Re-identification, Mahdi Kalayeh, UCF; Emrah Basaran, ; Mubarak Shah, UCF
  5. Video Person Re-identification with Competitive Snippet-similarity Aggregation and Co-attentive Snippet Embedding Dapeng Chen, CUHK; Hongsheng Li, ; Tong Xiao, The Chinese University of HK; Shuai Yi, The Chinese University of Hong Kong; Xiaogang Wang, Chinese University of Hong Kong
  6. Mask-guided Contrastive Attention Model for Person Re-Identification, Chunfeng Song, CASIA; Yan Huang, ; Wanli Ouyang, ; Liang Wang, unknown
  7. Person Re-identification with Cascaded Pairwise Convolutions, Yicheng Wang, ; Zhenzhong Chen, Wuhan University; Feng Wu, ; Gang Wang,
  8. Multi-Level Factorisation Net for Person Re-Identification, Xiaobin Chang, Queen Mary Univ. of London; Timothy Hospedales, University of Edinburgh; Tao Xiang, Queen Mary University of London[arXiv]
  9. Attention-aware Compositional Network for Person Re-Identification, Jing Xu, SenseNets Technology Limited; Rui Zhao, SenseNets Technology Limited; Feng Zhu, SenseNets Technology Limited; Huaming Wang, SenseNets Technology Limited; Wanli Ouyang, The University of Sydney
  10. Deep Group-shuffling Random Walk for Person Re-identification, Yantao Shen, CUHK; Hongsheng Li, ; Tong Xiao, The Chinese University of HK; Shuai Yi, The Chinese University of Hong Kong; Dapeng Chen, CUHK; Xiaogang Wang, Chinese University of Hong Kong
  11. Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification, Jingya Wang, QMUL; Xiatian Zhu, Vision Semantics Ltd.; Shaogang Gong, Queen Mary University; Wei Li, Queen Mary University of Lond[arXiv]
  12. Harmonious Attention Network for Person Re-Identification,Wei Li, Queen Mary University of Lond; Xiatian Zhu, Vision Semantics Ltd.; Shaogang Gong, Queen Mary University[arXiv]
  13. Efficient and Deep Person Re-Identification using Multi-Level Similarity,Yiluan Guo, SUTD; Ngai-Man Cheung,[arXiv]
  14. Pose Transferrable Person Re-Identification,Jinxian Liu, Shanghai Jiao Tong University; Yichao Yan, Shanghai Jiao Tong University; Bingbing Ni, ; Peng Zhou, Sjtu; Shuo Cheng, SJTU; jianguo Hu, Minivision
  15. Adversarially Occluded Samples for Person Re-identification,Houjing Huang, CASIA; Dangwei Li, ; Zhang Zhang, ; Xiaotang Chen, ; Kaiqi Huang,
  16. Camera Style Adaptation for Person Re-identification,Zhun Zhong, Xiamen University; Liang Zheng, SUTD; Zhedong Zheng, UTS; Shaozi Li, ; Yi Yang, University of Technology, Sydney[arXiv]
  17. Exploit the Unknown Gradually:~ One-Shot Video-Based Person Re-Identification by Stepwise Learning,Yu Wu, University of technology sydne; Yutian Lin, ; Xuanyi Dong, UTS; Yan Yan, UTS; Wanli Ouyang, The University of Sydney; Yi Yang,
  18. Dual Attention Matching Network for Context-Aware Feature Sequence based Person Re-Identification,Jianlou Si, BUPT; Honggang Zhang, ; Chun-Guang Li, Beijing Univ. of Posts&Telecom; Jason Kuen, NTU, Singapore; Xiangfei Kong, Nanyang Technological University; Alex Kot, ; Gang Wang,[arXiv]
  19. Easy Identification from Better Constraints: Multi-Shot Person Re-Identification from Reference Constraints,Jiahuan Zhou, Northwestern University; Bing Su, Chinese Academy of Sciences; Ying Wu, Northwestern University, USA
  20. Eliminating Background-bias for Robust Person Re-identification,Maoqing Tian, Sensetime Limited; Shuai Yi, The Chinese University of Hong Kong; Hongsheng Li, ; Shihua Li, ; Xuesen Zhang, SenseTime; Jianping Shi, SenseTime; Junjie Yan, ; Xiaogang Wang, Chinese University of Hong Kong
  21. End-to-End Deep Kronecker-Product Matching for Person Re-identification,Yantao Shen, CUHK; Tong Xiao, The Chinese University of HK; Hongsheng Li, ; Shuai Yi, The Chinese University of Hong Kong; Xiaogang Wang, Chinese University of Hong Kong
  22. Exploiting Transitivity for Learning Person Re-identification Models on a Budget,Sourya Roy, UC Riverside ; Sujoy Paul, UC Riverside; Neal Young, UC Riverside ; Amit Roy-Chowdhury, UC Riverside
  23. Deep Spatial Feature Reconstruction for Partial Person Re-identification,Lingxiao He, Institute of AutomationChines; Jian Liang, CASIA; Haiqing Li, ; Zhenan Sun, CRIPAC[arXiv]
  24. Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatio-temporal Patterns,Jianming Lv, South China University of Technology; Weihang Chen, South China University of Technology; Qing Li, City University of Hong Kong; Can Yang, South China University of Technology[arXiv]
  25. Resource Aware Person Re-identification across Multiple ResolutionsYan Wang, Cornell university; Lequn Wang, Cornell University; yurong you, shang hai jiao tong university; xu zou, tsinghua university; Vincent Chen, cornell university; Serena Li, CORNELL UNIVERSITY; Bharath Hariharan, Cornell University; Gao Huang, ; Kilian Weinberger, Cornell University
  26. Multi-shot Pedestrian Re-identification via Sequential Decision Making, Jianfu Zhang, Shanghai Jiaotong University; Naiyan Wang, tusimple; Liqing Zhang, Shanghai Jiaotong University
  27. Deep Mutual Learning Ying Zhang, QMUL; Tao Xiang, Queen Mary University of London; Timothy Hospedales, University of Edinburgh; Huchuan Lu, Dalian University of Technology
  28. 部分演算法在DukeMTMC-reID 效果排名:

    DukeMTMC-reID State-of-the-art​github.com

4.3 行人重識別有關的公開程式碼

以下為一些公開的行人重識別程式碼連結: