來源自 商湯科技
量子位 出品 | 公眾號 QbitAI

本月22-29日，是兩年一度的國際計算機視覺大會（ICCV）召開的日子。

於往屆ICCV相比，本屆 ICCV堪稱火爆。據組委會統計，ICCV 2017共收到2143篇論文投稿，其中621篇被選為大會論文，錄用比例29%。其中包含45篇口頭報告（Oral）和56篇亮點報告（Spotlight），參會人數預計將超過3000人。

本屆ICCV中，商湯科技與香港中大-商湯科技聯合實驗室共發表了20篇論文，其中包括3篇Oral (錄取率僅2.09%)和1篇Spotlight，領先於Facebook（15篇）、Google Research（10篇）等科技巨頭。

ICCV是計算機視覺領域最高水平的國際學術會議，在其中發表的論文的量與質可以衡量一個公司或者研究機構的學術水平，以及其對未來科技發展潮流的把握。從商湯科技的20篇論文中，可以看到其在研究上重點發力的主線——

跨模態分析：讓視覺與自然語言聯合起來

在過去幾年，隨著深度學習的廣泛應用，計算機視覺取得了突破性的發展，很多傳統任務（比如影象分類，物體檢測，場景分割等）的效能大幅度提高。但是在更高的水平上，計算機視覺開始遇到了新的瓶頸。要獲得新的技術進步，一個重要的方向就是打破傳統視覺任務的藩籬，把視覺理解與自然語言等其它模態的資料結合起來。

在這一方向上，商湯科技有4篇論文被ICCV 2017錄用，包括一篇Oral。

代表：《Towards Diverse and Natural Image Descriptions via a Conditional GAN (Oral)》

作者：Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin.

看圖說話，也就是根據影象生成描述性標題，是今年來非常活躍的研究領域。現有的方法普遍存在一個問題，就是產生的標題很多是訓練集中的表述的簡單重複，讀起來味同嚼蠟。這一問題的根源在於學習目標過分強調與訓練集的相似性。

這篇論文提出了一種新型的基於Conditional GAN的訓練方法，把描述生成模型與評估模型合同訓練。這樣，評估的標準從“像不像訓練集”變成“像不像人說話”，從而驅動生成模型產生更加自然、生動，並具有豐富細節的描述。這一工作為看圖說話任務提供了新的思路。在User Study中，這種新的方法以6:4的勝率戰勝了傳統的方法。

另外兩篇paper則從相反的方向思考，力圖利用相關文字的資訊來幫助提高視覺理解的能力。

代表：《Scene Graph Generation from Objects, Phrases and Caption Regions》

作者：Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

這篇論文把三個有密切關係的任務——物體檢測，場景圖生成，以及影象區域的描述聯合在一起，並且利用它們之間的關係建立了一個多層次的場景描述模型—— Multi-level Scene Description Network (MSDN)。

通過這個聯合模型，傳統上分離開來的三個任務可以結合在一起進行端對端的訓練，從而使得每個任務都獲得性能的提升。尤其在代表對影象綜合理解能力的場景圖生成任務上，效能提高超過了3%。

代表：《Learning to Disambiguate by Asking Discriminative Questions》

作者：Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

這篇論文探索了一個新的方向，即透過提出有鑑別力的問題來區分不同的視覺實體。比如當你需要區分一隻白色的狗和一隻黑色的狗的時候，可以提出關於顏色的問題。

為了支援這個方向的探索，作者在這項工作中建立了一個新的資料集，裡面含有了超過一萬組包含成對影象與多個相關問題的樣本；並且提出了一種新型的弱監督訓練方法，可以在缺乏細緻標註的條件下，同時學習到一個具有區分度的問題生成器，以及能提供準確答案的鑑別模型。

代表：《Identity-Aware Textual-Visual Matching with Latent Co-attention》

作者：Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

特徵匹配是跨模態學習的核心環節。這篇論文提出了一個新的文字與視覺特徵匹配的框架。這個框架由兩個階段組成。

第一階段能迅速排除明顯錯誤的配對，併為第二階段的訓練提供效度更高的訓練樣本。第二階段通過一個新的關聯注意力模型（co-attention model），把文字中的單詞關聯到影象中的特定區域。

在三個公開資料集上（CUHK-PEDES, CUB, Flowers），本文提出的方法都顯著超過現行的主流方法。

視訊分析：讓計算機看懂視訊

雖然深度學習在影象分析中取得了巨大的成功，它在視訊的理解與分析中的應用還有很長的路要走。相比於影象，視訊資料具有更大的資料量以及更豐富的結構，因而也為視覺分析技術提出了更高水平的挑戰。

商湯科技在數年前就開始了把深度學習用於視訊分析與理解的探索，提出了包括Temporal Segmental Networks (TSN)在內的多種有很大影響並被廣泛應用的視訊分析架構，並在ActivityNet 2016取得了冠軍。

在2017年，商湯科技以及相關實驗室繼續把這個方向的探索推向縱深，並在ICCV 2017發表了兩項重量級的工作，包括一篇Oral。

代表：《RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos. (Oral)》

作者：Wenbin Du; Yali Wang; Yu Qiao.

通常的視訊分析模型大部分是基於video-level的類別進行監督學習的，這種方法的侷限是難以學習到複雜的運動結構。這篇論文另闢蹊徑，著力於動態人體的建模，並提出了一個新型的可以端對端訓練的深度網路架構 Recurrent Pose Attention Network (RPAN)。

該架構不僅可以自適應地整合人體運動姿態的特徵，還能很好地學習其時空演化結構。這項工作一方面為視訊動作理解提供了新的方法，另一方面作為副產品也獲得了一個不錯的粗粒度姿態估計的模型。

代表：《Temporal Action Detection with Structured Segment Networks》

作者：Yue Zhao, Yuanjun Xiong, Zhirong Wu, Xiaoou Tang, Dahua Lin.

時域上的動作檢測是近兩年興起的新型視訊分析任務。相比於傳統的動作分類，這個任務更具有挑戰性，不僅需要判斷一個運動或者事件的型別，還需要獲得它的準確起止時間。這個任務在實際場景中有很大的潛在價值，比如它可以從長時間的運動視訊或者電影中自動定位到相關的精彩片段。

這篇論文提出了一種新型的視訊動作檢測模型，它在TSN的基礎上引入了三段結構模型以更有效地捕捉運動起始段與終結段的特徵。基於這一架構，動作分類器與時間定位器可以端到端聯合訓練。這個方法在多個大型視訊資料集上（包括THOMOS和ActivityNet）取得了比現有方法超過10個百分點的提升。

生成對抗網路：讓計算機學習創作

最近兩年，由於生成對抗網路（Generative Adversarial Networks）的提出，生成模型（generative model）的學習成為一個新興的研究方向。

和傳統的鑑別模型（discriminative model）主要關注資訊提煉不同，生成模型需要從零開始，或者基於資訊量非常有限的給定條件，產生出完整的影象，因此特別具有挑戰性。

這個研究方向在消費領域具有巨大的應用價值，同時它也可以通過產生訓練樣本的方式反哺傳統領域的研究。商湯科技在這個新興領域也積極開展研究，取得不少新的成果，並在ICCV 2017發表了兩項相關工作，包括一篇Oral。

代表：StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks.n (Oral)

作者：Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

生成高質量的影象是生成模型研究的核心問題。這篇文章提出了一個新型的生成框架，StackGAN，它能夠根據簡短的文字描述生成解析度為256 x 256的高質量圖片。生成如此高解析度的照片是一個極具挑戰性的問題，此前的生成模型通常只能產生大小為64 x 64的圖片。

本文提出的方法把這個困難的任務分解為兩個階段。在第一階段，先根據文字描述產生粗粒度的草圖，以第一階段的結果作為輸入，第二階段產生高解析度的影象，並補充豐富的細節。此文還進一步提出了一種新型的條件增強技術，以改進訓練過程的穩定性。

和現有的生成網路相比，StackGAN在生成圖片的質量的解析度上獲得了非常顯著的進步。

代表：《Be Your Own Prada: Fashion Synthesis with Structural Coherence》

作者：Shizhan Zhu, Dahua Lin, Raquel Urtasun, Sanja Fidler, Chen Change Loy.

這篇文章探索了一個極具應用價值的方向，把生成模型引入時尚領域：提出一種嶄新的方法產生換裝照片。具體而言，給定一個人的照片，以及對換裝的描述，此文提出的方法可以根據對換裝的描述，比如“黑色的短袖長裙”，產生換裝後的照片。

和一般的生成任務相比，換裝任務更具挑戰性，換裝照不僅需要符合文字描述，而且需要和原照片中人體的姿態相吻合。此文提出一個兩階段的框架解決這個問題：第一階段產生一個和人體姿態吻合的分割槽圖，第二階段以此為基礎生成具有精細細節的服裝影象。

除了在新興方向上積極開拓，商湯科技在一些重要的核心領域，包括人臉檢測、物體檢測、人體姿態估計、實際場景中的身份再識別等，也持續投入，精益求精，在本屆ICCV發表多篇相關論文。

商湯科技ICCV 2017論文列表

1. “StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks”. Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

2. “Scene Graph Generation from Objects, Phrases and Caption Regions”. Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

3. “Online Multi-Object Tracking Using Single Object Tracker with Spatial and Temporal Attention”. Qi Chu, Wanli Ouyang, Hongsheng Li, Xiaogang Wang, Nenghai Yu.

4. “Learning Feature Pyramids for Human Pose Estimation”. Wei Yang, Wanli Ouyang, Shuang Li, Xiaogang Wang.

5. “Learning Chained Deep Features and Classifiers for Cascade in Object Detection”. Wanli Ouyang, Xiaogang Wang, Kun Wang, Xin Zhu.

6. “Identity-Aware Textual-Visual Matching with Latent Co-attention”. Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

7. “Towards Diverse and Natural Image Descriptions via a Conditional GAN”. Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin.

8. “Temporal Action Detection with Structured Segment Networks”. Yue Zhao, Yuanjun Xiong, Zhirong Wu, Dahua Lin.

9. “Learning to Disambiguate by Asking Discriminative Questions”. Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

10. “Be Your Own Prada: Fashion Synthesis with Structural Coherence”. Shizhan Zhu, Raquel Urtasun, Sanja Fidler, Dahua Lin, Chen Change Loy.

11. “Recurrent Scale Approximation for Object Detection in CNN”. Yu LIU, Hongyang Li, Junjie Yan, Xiaogang Wang, Xiaoou Tang.

12. “Orientation Invariant Feature Embedding and Spatial Temporal Re-ranking for Vehicle Re-identification”. Zhongdao Wang, Luming Tang, Xihui Liu, Zhuliang Yao, Shuai Yi, Jing Shao, Junjie Yan, Shengjin Wang, Hongsheng Li, Xiaogang Wang.

13. “Multi-label Image Recognition by Recurrently Discovering Attentional Regions”. Zhouxia Wang, Tianshui Chen, Guanbin Li, Ruijia Xu, Liang Lin.

14. “HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis”. Xihui Liu, Haiyu Zhao, Maoqing Tian, Lu Sheng, Jing Shao, Shuai Yi, Junjie Yan, Xiaogang Wang.

15. “Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals”. Yantao Shen, Tong Xiao, Hongsheng Li, Shuai Yi, Xiaogang Wang.

16. “Deep Dual Learning for Semantic Image Segmentation”. Ping Luo, Guangrun Wang, Liang Lin, Xiaogang Wang.

17. “Detecting Faces Using Inside Cascaded Contextual CNN”. Kaipeng Zhan, Zhanpeng Zhang, Hao Wang, Zhifeng Li, Yu Qiao, Wei Liu.

18. “Single Shot Text Detector With Regional Attention”. Pan He; Weilin Huang, Tong He, Qile Zhu, Yu Qiao, Xiaolin Li.

19. “RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos”. Wenbin Du, Yali Wang, Yu Qiao.

20. “Range Loss for Deep Face Recognition With Long-Tailed Training Data”. Xiao Zhang, Zhiyuan Fang, Yandong Wen, Zhifeng Li, Yu Qiao.

縱覽ICCV 2017

最後，附所有ICCV 2017錄用論文列表地址：

http://openaccess.thecvf.com/ICCV2017.py

論文均可下載檢視~

— 完 —

加入社群

量子位AI社群10群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot4入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微訊號qbitbot4，並務必備註相應群的關鍵詞~通過稽核後我們將邀請進群。（專業群稽核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI

վ'ᴗ' ի 追蹤AI技術和產品新動態