2. 程式人生 > >Multi-Fiber Networks for Video Recognition (MFNet)

Multi-Fiber Networks for Video Recognition (MFNet)

阿新 • • 發佈：2018-10-16
輕量 需要 inf 能力 mage 圖片分類 str 一個 線性

Motivation：減少時空網絡的計算量，保持視頻分類精度上的基礎上，使得速度盡可能接近對應網絡的2D版本。

為此提出 Multi-Fiber 網絡，將復雜網絡拆分成輕量網絡的集成，利用 fibers 間的信息流引入多路器模塊。

Result：比I3D和R(2+1)D分別少9倍，13倍的計算量，但精度更高，UCF-101, HMDB-51 and Kinetics 上的 state of the art。

2D網絡需要10s GFLOP來處理單幀，3D網絡需要100s GFLOP處理一個clip，作者認為3D網絡有能力進一步提高因為融入了時空信息。

與Du tran和xie sai ning提出的R(2+1)D和S3D用1x3x3, 3x1x1時空分解卷積替代3x3x3這種做法不同，以上兩種方法很難在實際應用，因為相對他們的2D版本有數量級的復雜度，受low-power MobileNet-v2網絡的啟發以及通過分組卷積稀疏化做法的啟發，作者提出稀疏連接結構，

作者提出multi-fibers結構並在2D CNN圖片分類上實驗確認結構的有效性，後擴展為時空CNN

技術分享圖片

(a) resnet block (b) resNeXet block (c) fibers(author) (d) 加入multiplexer 傳遞不同fiber間信息 (e) 兩個線性層降維和升維

Multi-Fiber Networks

Multi-Fiber Networks for Video Recognition (MFNet)

相關推薦

Multi-Fiber Networks for Video Recognition (MFNet)

輕量 需要 inf 能力 mage 圖片分類 str 一個 線性 Motivation：減少時空網絡的計算量，保持視頻分類精度上的基礎上，使得速度盡可能接近對應網絡的2D版本。 為此提出 Multi-Fiber 網絡，將復雜網絡拆分成輕量網絡的集成，利用 fibers 間

CVPR 2017：See the Forest for the Trees: Joint Spatial and Temporal Recurrent Neural Networks for Video-based Person Re-identification

network 測試 eee 分享 The 因此 進行 最大 變化 [1] Z. Zhou, Y. Huang, W. Wang, L. Wang, T. Tan, Ieee, See the Forest for the Trees: Joint Spatial and

【CV論文閱讀】Two stream convolutional Networks for action recognition in Vedios

論文的三個貢獻 （1）提出了two-stream結構的CNN，由空間和時間兩個維度的網路組成。 （2）使用多幀的密集光流場作為訓練輸入，可以提取動作的資訊。 （3）利用了多工訓練的方法把兩個資料集聯合起來。   Two stream結構 視屏可以分成空間與時間兩個部

視訊動作識別--Two-Stream Convolutional Networks for Action Recognition in Videos

Two-Stream Convolutional Networks for Action Recognition in Videos NIPS2014http://www.robots.ox.ac.uk/~vgg/software/two_stream_action/ 本文針對視訊中的動作分類問

24.Two-Stream Convolutional Networks for Action Recognition in Videos

Two-Stream Convolutional Networks for Action Recognition in Videos 用於視訊中動作識別的雙流卷積網路 摘要 我們研究了經過區別訓練的深度卷積網路（ConvNets）的體系結構，用於視訊中的動作識別。挑戰在於從靜止幀和幀間的

論文閱讀筆記二十四：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition（SPPNet CVPR2014）

分享圖片 介紹 bin con strong map com 提高 https 論文源址：https://arxiv.org/abs/1406.4729 tensorflow相關代碼：https://github.com/peace195/sppnet 摘要

譯：Two-Stream Convolutional Networks for Action Recognition in Videos.md

摘要：我們研究了用於訓練視訊中行為識別的深度卷積網路架構。這個挑戰是捕捉靜態幀中的外觀和連續幀間的運動的互補資訊。我們也旨在推廣這個在資料驅動的學習框架中表現得最好的手工特徵。 本文一共做出了3個貢獻： 首先，本文提出了一個two-stream卷積網路架構，這

SPP-net(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)

Abstract  SPP-net提出了空間金字塔池化層來解決CNN只是輸入固定尺寸的問題，因為單固定尺寸的輸入會影響識別效果，並且對於多尺度影象的情況下魯棒性不好。SPP-net很好的解決了以上問題，對於任意尺度影象都可以提取出固定維度的特徵，實驗證明SPP-net對分類

Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving c

[論文閱讀筆記]Two-Stream Convolutional Networks for Action Recognition in Videos

Karen Simonyan Andrew Zisserman Visual Geometry Group, University of Oxford fkaren,[email protected] 論文貢獻： 提出了結合空

【筆記】SPP-Net : Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

基於空間金字塔池化的卷積神經網路物體檢測 論文：http://xueshu.baidu.com/s?wd=paperuri%3A%28c51f05992150d24c15f0dabf0913382e%29&filter=sc_long_sign&tn=SE

Deep Feature Flow for Video Recognition讀書筆記

摘要：本文主要提出了一個深度特徵流演算法，用於視訊的識別。它僅在稀疏的關鍵幀上執行計算量極大的卷積子網路，並通過流場將它們的深度特徵圖傳輸到其他幀。由於流計算方法相對較快，所以演算法得到了明顯的加速。

Two-Stream Convolutional Networks for Action Recognition in Videos演算法筆記

論文：Two-Stream Convolutional Networks for Action Recognition in Videos 連結：https://arxiv.org/abs/1406.2199 這篇文章是NIPS 2014年提出一個two s

【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description

【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description 這篇文章是15年的一篇文章，文章設計了CNN+LSTM的網路結構用於行為識別、影象描述、視訊描述。因為我研究行為

【論文閱讀】Beyond Short Snippets: Deep Networks for Video Classification

【論文閱讀】Beyond Short Snippets: Deep Networks for Video Classification 之前3DCNN網路的論文算是記錄完了，雖然最近又出了幾篇，但是時間有限，很快要去實習去了，剩下的以後有時間再講吧。 本篇論文算是CNN+LSTM網路結構

【論文閱讀】Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition

【論文閱讀】Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition 這是2017ICCV workshop的一篇文章，這篇文章只是提出了一個3D-ResNets網路，與之前介紹的

SPP(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)

Introduction 在一般的CNN結構中，在卷積層後面通常連線著全連線。而全連線層的特徵數是固定的，所以在網路輸入的時候，會固定輸入的大小(fixed-size)。但在現實中，我們的輸入的影象尺寸總是不能滿足輸入時要求的大小。然而通常的手法就是裁剪(cr

long term recurrent convolutional networks for visual recognition and description

這篇屬於很早就探索cnn+rnn解決high-level computer vision task的文章 Abstract 基於深度卷積網路的模型已經在最近的影象解釋任務中成為主流，在這裡我們研究了是否recurrent model能夠有效的處理涉及到sequences以及

Deep Feature Flow for Video Recognition

大量 src 相對 分解 部件 驗證 出了 實時 目標 來自MSRA視覺計算組，發表在CVPR2017上。這篇文章提出了一個結合光流的快速視頻目標檢測和視頻語義分割方法。 motivation 在視頻流的每一幀上用CNN計算特征太慢了。 兩個相鄰幀有相似的fe

深度學習論文翻譯解析（九）：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

論文標題：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition　　 　　　　標題翻譯：用於視覺識別的深度卷積神經網路中的空間金字塔池 論文作者：Kaiming He, Xiangyu Zhang, Shao