Residual Networks 2015 ICCV ImageNet 影象分類Top1
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow
也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
本文介紹一下2015 ImageNet中分類任務的冠軍——MSRA何凱明團隊的Residual Networks。實際上，MSRA是今年Imagenet的大贏家，不單在分類任務，MSRA還用residual networks贏了 ImageNet的detection, localization, 以及COCO資料集上的detection和segmentation, 那本文就簡單分析下Residual Networks。
目錄
————————————
1. Motivation
2. 網路結構
3. 實驗結果
4. 重要reference
1. Motivation
作者首先丟擲了這個問題， 深度神經網路是不是越深越好。
照我們一般的經驗，只要網路不訓飛（也就是最早在LSTM中提出的vanishing/exploding problem），而且不過擬合， 那應該是越深越好。
但是有這麼個情況，網路加深了， accuracy卻下降了，稱這種情況為degradation。如下圖所示(詳見[1])：
Cifar-10 上的training/testing error. 網路從20層加到56層，error卻上升了。
按理說我們有一個shallow net，在不過擬合的情況下再往深加幾層怎麼說也不會比shallow的結果差，所以degradation說明不是所有網路都那麼容易優化，這篇文章的motivation就是通過“deep residual network“解決degradation問題。
2. 網路結構
Shortcut Connections
其實本文想法和Highway networks（Jurgen Schmidhuber的文章）非常相似， 就連要解決的問題（degradation）都一樣。Highway networks一文借用LSTM中gate的概念，除了正常的非線性對映H（x, Wh）外，還設定了一條從x直接到y的通路，以T(x, Wt)作為gate來把握兩者之間的權重，如下公式所示：
y=H(x,WH)⋅T(x,WT)+x⋅(1−T(x,WT))
loss效果： A>B>C
4. 重要reference
[1]. Highway Networks
[2]. ImageNet Classification with Deep Convolutional Neural Networks
[3]. Batch Normalization
[4]. VGG
給我老師的人工智慧教程打call！http://blog.csdn.net/jiangjunshow
