上圖展示了兩種形態的殘差模組,左圖是常規殘差模組,有兩個3×3卷積核組成,但是隨著網路進一步加深,這種殘差結構在實踐中並不是十分有效。針對這問題,右圖的“瓶頸殘差模組”(bottleneck residual block)可以有更好的效果,它依次由1×1、3×3、1×1這三個卷積層堆積而成,這裡的1×1的卷積能夠起降維或升維的作用,3×3的卷積可以在相對較低維度的輸入上進行,以降低引數從而達到提高計算效率的目的。