1、雖然有很多的關鍵點是可以很容易定位到例如頭部和脖子，但是對於一些區別起來並不是很好的部位的話，使用嚴格的監督來講並不是很有效，作者的出發點就是解決這個問題。作者設計了三個粗糙的部位檢測器和一個精細的部位檢測器

2、作者首先是採用了一個inception的網路，有好幾個分支，根據論文描述為3個分支，如下圖所示

最後在3個coarse檢測器的基礎上加了一個精細的檢測器
淺層的網路通常可以對容易檢測出來的部位能夠很好地定位，對於ambiguous的keypoint來講檢測又不是很好。但是深層的精細網路雖然能夠對ambiguous的keypoint有很好的定位效果，但是在關鍵的localization accuracy上面卻損失了很多的精度，這個方法對於低解析度的人有更好的效果，對於medium的person效果來說很好。

3、先來看一下三個coarse網路，三個分支主要區別在於堆疊的inception的網路的多少，導致了不同的感受野，小的感受野捕捉更加細節的東西，大的感受野能夠捕捉關節間的依賴關係，然後把三個粗糙網路出來的feature進行concat，concat之後的特徵送入到fine network裡面，最後進行整體的訓練，標籤是multi-level的。
作者的target heatmap的製作思路幾乎和檢測的anchor 的思路是一樣的，真的很新穎

3.1 在卷積網路裡面，stride和感受野都是隨著深度的增加而增加的，深層網路能夠編碼更多的語義資訊用來區分ambiguous的keypoint，確損失了定位精度，為了在part classification和part localization尋求折中，作者採用Inception v2的4a-4c作為訓練三個粗糙檢測器，感受野分別是107x107,139x139,171x171。如果輸入圖片是224x224，那麼後面171的感受野相對於224太大了，可能會導致ambiguous的檢測，所以作者增加了輸入大小，這樣171相對於448來說會好一點。
作者可以預測最後的監督label通過1x1的convolution,類似於滑動窗的形式。
作者怎樣產生multi-level的監督的呢？現役coarse的level為例說明。
作者引入object detection中的overlap的思想來計算，以Inception的4a分支為例。
Inception的4a分支的map大小是28x28，那麼對應到原來的影象的感受野大小是107x107，用檢測中anchor的思想來看的話，28x28的784個位置上，每一個畫素的位置都代表了一個框，每一個框都是一個取樣樣本，作者通過計算這個框和gt框之間的iou來界定這個位置的標籤。檢測中這個地方是取三個面積大小，三種比例的anchor來和gt做iou的計算，但是關鍵點不用這麼麻煩，就用一個感受野大小的框和一個正方形的比例就可以了。那麼這個gt框怎麼弄得呢？gt框在每一個關節點的周圍取一個正方形，正方形的大小是感受野的大小，如果以107x107為例的話，gt就是在以每一個關鍵點為中心的107x107框。通過在原圖片上取框和gt進行計算說的標籤，和faster rcnn的rpn一樣的思路。

那麼具體怎麼來做呢？
對於不同的level是不同的，假設有K張map,以4a這一支為例，假設stride=s,offset padding = p,感受野為r,feature map上的位置為(w,h)，那麼對應到原圖上的話，該位置為

這個和anchor有點不一樣，anchor採用滑動的方式獲得的。現在假設是第k張map，對於他的每一個位置都找到對應的框，一旦和第k個部位對應的gt的iou大於0.5，就把該位置設定為1，否則為0，和anchor又很像。

3.2 對於精細網路的部分target-map的製作就不在是anchor的方法了，採用和普通heatmap差不多的思路，將對應到原圖中的點和gt點而不是框計算距離，一旦距離少於特定值，就把該位置設定為1，否則設定為0

3.3
整個網路的學習損失函式為
總體的損失函式為粗糙網路和精細網路的損失

3.4 推理過程
測試過程預測O_d,對於第k張結果來講，每張結果的對應位置是1僅僅在該位置是17張map中最大的才可以，這樣會出現一張map多個最大值，作者最後將heatmap送入2D高斯中進行平滑，從中找打最大值的位置，結合在一起獲得最終的預測。

因為最終的map位置需要結合coarse和fine個方面，利用二者的優勢，那麼作者怎麼做的呢？

如果fine網路對應位置的分數很低的話，就採用coarse網路對應的位置，否則認為fine網路對應的位置就是最終的關鍵的位置，這個技巧很妙呀