最近一直在用pytorch做GAN相關的實驗，pytorch 框架靈活易用，很適合學術界開展研究工作。
這兩天遇到了一些模型引數尋優的問題，才發現自己對pytorch的自動求導和尋優功能沒有深刻理解，導致無法靈活的進行實驗。於是查閱資料，同時自己做了一點小實驗，做了一些總結，雖然好像都是一些顯而易見的結論，但是如果不能清晰的理解，對於實驗複雜的網路模型程式會造成困擾。以下僅針對pytorch 0.2 版本，如有錯誤，希望得到指正。

• 相關標誌位/函式

  • 1
    
    • requires_grad
    • volatile
    • detach()/detach_()
  • 2
    
    • retain_graph
    • retain_variables
    • create_graph

  前三個標誌位中，最關鍵的就是 requires_grad，另外兩個都可以轉化為 requires_grad 來理解。
  後三個標誌位，與計算圖的保持與建立有關係。其中 retain_variables 與 retain_graph等價，retain_variables 會在pytorch 新版本中被取消掉。

• requires_grad 的含義及標誌位說明

  • 如果對於某Variable 變數 x ，其 x.requires_grad == True , 則表示 它可以參與求導，也可以從它向後求導。
    預設情況下，一個新的Variables 的 requires_grad 和 volatile 都等於 False 。

  • requires_grad == True 具有傳遞性，如果：
    x.requires_grad == True ，y.requires_grad == False ， z=f(x,y)
    則， z.requires_grad == True

  • 凡是參與運算的變數（包括 輸入量，中間輸出量，輸出量，網路權重引數等），都可以設定 requires_grad 。

  • volatile==True 就等價於 requires_grad==False 。 volatile==True 同樣具有傳遞性。一般只用在inference過程中。若是某個過程，從 x 開始 都只需做預測，不需反傳梯度的話，那麼只需設定x.volatile=True

    ,那麼 x 以後的運算過程的輸出均為 volatile==True ,即 requires_grad==False 。
    雖然inference 過程不必backward(),所以requires_grad 的值為False 或 True，對結果是沒有影響的，但是對程式的運算效率有直接影響；所以使用volatile=True ,就不必把運算過程中所有引數都手動設一遍requires_grad=False 了，方便快捷。

  • detach() ，如果 x 為中間輸出，x' = x.detach 表示建立一個與 x 相同，但requires_grad==False 的variable, (實際上是把x’ 以前的計算圖 grad_fn 都消除了)，x’ 也就成了葉節點。原先反向傳播時，回傳到x時還會繼續，而現在回到x’處後，就結束了，不繼續回傳求到了。另外值得注意, x (variable型別) 和 x’ (variable型別)都指向同一個Tensor ,即 x.data
    而detach_() 表示不建立新變數，而是直接修改 x 本身。

  • retain_graph ，每次 backward() 時，預設會把整個計算圖free掉。一般情況下是每次迭代，只需一次 forward() 和一次 backward() ,前向運算forward() 和反向傳播backward()是成對存在的，一般一次backward()也是夠用的。但是不排除，由於自定義loss等的複雜性，需要一次forward()，多個不同loss的backward()來累積同一個網路的grad,來更新引數。於是，若在當前backward()後，不執行forward() 而可以執行另一個backward()，需要在當前backward()時，指定保留計算圖，即backward(retain_graph)。

  • create_graph ，這個標誌位暫時還未深刻理解，等之後再更新。

• 反向求導 和 權重更新

  • 求導和優化（權重更新）是兩個獨立的過程，只不過優化時一定需要對應的已求取的梯度值。所以求得梯度值很關鍵，而且，經常會累積多種loss對某網路引數造成的梯度，一併更新網路。

  • 反向傳播過程中，肯定需要整個過程都鏈式求導。雖然中間引數參與求導，但是卻可以不用於更新該處的網路引數。引數更新可以只更新想要更新的網路的引數。

  • 如果obj是函式運算結果，且是標量，則 obj.backward() （注意，backward()函式中沒有填入任何tensor值, 就相當於 backward(torch.tensor([1])) ），則 x.grad 就是 ∂obj∂x∣∣x=1${\frac{\mathrm{\partial }obj}{\mathrm{\partial }x}|}_{x=1}$ 。

  • 對於繼承自 nn.Module 的某一網路 net 或網路層，定義好後,發現 預設情況下，net.paramters 的 requires_grad 就是 True 的（雖然只是實驗證明的，還未從原始碼處找到證據），這跟普通的Variable張量不同。因此，當x.requires_grad == False , y = net(x) 後, 有 y.requires_grad == True ;但值得注意，雖然nn.xxloss和啟用層函式，是繼承nn.Module的，但是這兩種並沒有網路引數，就更談不上 paramters.requires_grad 的值了。所以類似這兩種函式的輸出，其requires_grad只跟輸入有關，不一定是 True .

• 計算圖相關

  • 計算圖就是模型 前向forward() 和後向求梯度backward() 的流程參照。

  • 能獲取回傳梯度(grad)的只有計算圖的葉節點。注意是獲取，而不是求取。中間節點的梯度在計算求取並回傳之後就會被釋放掉，沒辦法獲取。想要獲取中間節點梯度，可以使用 register_hook （鉤子）函式工具。當然， register_hook 不僅僅只有這個作用。

  • 只有標量才能直接使用 backward()，即loss.backward() , pytorch 框架中的各種nn.xxLoss()，得出的都是minibatch 中各結果 平均/求和 後的值。如果使用自定義的函式，得到的不是標量，則backward()時需要傳入 grad_variable 引數，這一點詳見部落格 https://sherlockliao.github.io/2017/07/10/backward/ 。

  • 經常會有這樣的情況：
    x1 —> |net1| —> y1 —> |net2| —> z1 , net1和net2是兩個不同的網路。x1 依次通過 兩個網路運算，生成 z1 。比較擔心一次性運算後，再backward(),是不是隻更新net1 而不是net1、net2都更新呢？
    類比 x2 —> |f1| —> y2 —> |f2| —> z2 , f1 、f2 是兩個普通的函式，z2=f2(y2) , y2=f1(x2) 。
    按照以下程式碼實驗

    w1 = torch.Tensor([2]) #認為w1 與 w2 是函式f1 與 f2的引數
    w1 = Variable(w1,requires_grad=True)
    w2 = torch.Tensor([2])
    w2 = Variable(w2,requires_grad=True)
    x2 = torch.rand(1)
    x2 = Variable(x2,requires_grad=True)
    y2 = x2**w1            # f1 運算
    z2 = w2*y2+1           # f2 運算
    z2.backward()
    print(x2.grad)
    print(y2.grad)
    print(w1.grad)
    print(w2.grad)

    發現 x2.grad，w1.grad，w2.grad 是個值 ，但是 y2.grad 卻是 None, 說明x2,w1,w2的梯度保留了，y2 的梯度獲取不到。實際上，仔細想一想會發現，x2,w1,w2均為葉節點。在這棵計算樹中 ，x2 與w1 是同一深度(底層)的葉節點，y2與w2 是同一深度，w2 是單獨的葉節點，而y2 是x2 與 w1 的父節點，所以只有y2沒有保留梯度值，印證了之前的說法。同樣這也說明，計算圖本質就是一個類似二叉樹的結構。
    

    
    
    那麼對於 兩個網路，會是怎麼樣呢？ 我使用pytorch 的cifar10 例程，稍作改動做了實驗。把例程中使用的一個 Alexnet 拆成了兩個net —— net1 和 net2 。

        optimizer = torch.optim.SGD(itertools.chain(net1.parameters(), net2.parameters()),lr=0.001, momentum=0.9) # 這裡 net1 和net2 優化的先後沒有區別 ！！
        #
        optimizer.zero_grad() #將引數的grad值初始化為0
        #
        # forward + backward + optimize
        outputs1 = net1(inputs)            #input 未置requires_grad為True，但不影響
        outputs2 = net2(outputs1)
        loss = criterion(outputs2, labels) #計算損失
        loss.backward()                    #反向傳播      
        #     
        print("inputs.requires_grad:")
        print(inputs.requires_grad)        # False
        print("the grad of inputs:")
        print(inputs.grad)                 # None
    
        print("outputs1.requires_grad:")
        print(outputs1.requires_grad)      # True
        print("the grad of outputs1:")        
        print(outputs1.grad)               # None     
        # 
        print("the grad of net1:")
        print(net1.conv1.bias.grad)        # no-None
        print("the grad of net2:")
        print(net2.fc3.bias.grad)          # no-None
        #
        optimizer.step() #用SGD更新引數

    字尾註釋就是列印的結果。可以看出，只有網路引數的grad是直接可獲取的。而且是兩個網路都可以獲取grad 值，獲取grad後，當然就可以更新網路的引數了，兩個網路都是可以更新的。

    類比上邊例子的解釋，兩個網路其實就是處在葉節點的位置，只不過深度不同。同理，網路內部的運算，每一層網路權重引數其實也是處在葉節點上，只不過在樹中的深度不同罷了，前向運算時按照二叉樹的結構，不斷生成父節點。

    （事實上，原先是以為 網路 與 普通函式不同，因為它具有register_xx_hook()這個類函式工具，所以認為它可以預設儲存權重引數的grad來用於更新，後來才明白，本質上與普通函式的引數一樣，都是處在葉節點，就可以儲存引數的grad，至於register_xx_hook()，看來是另做它用，或者說用register_xx_hook()可以記錄甚至更改中間節點的grad值）

• 一些特殊的情況：

  • 把網路某一部分引數，固定，不讓其被訓練。可以使用requires_grad.

    for p in sub_module.parameters():
        p.requires_grad = False

    可以這樣理解，因為是葉節點（而不是中間節點），所以不求grad（grad為’None’），也不會影響網路的正常反向傳播。

以上就是一些總結，敬請指正！