【磐創AI導讀】：本文主要介紹了神經網路調參並附有python程式碼介紹。

今天在寫畢設的時候又回顧了一下神經網路調參的一些細節問題，特來總結下。主要從weight_decay，clip_norm，lr_decay說起。

以前剛入門的時候調參只是從hidden_size，hidden_num，batch_size，lr，embed_size開始調，但是後來才逐漸明白embed_size一般是設定完後不用再調的，比如設定為128後，就不要調了，因為embed_size只是表示將詞嵌入到幾維的空間而已。lr也一般都有固定值，比如選取優化器Adam的時候，lr=0.001，選取優化器SGD的時候，lr=0.01，hidden_num一般設定為1的時候就行，2層以上在簡單的網路上只會到的適得其反的效果。

所以剩下該調的也只有hidden_size,batch_size,weight_decay，clip_norm，lr_decay了。但是hidden_size，batch_size大家應該知道怎麼調，這裡就不講了。還有其他的調參細節部分，等以後詳細用到了再總結給大家。

weight_decay
weight_decay即權重衰退。為了防止過擬合，在原本損失函式的基礎上，加上L2正則化，而weight_decay就是這個正則化的lambda引數，一般設定為1e-8，所以調參的時候調整是否使用權重衰退即可。這個防止過擬合的正則化我之前和dropout一起講過的，想要鞏固下，點這裡。

pytorch實現程式碼：

對weight_decay我做了實驗，資料對比：

F1為一個評測值，想了解的更加詳細的，點這裡。
可以從實驗看出weight_decay還是有點效果的，但不是對所有的試驗有效果，所以這也是調參的一部分。