1. 程式人生 > >Xavier Initialization 的理解與推導(及實現)

Xavier Initialization 的理解與推導(及實現)

                     

在 caffe mnist tutorial 的實現中,有如下的語句:

weight_filter = {type: "xavier"};
  • 1

隨後的解釋中指出,本實現將使用 xavier 演算法通過輸入和輸出神經元的數目自動確定權值矩陣的初始化大小

通過本文第三部分的推導,使用 xavier 初始化權值矩陣是為了保證輸出和輸入儘可能地服從相同的概率分佈(注,資料預處理中已對將輸入去均值)。

1. caffe 下的 xavier 實現

caffe 中,網路引數初始化通過從一個 0 均值和特定方差的分佈(一般為正態分佈或均勻分佈)中獲得:

Var(W)=1nin,stddev=1ninVar(W)=1n in
 
,stddev=1n in  − − −   

references