1. 程式人生 > >【論文閱讀筆記】---二值神經網路(BNN)

【論文閱讀筆記】---二值神經網路(BNN)

二值網路是將權值W隱藏層啟用值二值化為1或者-1。通過二值化操作,使模型的引數佔用更小的儲存空間(記憶體消耗理論上減少為原來的1/32倍,從float32到1bit);同時利用位操作來代替網路中的乘加運算,大大降低了運算時間。由於二值網路只是將網路的引數和啟用值二值化,並沒有改變網路的結構。因此我們主要關注如何二值化,以及二值化後引數如何更新。同時關注一下如何利用二進位制位操作實現GPU加速計算的。