1. 程式人生 > >註意力機制

註意力機制

論文 傳播 ffffff ces watermark tex ron 使用 信息

參考:https://www.jianshu.com/p/ecaac3d8296d
所謂的註意力機制,其實就是讓系統學會註意力-即關註重點信息忽略無關信息。帶有註意力機制的系統,不僅可以自主學習註意力,還可以幫助我們更好的理解神經網絡。


提出了兩種註意力方法:使用基本反向傳播訓練的Soft Attetnion方法和使用強化學習訓練的Hard Attention方法。論文關於註意力機制的表述主要在以下幾個方面:
1)強註意力機制
技術分享圖片
2)軟註意力機制
技術分享圖片
與強註意力機制不同,軟註意力機制對所有的區域都關註,但關註的重要程度不一樣

註意力機制