1. 程式人生 > >End-To-End Memory Network 學習整理

End-To-End Memory Network 學習整理

一、什麼是端到端

相對於深度學習,傳統機器學習的流程往往由多個獨立的模組組成,比如在一個典型的自然語言處理(Natural Language Processing)問題中,包括分詞、詞性標註、句法分析、語義分析等多個獨立步驟,每個步驟是一個獨立的任務,其結果的好壞會影響到下一步驟,從而影響整個訓練的結果,這是非端到端的。

而深度學習模型在訓練過程中,從輸入端(輸入資料)到輸出端會得到一個預測結果,與真實結果相比較會得到一個誤差,這個誤差會在模型中的每一層傳遞(反向傳播),每一層的表示都會根據這個誤差來做調整,直到模型收斂或達到預期的效果才結束,這是端到端的。

兩者相比,端到端的學習省去了在每一個獨立學習任務執行之前所做的資料標註,為樣本做標註的代價是昂貴的、易出錯的。

------------------------------------------------------------------------------------------來源:知乎 張旗

二、論文理解

主要是這個圖了

 

 嵌入矩陣是為了對映到同一空間

三、學習資源

論文地址:https://arxiv.org/abs/1503.08895v5
程式碼地址:https://github.com/facebook/MemNN

end-to-end