End to End Memory network

阿新 • • 發佈：2019-01-02

關鍵詞

End2End, Memory Networks, Multiple hops

來源

特色

設計了全新網路，相對於LSTM，以詞為單位的時序，memory network是以句子為單位。

解決方案

原圖
這裡寫圖片描述
加備註圖

計算過程

按原圖

lookup詞表A獲得句子向量表示，
mi=Axi , i大小是memory size
計算attention，或者說計算輸入的權重
pi=softmax(uTmi)

將輸出乘權重，得到最終的輸出o
輸出的嵌入向量
ci=Couti , i大小是memory size
最終輸出嵌入向量
o

=∑ipici
查詢的嵌入向量
u=Bq
預測結果
a^=softmax(W(o+u))

按實現程式碼

計算過程與原圖不一致，我按論文的實現程式碼做了標註，參見備註圖。
輸入sentences和query時，都有矩陣TA和TB矩陣
即
Ain=Axi+TAxi , i代表句子，長度固定為memory size
Aout=AinHlast , H代表隱藏層, Aout可看作mi
pi=softmax(Aout)
Bin=Bq+TBq
Bout=pBin
Cout=HlastBout
Dout=CoutBout
最後，儲存Dout為新的Hidden

多層網路

原文提供兩種方式。
第一種是鄰接，即Ak+1=Ck，依次遞推
第二種是類似於 RNN 中共享權重的模式，A1=A2=…=Ak，C1=C2=…=Ck。
其餘與單層網路一致。

參考程式碼

facebook實現，使用Lua語言
網友實現，使用tensorflow

End-To-End Memory Network 學習整理

一、什麼是端到端相對於深度學習，傳統機器學習的流程往往由多個獨立的模組組成，比如在一個典型的自然語言處理（Natural Language Processing）問題中，包括分詞、詞性標註、句法分析、語義分析等多個獨立步驟，每個步驟是一個獨立的任務，其結果的好壞會影響到下一步驟，從而影響整個訓

End to End Memory network

關鍵詞 End2End, Memory Networks, Multiple hops 來源特色設計了全新網路，相對於LSTM，以詞為單位的時序，memory network是以句子為單位。解決方案原圖加備註圖

《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its...》論文閱讀之CRNN

An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition paper: CRNN 翻譯：CRNN

深度學習論文翻譯解析（二）：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

論文標題：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 論文作者： Baoguang Shi, Xiang B

論文筆記：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application

1.歷史方法 1）基於字元的DCNN,比如photoOCR.單個字元的檢測與識別。要求單個字元的檢測器效能很強，crop的足夠好。 2）直接對圖片進行分類。9萬個單詞，組合成無數的單詞，無法直接應用 3）RNN,訓練和測試均不需要每個字元的位置。但是需要預處理，從圖片得到特

文獻閱讀:CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping

文章地址：https://arxiv.org/abs/1807.10547 視訊地址：https://www.youtube.com/watch?v=7htEaaNkxG8 作者的專案地址：ECCV2018_CrossNet_RefSR 1.1 簡單介紹 &n

【論文筆記07】End-To-End Memory Networks

1 背景（1）在記憶網路中，主要由4個模組組成：I、G、O、R，前面也提到I和G模組其實並沒有進行多複雜的操作，只是將原始文字進行向量表示後直接儲存在記憶槽中。而主要工作集中在O和R模組，O用來選擇與問題相關的記憶，R用來回答，而這兩部分都需要監督，也就是需要

DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks

step with 圖片 eight enter sub img layer each 1、Introduction DL解決VO問題：End-to-End VO with RCNN 2、Network structure a.CNN based Feature Ext

Overview：end-to-end深度學習網絡在超分辨領域的應用（待續）

向量不同的這就是 src dimens sep max pos pca 目錄 1. SRCNN Contribution Inspiration Network O. Pre-processing I. Patch extraction and representat

【USE】《An End-to-End System for Automatic Urinary Particle Recognition with CNN》

Urine Sediment Examination（USE） JMOS-2018 目錄目錄 1 Background and Motivation 2 Innovation

端到端的學習end-to-end learning （理解）

傳統的機器學習的流程是由多個獨立的模組組成，每一個獨立的任務其結果的好壞都會影響到下一個步驟，從而影響到整個訓練的結果，這個是非端到端的而深度學習模型在訓練過程中，從輸入端（輸入資料）到輸出端會得到一個預測結果，與真實結果相比較會得到一個誤差，這個誤差會在模型中的每一層傳遞（反向傳播），每一層

目標檢測中對端對端（End to end）的理解

End to end：指的是輸入原始資料，輸出的是最後結果，應用在特徵學習融入演算法，無需單獨處理。 end-to-end（端對端）的方法，一端輸入我的原始資料，一端輸出我想得到的結果。只關心輸入和輸出，中間的步驟全部都不管。　　端到端指的是輸入是原始資料，輸出是最後的結果，原來輸入端不是

Direct Shape Regression Networks for End-to-End Face Alignment

端到端人臉對齊的直接形狀迴歸網路1 主要的挑戰在於人臉影象和相關的面部形狀之間的高度非線性關係，這種非線性關係是基於標記的相關性耦合。現有的方法主要依賴於級聯迴歸，存在固有的缺點，例如對初始化的強依賴性和未能利用相關的標記。本文提出了一種**直接形狀迴歸網路（direct shap

FlowTrack－End-to-end Flow Correlation Tracking with Spatial-temporal Attention(CVPR2018)

動機：大多數DCF方法僅考慮當前幀的特徵，而很少受益於運動和幀間資訊。發生遮擋和形變時，時間資訊缺失導致效能減低。本文提出FlowTrack，利用連續幀中豐富的光流資訊來改善特徵表示和跟蹤精度。具體是將光流估計，特徵提取，聚合和相關濾波器跟蹤制定為網路中的特殊層，從而實現端到端學習。這種在深度

CBHG 模組來自TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS

作者的靈感來源於在文章Fully Character-Level Neural Machine Translation without Explicit Segmentation中的模型。原型如下圖所示： CBHG模組如下圖所示。首次提出在Goggle的一篇文章：TACO

《End-to-End Learning of Motion Representation for Video Understanding》論文閱讀

CVPR 2018 | 騰訊AI Lab、MIT等機構提出TVNet：可端到端學習視訊的運動表徵動機儘管端到端的特徵學習已經取得了重要的進展，但是人工設計的光流特徵仍然被廣泛用於各類視訊分析任務中。為了彌補這個不足而提出；以前的方法：

機器學習專案開發過程（End-to-End Machine Learning Project）

引言：之前對於機器學習的認識停留在演算法的分析上，這篇文章主要從專案開發的角度分析機器學習的應用。這篇文章主要解釋實際專案過程中的大致方針，每一步涉及的技術不會介紹很細緻。機器學習專案開發步驟如下： 1. Look at the big picture. 2. Get the dat

End-to-end recovery of human shape and pose閱讀筆記

本文講了如何從單張RGB圖片重建人體的mesh，這個方法為Human Mesh Recovery（HMR）。關於從圖片或視訊重建人體的meshes可以分為兩類方法：兩階段法，直接估計法。兩階段法： 1）用2Dpose檢測，預測2D關節位置 2）通過迴歸分析和model

end-to-end-for-chinese-plate-recognition車牌識別

https://github.com/ibyte2011/end-to-end-for-chinese-plate-recognition https://github.com/szad670401/end-to-end-for-chinese-plate-recognition https

A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classificatio

abstract 文字摘要和情感分類都是要捕獲文字的重要資訊，但是在不同的水平上的。文字摘要是用一些句子表示原始文件，情感分類是給文字貼標籤。提出層次級的端到端模型進行摘要抽取和情感分類的聯合學習，標籤是作為文字摘要抽取的輸出，情感分類依賴於摘要抽取，情感分類放在摘要

End to End Memory network

關鍵詞

來源

特色

解決方案

計算過程

按原圖

按實現程式碼

多層網路

參考程式碼

相關推薦