1. 程式人生 > >論文筆記:Deep Learning [nature review by Lecun, Bengio, & Hinton]

論文筆記:Deep Learning [nature review by Lecun, Bengio, & Hinton]

假設我們需要訓練一個深度神經網路來預測一段文字序列的下一個單詞。我們用一個one-of-N的0-1向量來表示上下文中出現的單詞。神經網路將首先通過一個embedding層為每一個輸入的0-1向量生成一個word vector,並通過剩下的隱藏層將這些word vector轉化為目標單詞的word vector。這裡的word vector就是一種distributed representation。向量中的每一個元素都對應著原始單詞的某一個語義特徵。這些特徵互不排斥,共同表達了原始文本里的單詞。要注意的是,這些語義特徵即非顯式地存在於原始的輸入資料中,也非由專家事先指定,而是通過神經網路從輸入輸出的結構聯絡中自動挖掘出來。因此,對於我們的單詞預測問題,模型學習到的word vector可以很好地表示兩個單詞在語義上的相似度(例如,在這個問題下,Tuesday和Wednesday這兩個單詞給出的word vector相似度就很高)。而傳統的統計語言模型就很難做到這一點(它們通常是把單詞作為一個不可分的最小單元)。

相關推薦

論文筆記Deep Learning [nature review by Lecun, Bengio, & Hinton]

假設我們需要訓練一個深度神經網路來預測一段文字序列的下一個單詞。我們用一個one-of-N的0-1向量來表示上下文中出現的單詞。神經網路將首先通過一個embedding層為每一個輸入的0-1向量生成一個word vector,並通過剩下的隱藏層將這些word vector轉化為目標單詞的word vector

影象隱寫術分析論文筆記Deep learning for steganalysis via convolutional neural networks

好久沒有寫論文筆記了,這裡開始一個新任務,即影象的steganalysis任務的深度網路模型。現在是論文閱讀階段,會陸續分享一些相關論文,以及基礎知識,以及傳統方法的思路,以資借鑑。 這一篇是Media Watermarking, Security, and Forensi

論文筆記Deep Attentive Tracking via Reciprocative Learning

  Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇論文地主要創新是在將注意機制引入到目標跟蹤 摘要:源自認知神經科學地視覺注意促進人類對相關的內

深度學習論文筆記Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of Planetary Gearboxes

這篇文章將深度學習演算法應用於機械故障診斷,採用了“小波包分解+深度殘差網路(ResNet)”的思路,將機械振動訊號按照故障型別進行分類。 文章的核心創新點:複雜旋轉機械系統的振動訊號包含著很多不同頻率的衝擊和振盪成分,而且不同頻帶內的振動成分在故障診斷中的重要程度經常是不同的,因此可以按照如下步驟設計深度

論文筆記Deep neural networks for YouTube recommendations

https://blog.csdn.net/xiongjiezk/article/details/73445835 Download [1] Covington P, Adams J, Sargin E. Deep neural networks for youtube recommen

論文筆記Deep Image Prior

                        &nbs

Deep LearningReview by LeCun, Bengio, and Hinton

If you only have time to read one paper on Deep Learning, read this paper. A few quotes: "This rather naive way of performing machine translation has qui

論文筆記Learning Social Image Embedding with Deep Multimodal Attention Networks

感想 這篇文章我看了一下作者是北航和微軟亞洲研究院合起來做的一篇文章,我感覺最深的是它的那個image-text network embedding的思想,用取樣的方法來降低訓練的複雜度。這也是一個深度學習注意力模型,更開心的是,論文裡面說程式碼是用keras來寫的,論文接

論文筆記Interpret Neural Networks by Identifying Critical Data Routing Paths

這是一篇做可解釋性AI的文章,文章的主要內容就是提出了一種新的資料表示分析方法,在此之上做了一些分析工作。 Abstract: 大概就是說定義了一個叫CDRPs(可分離路徑),這是文章的主要內容。 Introduction: 大多的視覺化分析方法多是定性的,沒法定量分

論文閱讀筆記Deep Learning based Recommender System: A Survey and New Perspectives

【論文閱讀筆記】Deep Learning based Recommender System: A Survey and New Perspectives 2017年12月04日 17:44:15 cskywit 閱讀數:1116更多 個人分類: 機器學習

論文筆記Learning Region Features for Object Detection

中心思想 繼Relation Network實現可學習的nms之後,MSRA的大佬們覺得目標檢測器依然不夠fully learnable,這篇文章類似之前的Deformable ROI Pooling,主要在ROI特徵的組織上做文章,文章總結了現有的各種ROI Pooling變體,提出了一個統一的數學表示式

論文筆記MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching

Abstract MatchNet:一個用來從patches中提取特徵的深度卷積網路 + 一個用來比較提取出的特徵相似度的三層全連結網路構成。 Introduction 在MatchNet中,每個patch輸入卷積網路,生成一個固定維度的類似

論文筆記i-REVNET: DEEP INVERTIBLE NETWORKS [ICLR2018]

i-REVNET: DEEP INVERTIBLE NETWORKS 基於已有的工作,RevNet,提出了可逆RevNet,能夠達到造IMAGENET上相同的分類準確率。 目錄 摘要 眾所周知,卷積神經網路(CNN)取得了很大的進步

論文筆記Deep Structured Output Learning for Unconstrained Text Recognition

寫在前面: 我看的paper大多為Computer Vision、Deep Learning相關的paper,現在基本也處於入門階段,一些理解可能不太正確。說到底,小女子才疏學淺,如果有錯誤及理解不透

論文筆記Tag-Aware Personalized Recommendation Using a Hybrid Deep Model

感想 這篇論文,我斷斷續續的看了幾天,作者做的工作也挺多的,我感覺論文的資料集還是不夠大,還不足以支撐訓練其它深度神經網路的地步。本文提出的混合深度學習完全是autoencoder的一個變體,用來解決標籤資料稀疏性,不可控詞彙表等問題,由於添加了重構誤差函式,和一般深度學習

論文deep Learning 深度學習合集

Deep Learning Very Deep Convolutional Networks for Large-Scale Image Recognition ICLR 2015 問題 網路模型不夠深 方法** 用3個 3x3的核 替換

論文閱讀Deep Relative Distance Learning: Tell the Difference Between Similar Vehicles

Preface 這是我參加今年智慧城市比賽的任務:車輛精確檢索,看的論文。 Abstract 這篇文章所提出的,網路整體架構為: Deep Relative Distance Learning Triplet Loss 在

Deep Learning 讀書筆記(十五)Deep Learning from Temporal Coherence in Video

       原來不是說好的不做視訊與影象改做NLP方向了嗎,怎麼這篇又是關於原來方面的。因為突然想起了原來的一個點子,是關於卷積神經網路學習演算法的,希望通過這個演算法使得CNN能夠對視訊資料進行學習。我是希望先琢磨下這個想法的可行性,然後把它交給師弟師妹們來做,也算是盡

論文筆記TextBoxes: A Fast Text Detector with a Single Deep Neural Network

在自然場景中,場景文字(Scene text)是最常見的視覺物件(visual objects)之一。經常出現在路標,車牌,產品包裝袋上等等。閱讀場景文字產生了很多有用的應用,例如基於圖片的地理定位(image-basedgeolocation)。儘管它和傳統的OCR很相似,但是場景文字的閱讀更具有挑戰性,因

論文筆記目標追蹤-CVPR2014-Adaptive Color Attributes for Real-time Visual Tracking

exploit orm dom ons tail red 最好 早期 形式化 基於自適應顏色屬性的目標追蹤 Adaptive Color Attributes for Real-Time Visual Tracking 基於自適應顏色屬性的實時視覺追蹤 3月講的第一