正經煉丹師如何完美安排國慶長假?
@zhoujie17 推薦
#Graph-to-Sequence Learning
本文提出了一種新的 encoder-decoder 框架來進行 graph-to-sequence 即圖到序列的學習,在 AMR 圖的序列生成和基於句法的神經機器翻譯任務上取得了較好的結果。 本文提出的方法解決了之前工作中存在的問題,包括將圖結構線性化造成的資訊丟失以及引數爆炸問題。
本文提出了一種圖的轉換方法,通過將圖轉換為 Levi 圖從而解決了上述問題。同時該框架將 Gated GraphNeural Network加入到 encoder 部分,其餘部分採用 seq2seq 的原始結構,在兩個任務上取得了超越了 seq2seq 的結果。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2301
原始碼連結
https://github.com/beckdaniel/acl2018_graph2seq
@paperweekly 推薦
#Dialog Systems
本文是上海交大發表於 COLING 2018 的工作,研究的問題是檢索型對話系統。 論文提出了一個深度對話整合模型,解決了以往對話理解模型中將多句對話話語直接拼接而忽略話語間關係的問題。
具體來說,論文模型將過往對話整合到 context 中,根據話語和回覆挖掘關鍵資訊,然後將每一個過往話語與回覆進行語義匹配得到匹配分數。其中將最重要的回覆前最後一句話語(可視為 query),與其他過往話語的向量表示進行了融合,並通過編碼使每句話語中的關鍵資訊得到凸顯、過濾冗餘資訊。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2352
原始碼連結
https://github.com/cooelf/DeepUtteranceAggregation
@guohao916 推薦
#Machine Reading Comprehension
生活中,人們通常根據一系列相互關聯的問答情況來收集資訊。因此使用基於對話的機器閱讀理解可以更有利於資訊的收集。針對該場景, 本文釋出了一個基於對話的機器閱讀理解資料集 CoQA 。與以往的機器閱讀理解資料集如 SQUAD 不同,該資料集存在以下特點:
1. 與之前資料集中答案通常存在於篇章的句子片段中的情況不同,該資料集在生成過程中儘量避免使用句子中已經存在的短語或者片段,以短語或者片段的同義詞或者同義片段的形式呈現;
2. 問題的答案中存在自由形式的短語片段,即需要對多條篇章句子加以歸納總結;
3. 篇章分別來自一系列不同的領域;
4. 和多輪對話的情況類似,問答對呈現出連續多輪的特點,平均輪數為 15 輪。問答對呈現出序列性的依賴關係。
該問題可以看成對話系統和問答系統的一個綜合性的應用。 論文使用多種基準演算法進行對比實驗,包括Seq2Seq, PGNet, DrQA 以及 DrQA+PGNet。實驗結果表明效果最優的模型 DrQA+PGNet 依然比人工標註得到的 F1 指標數目要低很多,因此該資料集具有很大的模型提升空間。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2251
原始碼連結
https://github.com/stanfordnlp/coqa-baselines
@tobiaslee推薦
#Text Generation
本文是北京大學發表於 NAACL 2018 的工作。 論文借鑑了 Attention is All your Need 的思想,通過Query的方式來進行文字的生成。
傳統文字生成的方式會使用一層全連線層將隱層狀態對映到詞表上,獲得一個概率分佈,這樣做存在兩個問題:引數量巨大和語言關係的丟失(沒考慮到詞的概率之間的關聯關係)。
本文采用將候選詞作為 value, 而對應的 word embedding 則是 key,通過將 RNN 的輸出作為 query,根據 query 和 embedding 的 similarity 來進行生成詞的選取。
▲ 論文模型:點選檢視大圖

論文連結
https://www.paperweekly.site/papers/2302
原始碼連結
https://github.com/lancopku/WEAN
@paperweekly 推薦
#Question Answer Matching
本文是漢諾威大學發表於 SIGIR 2018 的工作。Answer Selection 是 QA 任務中的重要子任務,現有方法往往先通過單個向量對問題和回答進行表示,然後再計算打分。 論文 提出了一種多階段的 Sequential Attention 機制,將問題進行多次 attention,從而使得能夠在不同階段注意到答案不同的階段,有效處理了長文字語義的表達問題。
實驗表明,本文提出的模型在各主流 QA 資料集(TREC-QA、WikiQA、InsuranceQA、FiQA)上均取得了最優表現。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2338
@mrililili 推薦
#Natural Language Inference
本文來自赫爾辛基大學,論文主要關注的是自然語言推理任務。 作者利用多層雙向LSTM進行句子編碼,並用上一個LSTM的結果初始化下一個LSTM ,取得了較好的結果。此外,實驗表明本文提出的句子嵌入方法可應用於各類遷移學習任務。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2323
原始碼連結
https://github.com/Helsinki-NLP/HBMP
@paperweekly 推薦
#Natural Language Understanding
自然語言處理任務的成功取決於標註資料的數量和質量,訓練資料不足將直接影響任務精度和準確度。 針對文字語料不足的情況,本文提出了一種將神經網路和正則表示式相結合的方法,來改進 NLP 的監督學習。
本文提出的方法在少量學習和完整註釋設定上都明顯提高了神經網路的效能。此外,本文為如何將 REs 與 NNs 和 RE 註釋相結合提供了一套指南。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2344
資料集連結
http://www.lancaster.ac.uk/staff/wangz3/publications/ACLData.zip
@lunar 推薦
#Dataset Creation
本文是由 CMU 的一眾科學家釋出的一個公開資料集,他們組織了 4 個受試者去觀察 5000 張圖片,並在他們觀察圖片時記錄下當時腦部的核磁共振圖。 通過該資料集,我們可以將人工神經網路和人類神經網路聯合起來分析,可以想象通過這個資料集,可以做出許多有趣的工作。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2325
原始碼連結
https://bold5000.github.io/
@paperweekly 推薦
#Pedestrian Detection
本文是中科院自動化發表於 ECCV 2018 的工作。 本文重點關注行人檢測中的遮擋問題,併為此提出了兩種遮擋處理策略。 作者在Faster R-CNN的基礎上提出了一種全新方法——OR-CNN ,其主要包括兩個部分:第一階 段RPN 產生目標候選框,第二階段 Fast R-CNN 對目標候選框進行進一步的分類和迴歸。
▲ 論文模型:點選檢視大圖
論文連結
ofollow,noindex" target="_blank">https://www.paperweekly.site/papers/2364

@paperweekly 推薦
#Semantic Segmentation
本文是 UC Berkeley 發表於 ECCV 2018 的工作, 論文提出了一種以自適應相似場(Adaptive Affinity Fields )來輔助語義分割的方法,增強了網路對目標結構推理的能力 ,取得了非常顯著的效能提升。
此外, 本文提出的方法也是一種全新的深度學習結構建模方法 ,不僅可以用於語義分割,理論上也適用於影象深度估計、光流計算等對影象進行畫素級理解的任何場景。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2365
原始碼連結
https://github.com/twke18/Adaptive_Affinity_Fields
@paperweekly 推薦
#Person Re-ID
本文是復旦大學發表於 ECCV 2018 的工作,論文主要研究的是行人重識別任務中的人體姿態變化問題。 作者利用 GAN 生成新的姿態行人圖片,然後融合原圖和生成圖的 ReID 特徵作為最終特徵。 在測試階段,論文定義了八種代表性的姿態,然後生成八張人造圖,加上原圖總共可以得到九個特徵,最後使用 max pooling 得到最終的 ReID 特徵。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2361
原始碼連結
https://github.com/naiq/PN_GAN
@DanielTANG 推薦
#Object Tracking
本文來自 UCL, 論文提出了一種動態 RGBD SLAM 方案 ,不僅能實現實時的場景感知3D 重建,而且利用了 Mask RCNN 以及幾何分割對 2D 影象進行例項分割,同時對映到 3D,建立 3D 模型的語義分割。 並且將要開放原始碼,對於語義 SLAM 研究有著一定幫助。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2314
@woonchao 推薦
#3D Reconstruction
本文是香港中文大學和騰訊優圖聯合發表於 ECCV 2018 的工作, 論文提出了一個用於基於點雲的 3D 模型重建損失函式,相較於傳統的 Chamfer distance,這個損失能更好的刻畫全域性資訊,對於提升 3D 模型重建效果有很大幫助。
論文用 GAL 來刻畫重建之後的模型損失,它由兩個術語組成,其中幾何損失確保從不同視點接近 Groundtruth 的重建 3D 模型的一致形狀,條件對抗性損失生成具有語義意義的點雲。
▲ 論文模型:點選檢視大圖
論文連結
@paperweekly 推薦
#Image Retrieval
本文是廈門大學和悉尼科技大學發表於 ECCV 2018 的工作, 論文提出了一種異質同源學習方法來解決無監督域適應問題 ,歸根結底其依然是基於 GAN 生成圖的工作。
本文工作主要基於兩個假設:1. 相機不變性,同未標註的正樣本對來學習到相機的風格;2. 域連通性,即 source 和 target 域的行人圖片預設沒有重疊,是負樣本對。第一點是同源學習,因為用的樣本都是相同域的。第二點是異質學習,因為用到了兩個域的樣本。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2362
原始碼連結
https://github.com/zhunzhong07/HHL
@xuehansheng推薦
#Network Embedding
本文是香港科技大學和騰訊發表於 IJCAI 2018的工作, 論文提出了一種可擴充套件的多路複用網路嵌入模型(scalable multiplex network embedding model),將多字形關係的資訊表示為一個統一的嵌入空間。
為了在保持其獨特屬性的同時組合不同型別關係的資訊,對於每個節點,作者為每種型別的關係提出一個高維公共嵌入和低維附加嵌入。然後,可以基於統一的網路嵌入模型聯合學習多個關係。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2305
原始碼連結
https://github.com/HKUST-KnowComp/MNE
@simonhua推薦
#Neural Networks
本文利用 ML 對網路進行建模用來評估網路效能,成功對網路建模有利於網路優化,配合 SDN 在 SDN 控制器的幫助下能夠有效對網路配置進行合理優化。本文提出了使用神經網路根據輸入流量函式準確對網路時延進行建模。
作者基於不同計算機網路引數(網路拓撲,網路大小,流量強度,路由策略)訓練了不同神經網路模型,研究了不同的計算機網路引數對於學習能力有何影響,對未來使用機器學習對網路建模的可行性進行了驗證並提出了幾點討論建議,可以作為實際環境部署的指南方針。
▲ 論文模型:點選檢視大圖
論文連結
@MADONG 推薦
#Deep Reinforcement Learning
本文來自 DeepMind,論文主要貢獻如下:
1. 關係推理中深度學習的加入: 深度學習讓關係表達的物件得以加入到我們的控制中,原先無法直接處理的物理物件可以引入了,這樣 agent 與真實世界的互動變得可能了,推理也就變得有意義了。深度學習對特徵的提取功能,讓關係強化學習能夠關注在深度學習抽象後的特徵中,把特徵對應成自己需要掌握的關係物件。這樣其實比直接對應真實的物體更進一步;
2. Attention 模組的加入:Attention 模組讓關係強化學習中關係的表達得以更優秀。原本的 RNN 等演算法對於序列的長短比較敏感,但是在 attention 機制下,兩個向量之間關係的計算不再受向量之間距離的影響。同一個場景下歐式距離較遠的物件也可以很好的提取出存在的關係;
3.強化學習的加入: 在這裡主要是監督 attention 模組中權值 w 的改變調整。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2300
@xuehansheng 推薦
#Network Embedding
本文來自亞利桑那州立大學, 論文提出了一種新穎的多級網路嵌入框架 BoostNE,它可以學習從粗到細的不同粒度的多個網路嵌入表示,而不會強加普遍的全域性低秩假設。 方法新穎值得深入研究。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2269
@linxi2333 推薦
#Audio Generation
本文是對 DeepMind 的 Tacotron2 的改進,Tacotron2 是一種端到端的語音合成系統。 論文單高斯簡化了 parallel WaveNet 的 KL目標函式,改進了蒸餾演算法(distillation),使得結構更簡單,更穩定;通過 Bridge-net 連線了 Tacotron(特徵預測網路)和 WaveNet,徹底實現端到端。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2290
Demo連結
https://clarinet-demo.github.io/
@Ttssxuan 推薦
#Reinforcement Learning
本文對 ALE (Arcade Learning Environment) 平臺做了進一步深入介紹,主要從以下幾點出發:1. 總結了關於 ALE 相關問題的經驗,如:Frame skipping, Color averaging and frame pooling 等;2. 總結最新成果,以及當前待解決的一些問題 ;3. 新的 ALE 版本,介紹了新平臺的特性,如:sticky actions, multiple game modes 等。
▲ 論文模型:點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2343
原始碼連結
https://github.com/mgbellemare/Arcade-Learning-Environment
理論 人工智慧 論文
相關資料
Neural Network
(人工)神經網路是一種起源於 20 世紀 50 年代的監督式機器學習模型,那時候研究者構想了「感知器(perceptron)」的想法。這一領域的研究者通常被稱為「聯結主義者(Connectionist)」,因為這種模型模擬了人腦的功能。神經網路模型通常是通過反向傳播演算法應用梯度下降訓練的。目前神經網路有兩大主要型別,它們都是前饋神經網路:卷積神經網路(CNN)和迴圈神經網路(RNN),其中 RNN 又包含長短期記憶(LSTM)、門控迴圈單元(GRU)等等。深度學習是一種主要應用於神經網路幫助其取得更好結果的技術。儘管神經網路主要用於監督學習,但也有一些為無監督學習設計的變體,比如自動編碼器和生成對抗網路(GAN)。
來源:機器之心
Neural Machine Translation
2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一種用於機器翻譯的新型端到端編碼器-解碼器結構 [4]。該模型可以使用卷積神經網路(CNN)將給定的一段源文字編碼成一個連續的向量,然後再使用迴圈神經網路(RNN)作為解碼器將該狀態向量轉換成目標語言。他們的研究成果可以說是神經機器翻譯(NMT)的誕生;神經機器翻譯是一種使用深度學習神經網路獲取自然語言之間的對映關係的方法。NMT 的非線性對映不同於線性的 SMT 模型,而且是使用了連線編碼器和解碼器的狀態向量來描述語義的等價關係。此外,RNN 應該還能得到無限長句子背後的資訊,從而解決所謂的「長距離重新排序(long distance reordering)」問題。
來源:機器之心
baseline
一種簡單的模型或啟發法,用作比較模型效果時的參考點。基準有助於模型開發者針對特定問題量化最低預期效果。
來源: sary" target="_blank" rel="nofollow,noindex">Google ML Glossary
Machine Learning
機器學習是人工智慧的一個分支,是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、計算複雜性理論等多門學科。機器學習理論主要是設計和分析一些讓計算機可以自動“學習”的演算法。因為學習演算法中涉及了大量的統計學理論,機器學習與推斷統計學聯絡尤為密切,也被稱為統計學習理論。演算法設計方面,機器學習理論關注可以實現的,行之有效的學習演算法。
來源:Mitchell, T. (1997). Machine Learning. McGraw Hill.
Mapping
對映指的是具有某種特殊結構的函式,或泛指類函式思想的範疇論中的態射。 邏輯和圖論中也有一些不太常規的用法。其數學定義為:兩個非空集合A與B間存在著對應關係f,而且對於A中的每一個元素x,B中總有有唯一的一個元素y與它對應,就這種對應為從A到B的對映,記作f:A→B。其中,y稱為元素x在對映f下的象,記作:y=f(x)。x稱為y關於對映f的原象*。*集合A中所有元素的象的集合稱為對映f的值域,記作f(A)。同樣的,在機器學習中,對映就是輸入與輸出之間的對應關係。
來源: Wikipedia
Loss function
在數學優化,統計學,計量經濟學,決策理論,機器學習和計算神經科學等領域,損失函式或成本函式是將一或多個變數的一個事件或值對映為可以直觀地表示某種與之相關“成本”的實數的函式。
來源: Wikipedia
Question Answering
問答系統是未來自然語言處理的明日之星。問答系統外部的行為上來看,其與目前主流資訊檢索技術有兩點不同:首先是查詢方式為完整而口語化的問句,再來則是其回傳的為高精準度網頁結果或明確的答案字串。以Ask Jeeves為例,使用者不需要思考該使用什麼樣的問法才能夠得到理想的答案,只需要用口語化的方式直接提問如“請問誰是美國總統?”即可。而系統在瞭解使用者問句後,會非常清楚地回答“奧巴馬是美國總統”。面對這種系統,使用者不需要費心去一一檢視搜尋引擎回傳的網頁,對於資訊檢索的效率與資訊的普及都有很大幫助。從系統內部來看,問答系統使用了大量有別於傳統資訊檢索系統自然語言處理技術,如自然語言剖析(Natural Language Parsing)、問題分類(Question Classification)、專名辨識(Named Entity Recognition)等等。少數系統甚至會使用複雜的邏輯推理機制,來區隔出需要推理機制才能夠區隔出來的答案。在系統所使用的資料上,除了傳統資訊檢索會使用到的資料外(如字典),問答系統還會使用本體論等語義資料,或者利用網頁來增加資料的豐富性。
來源: 維基百科
Objective function
目標函式f(x)就是用設計變數來表示的所追求的目標形式,所以目標函式就是設計變數的函式,是一個標量。從工程意義講,目標函式是系統的效能標準,比如,一個結構的最輕重量、最低造價、最合理形式;一件產品的最短生產時間、最小能量消耗;一個實驗的最佳配方等等,建立目標函式的過程就是尋找設計變數與目標的關係的過程,目標函式和設計變數的關係可用曲線、曲面或超曲面表示。
來源: 百度百科
perception
知覺或感知是外界刺激作用於感官時,腦對外界的整體的看法和理解,為我們對外界的感官資訊進行組織和解釋。在認知科學中,也可看作一組程式,包括獲取資訊、理解資訊、篩選資訊、組織資訊。與感覺不同,知覺反映的是由物件的各樣屬性及關係構成的整體。
來源: 維基百科
Reinforcement learning
強化學習是一種試錯方法,其目標是讓軟體智慧體在特定環境中能夠採取回報最大化的行為。強化學習在馬爾可夫決策過程環境中主要使用的技術是動態規劃(Dynamic Programming)。流行的強化學習方法包括自適應動態規劃(ADP)、時間差分(TD)學習、狀態-動作-回報-狀態-動作(SARSA)演算法、Q 學習、深度強化學習(DQN);其應用包括下棋類遊戲、機器人控制和工作排程等。
來源:機器之心
Speech synthesis
語音合成,又稱文語轉換(Text to Speech)技術,是將人類語音用人工的方式所產生,能將任意文字資訊實時轉化為標準流暢的語音朗讀出來,相當於給機器裝上了人工嘴巴。它涉及聲學、語言學、數字訊號處理、電腦科學等多個學科技術,是資訊處理領域的一項前沿技術,解決的主要問題就是如何將文字資訊轉化為可聽的聲音資訊,也即讓機器像人一樣開口說話。
Supervised learning
監督式學習(Supervised learning),是機器學習中的一個方法,可以由標記好的訓練集中學到或建立一個模式(函式 / learning model),並依此模式推測新的例項。訓練集是由一系列的訓練範例組成,每個訓練範例則由輸入物件(通常是向量)和預期輸出所組成。函式的輸出可以是一個連續的值(稱為迴歸分析),或是預測一個分類標籤(稱作分類)。
來源: Wikipedia
Transfer learning
遷移學習是一種機器學習方法,就是把為任務 A 開發的模型作為初始點,重新使用在為任務 B 開發模型的過程中。遷移學習是通過從已學習的相關任務中轉移知識來改進學習的新任務,雖然大多數機器學習演算法都是為了解決單個任務而設計的,但是促進遷移學習的演算法的開發是機器學習社群持續關注的話題。 遷移學習對人類來說很常見,例如,我們可能會發現學習識別蘋果可能有助於識別梨,或者學習彈奏電子琴可能有助於學習鋼琴。
來源:機器之心Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
xor
在數字邏輯中,邏輯算符互斥或閘(exclusive or)是對兩個運算元的一種邏輯分析型別,符號為XOR或EOR或⊕。與一般的邏輯或OR不同,當兩兩數值相同為否,而數值不同時為真。
來源: 維基百科
Deep learning
深度學習(deep learning)是機器學習的分支,是一種試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象的演算法。 深度學習是機器學習中一種基於對資料進行表徵學習的演算法,至今已有數種深度學習框架,如卷積神經網路和深度置信網路和遞迴神經網路等已被應用在計算機視覺、語音識別、自然語言處理、音訊識別與生物資訊學等領域並獲取了極好的效果。
來源: LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
Seq2Seq
Long Short-Term Memory

PaperWeekly 是一個推薦、解讀、討論和報道人工智慧前沿論文成果的學術平臺,

推薦、解讀、討論和報道人工智慧前沿論文成果的學術平臺。