【NLP】NMT之RNN結構
RNN一般有三種結構：vanilla RNN，LSTM，GRU。
1. vanilla RNN
最簡單的RNN：
2. GRU
使用兩個門，reset使用多少過去cell的資訊，update門控制該資訊有多少用於更新當前cell，在GRU中a即為 c。
3. LSTM
使用三個門。
4. attention model
attention 也用於緩解long-tem dependency。
使用前往網路訓練計算：
相關推薦
【NLP】NMT之RNN結構
RNN一般有三種結構：vanilla RNN，LSTM，GRU。 1. vanilla RNN 最簡單的RNN： 2. GRU 使用兩個門，reset使用多少過去cell的資訊，update門控制該資訊有多少用於更新當前cell，在GRU中a即為 c。 3. LSTM
【NLP】NMT之BLEU
BLEU score 用來評價一個翻譯系統的好壞。計算公式如下： N指使用N-gram計算Pn。BLEU越高越好。 1. 計算Pn Pn = (候選譯文與參考譯文相同的N-gram數目) / (候選譯文中所有N-gram的數目) wn為權重，可以取
【Java】 大話數據結構(2) 線性表之單鏈表
out 返回 opened time 頭結點 tel color strong 基本數據類型 本文根據《大話數據結構》一書，實現了Java版的單鏈表。 書中的線性表抽象數據類型定義如下（第45頁）： 實現程序： package LinkList; /** * 說
【NLP】【六】gensim之doc2vec
【一】總述 doc2vec是指將句子、段落或者文章使用向量來表示，這樣可以方便的計算句子、文章、段落的相似度。 【二】使用方法介紹 1. 預料準備 def read_corpus(fname, tokens_only=False): with open(fname, enc
【NLP】【五】gensim之Word2Vec
【一】整體流程綜述 gensim底層封裝了Google的Word2Vec的c介面，藉此實現了word2vec。使用gensim介面非常方便，整體流程如下： 1. 資料預處理（分詞後的資料） 2. 資料讀取 3.模型定義與訓練 4.模型儲存與載入 5.模型使用（相似度計算，詞向
【NLP】【三】jieba原始碼分析之關鍵字提取（TF-IDF/TextRank）
【一】綜述 利用jieba進行關鍵字提取時，有兩種介面。一個基於TF-IDF演算法，一個基於TextRank演算法。TF-IDF演算法，完全基於詞頻統計來計算詞的權重，然後排序，在返回TopK個詞作為關鍵字。TextRank相對於TF-IDF，基本思路一致，也是基於統計的思想，只不過其計算詞的權
【NLP】【二】jieba原始碼分析之分詞
【一】詞典載入 利用jieba進行分詞時，jieba會自動載入詞典，這裡jieba使用python中的字典資料結構進行字典資料的儲存，其中key為word，value為frequency即詞頻。 1. jieba中的詞典如下： jieba/dict.txt X光 3 n X光線 3
【NLP】【一】中文分詞之jieba
宣告：本文參考jieba官方文件而成，官方連結：https://github.com/fxsjy/jieba 【一】jieba安裝 pip install jieba 【二】jieba簡介 簡介可見jieba官方說明：https://pypi.org/project/jieba/
【NLP】【四】jieba原始碼分析之詞性標註
【一】詞性標註 詞性標註分為2部分，首先是分詞，然後基於分詞結果做詞性標註。 【二】jieba的詞性標註程式碼流程詳解 1. 程式碼位置 jieba/posseg/_init_.py 2. 流程分析 def cut(sentence, HMM=True): """
【NLP】【十一】基於RNN和tf.keras 實現文字生成
【一】宣告 本文源自TensorFlow官方指導（https://tensorflow.google.cn/tutorials/sequences/text_generation），增加了部分細節說明。 【二】綜述 1. tf.keras與keras有如下三個較大的不同點 1）：op
深度學習筆記——理論與推導之Structured Learning【NLP】（十二）
Language Technology Meaning of Word（一個vector表示一個word） Predicting the next word 給一串sequence of words，預測下一個單詞 我們現在要做的就是將wi
【NLP】大資料之行，始於足下：談談語料庫知多少
作者：白寧超 2016年7月20日13:47:51 摘要：大資料發展的基石就是資料量的指數增加，無論是資料探勘、文字處理、自然語言處理還是機器模型的構建，大多都是基於一定量的資料，資料規模達到一定程度，採用基於規則方法或者概率統計學的方法進行模型構建，感興趣知識的獲取才更有意義。那麼，是不是資料足
【nlp】【base】 之 詞向量
算了，落後太多都不好意思說自己是搞大資料的了，最近被專案纏身都沒有好好進修技術，有時候做出工作成績與保持飢餓學習狀態不應該成為矛盾，至此，加油！ 自然語言理解的問題要轉化為機器學習的問題，第一步肯定是要找一種方法把這些符號數學化。詞向量就是用來將語言中的詞進行
【轉】linux之cp/scp命令＋scp命令詳解
特殊 是否 用戶登錄 usr 指定 highlight 顯示 檔案 三種 linux之cp/scp命令＋scp命令詳解 名稱：cp 使用權限：所有使用者 使用方式： cp [options] source dest cp [options] source
【NLP】Python實例：基於文本相似度對申報項目進行查重設計
用戶 strip() 字符串 執行 原創 這樣的 string 得到 亂碼問題 Python實例：申報項目查重系統設計與實現 作者：白寧超 2017年5月18日17:51:37 摘要：關於查重系統很多人並不陌生，無論本科還是碩博畢業都不可避免涉及論文查重問題，這也
【轉】c#之繼承
none 實現 void 運算符重載 調用方法 需要 strong 靜態 顯式 一.繼承的類型 在面向對象的編程中，有兩種截然不同繼承類型：實現繼承和接口繼承 1.實現繼承和接口繼承 *實現繼承：表示一個類型派生於基類型，它擁有該基類型的所有成員字段和函
【轉】C#之集合
tab 並發集合 get spa style con 都在 src 字典 數組（http://www.cnblogs.com/afei-24/p/6738128.html）的大小是固定的。如果元素的個數是動態的，就應使用集合類。 列表（http://www.cn
【Spring】SpringMVC之異常處理
存儲 targe 存在 cnblogs del file 處理機制 href click java中的異常分為兩類，一種是運行時異常，一種是非運行時異常。在JavaSE中，運行時異常都是通過try{}catch{}捕獲的，這種只能捕獲顯示的異常，通常項目上拋出的異常都是不可
【Spring】SpringMVC之攔截器
https javax request orm bin 支持 exceptio 賬號 intern Spring的HandlerMapping處理器支持攔截器應用。當需要為某些請求提供特殊功能時，例如實現對用戶進行身份認證、登錄檢查等功能。 攔截器必須實現HandlerI
【Spring】SpringMVC之REST編程風格
data springmvc 4.0 gen rip servle truct -name insert REST架構是一個抽象的概念，目前主要是基於HTTP協議實現，其目的是為了提高系統的可伸縮性、降低應用之間的耦合度、便於架構分布式處理程序。 在URL中設置使用