2. 程式人生 > >NLP ---分詞詳解（常見的五種分詞技術一）

NLP ---分詞詳解（常見的五種分詞技術一）

阿新 • • 發佈：2018-12-30

上一節我們簡單的介紹了分詞的起源，本節將介紹五種分詞效果比較好的分詞方法，他們都是基於統計的，分別為：N最短路徑法、基於詞的n元語法模型的分詞方法、由字夠詞的漢語分詞方法、基於詞感知機演算法的漢語分詞方法、基於字的生成模型和區分式模型相結合的漢語分詞方法。下面我們就一一的介紹他們：

N最短路徑法

N一最短路徑方法，其基本思想是根據詞典,找出字串中所有可能的詞,構造詞語切分有向無環圖。每個詞對應圖中的一條有向邊,並賦給相應的邊長(權值)。然後針對該切分圖,在起點到終點的所有路徑中,求出長度值按嚴格升序排列(任何兩個不同位置上的值一定不等,下同)依次為第1,第2,…,第i,…,第N的路徑集合作為相應的粗分結果集。如果兩條或兩條以上路徑長度相等,那麼他們的長度並列第i,都要列人粗分結果集,而且不影響其他路徑的排列序號,最後的粗分結果集合大小大於或等於N。
模型求解


設待分字串S = c_1,c_2,...,c_n其中c_i(i=1,2,…,n)為單個的字,n為串的長度,n\geq 1。建立一個節點數為n+1的切分有向無環圖G,各節點編號依次為\large V_0,V_1,V_2,...,V_n。
通過以下兩種方法建立G所有可能的詞邊。
(1) 相鄰節點V_{k-1},V_k之間建立有向邊\left \langle V_{k-1},V_k \right \rangle,邊的長度值為L_k,邊對應的詞預設為c_k(k=1,2,..,n)
(2)若w =c_i,c_{i+1},...,c_j是一個詞,則節點V_{i-1},V_j之間建立有向邊\left \langle V_{i-1},V_j \right \rangle,邊的長度值為L_w,邊對應的詞為w(0< i< j\leq n)
這樣,待分字串S中包含的所有詞與切分有向無環圖G中的邊一一對應。如下圖所示:

       在非統計粗分模型中,我們假定所有的詞都是對等的,為了計算方便,不妨將詞的對應邊長的邊長均設為1。
       設NSP為V_0

到V_n的N一最短路徑集合;而RS是最終的N一最短路徑粗分結果集,則RS是NSP對應的分詞結果,即我們所求的粗分結果集。因此,N一最短路徑方法詞語粗切問題轉化為如何求解有向無環圖G的集合NSP。
N一最短路徑求解與複雜度分析
求解有向無環圖G的集合NsP,可以採取貪心方法。我們使用的演算法是基於Dijk-star的一種簡單擴充套件。改進的地方在於每個節點處記錄N個最短路徑值,並記錄相應路徑上當前節點的前驅。如果同一長度對應多條路徑,必須同時記錄這些路徑上當前節點的前驅。最後通過回溯即可求出NSP。
我們以“他說的確實在理”為例,給出了3一最短路徑的求解過程。如下圖所示。

上圖，虛線是回溯出的是第一條最短路徑，對應的粗分結果為：“他/說/的/確實/在理/”，Table（2），Table(3)，Table（7）分別為結點2、3、....、7對應的資訊記錄表，Table（0）、Table（1）的資訊記錄表沒有給出。每個結點的資訊記錄表裡的編號為路徑不同長度的編號，按由小到大的順序排列，編號最大不超過N。如Table（5）表示從結點0出發到達結點5有兩條長度為4的路徑（分別為0一1一2一4一5和0一1一2一3一5）和一條長度為5的路徑（0一1一2一3一4一5）。前驅(i,j)

表示沿著當前路徑到達當前結點的最後一條邊的出發結點為i，即當前結點的前一個結點為i，相應的邊為結點i的資訊記錄表中編號為j的路徑。如果j=0，表示沒有其他候選的路徑。如結點7對應的資訊記錄表Table(7)中編號為1的路徑前驅（5，1)表示前一條邊為結點5的資訊表中第1條路徑。類似地，Table（5）中的前驅（3，1)表示前驅為結點3的資訊記錄表中的第1條路徑。     Table(3）中的（2，0）表示前驅邊的出發點為結點2，沒有其他候選路徑。資訊記錄表為系統回溯找出所有可選路徑提供了依據。
 基於統計資訊的粗分模型

考慮到在非統計模型構建粗切分有向無環圖的過程中，給每個詞對應邊的長度賦值為10隨著字串長度”和最短路徑數N的增大，長度相同的路徑數急劇增加，同時粗切分結果數量必然上升。例如，當N=2時，句子“江澤民在北京人民大會堂會見參加全國法
院工作會議和全國法院系統打擊經濟犯罪先進集體表彰大會代表時要求大家要充分認識打擊經濟犯罪工作的艱鉅性和長期性”的粗切分結果居然有138種之多。這樣，大量的切分結果對後期處理以及整個分詞系統性能的提高非常不利。因此，張華平等人（2002）又給出了一種基於統計資訊的粗分模型。
      假定一個詞串W經過通道傳送，由於噪聲干擾而丟失了詞界的切分標誌，到輸出端便成了漢字串C。N一最短路徑方法詞語粗分模型可以相應地改進為：求N個候選切分W，使概率P(W|C)為前N個最大值：

                                                                       \large P(W|C) = \frac{P(W)P(C|W)}{P(C)}

其中，P(C)是漢字串的概率，他是一個常數，不必考慮，從詞串恢復到漢字串的概率P(C|W)=1（只有唯一的一種方式）。

因此，粗分的目標就是確定P(W)最大的N種切分結果。為了簡化計算，張華平等人採用一元統計模型。假設W = w_1w_2...w_m是字串S =c_1c_2...c_n的一種切分結果。w_i是一個詞，P(w_i)表示詞w_i出現的概率，在大規模語料訓練的基礎上通過最大似然估計方法求得。切分W的概率為
                                                                         \large P(W) = \prod_{i=1}^{m}P(w_i)
為了處理方便，令P*(W) = -ln(P(W)) = \sum_{i=1}^{m}[-ln(P(w_i))]，這樣-lnP(w_i)就可以看做是詞w_i在切分有向無環圖中對應的邊長（做適當的資料平滑處理）。於是，求上式的最大值問題轉化為求P^*(W)的最小值問題。 針對修改了邊長後的切分有向無環圖G·，直接使用非統計粗分模型的求解演算法，就可以獲得問題的最終解。
      張華平等（2002）通過使用185192個句子進行分詞測試，在N=10的情況下，非統計粗分模型和統計粗分模型切分句子的召回率分別為99.73‰和99.94％，均高於最大匹配方法和最短路徑方法獲得的召回率。N一10時統計粗分模型的召回率比全切分方法[馬晏，1996]的召回率低0.06％，但粗分結果切分句子平均數僅為全切分方法的1/64。

分詞效能評測指標

自動分詞系統主要效能指標是分詞的精確率P和召回率R，他們的定義為：

這裡假設有已知的分詞的文字，即知道文字的正確的總分詞數假如為1200詞，然後我通過自動分詞工具進行對此分詞，假如，自動分詞把該文字分成1000詞 ，其中正確分詞的有900個詞，那麼精確率就是900/1000=0.9，召回率是把切分正確的詞除以標準文字的總詞數即為900/1200 = 0.75，這兩個是指標是有矛盾的，假如我提高召回率，只需要提高切分正確的總詞數即可，然而想要提高這個指標需要提高分詞的總詞數，但是一旦提高這個，精確率就會降低，因此這兩個指標是相互制約的，如何解決呢？

一般來說,精確率P和召回率R是相互制約的,提高召回率的措施往往導致精確率的下降,反之亦然。因此在比較兩個分詞系統的效能時,只考察這兩個指標中的一個往往是片面的。為了對比的方便,學術界經常採用P和R的調和平均值F作為第三個效能評價指
標。下面是F的計算公式,式中\beta是P的加權因子(一般令\beta=1):

下面我們繼續看看其他的分詞方法。

 基於詞的n元語法模型的分詞方法

基於詞的n元文法模型是一個典型的生成式模型，早期很多統計分詞方法均以它為基本模型，然後配合其他未登入詞識別模組進行擴充套件。其基本思想是：首先根據詞典（可以是從訓練語料中抽取出來的詞典，也可以是外部詞典）對句子進行簡單匹配，找出所有可能的詞典詞，然後，將它們和所有單個字作為結點，構造的”元的切分詞圖，圖中的結點表示可能的詞候選，邊表示路徑，邊上的”元概率表示代價，最後利用相關搜尋演算法（如Viterbi演算法）從圖中找到代價最小的路徑作為最後的分詞結果。以輸人句子“研究生物學”為例，下圖給出了基於二元文法的切分詞圖。

由於未登入詞的識別是漢語分詞過程中的關鍵問題之一，因此，很多專家認為未登入詞的識別與歧義切分應該是一體化處理的過程，而不是相互分離的。RichardSproat等人（1996）曾提出了基於加權的有限狀態轉換機(weightedfinit&statetransducer)模型與未登入詞識別一體化切分的實現方法。受這種方法的啟發，J．Gao等人（2003）提出了基於改進的信源通道模型的分詞方法。現在簡要介紹一下這種基於統計語言模型的分詞方法。
為了給自動分詞任務一個明確的定義，J，Gao等人（2003）對文字中的詞給出了一個可操作的定義，把漢語詞定義成下列4類：
（1）待切分文字中能與分詞詞表中任意一個詞相匹配的欄位為一個詞。
（2）文字中任意一個經詞法派生出來的詞或短語為一個詞，如重疊形式（高高興興，說說話、天天）、字首派生（非黨員、副部長）、字尾派生（全面性、朋友們）、中綴派生（看得出、看不出）、動詞加時態助詞（克服了、蠶食著）、動詞加趨向動詞（走出、走出來）、動詞的分離形式（長度不超過3個字，如：洗了澡、洗過澡），等等。
（3）文字中被明確定義的任意一個實體名詞（如：日期、時間、貨幣、百分數、溫度、長 度、面積、體積、重量、地址、電話號碼、傳真號碼、電子郵件地址等）是一個詞。
（4）文字中任意一個專有名詞（人名、地名、機構名）是一個詞。在這個定義中沒有考慮文字中的新詞問題。另外需要注意的是，這個定義中很多約定與《資訊處理用限定漢語分詞規範（CJB13715）》中的規定不一致，如，按照CJB13715國家分詞規範，“AAB、ABAB”重疊形式的動詞片語應予切分，例如：研究研究；按照GB137巧國家分詞規範，除了“人們、哥兒們、爺兒們”等個別分詞單位以外，僅表示前一個名詞性分詞單位複數的“們”應該單獨切分，例如，朋友們，等等。但這些定義上的差異
並不影響對分詞演算法的理解，在這裡我們更關心的是基於統計語言模型的分詞方法本身的問題。

假設隨機變數S為一個漢字序列，W是S上所有可能切分出來的詞序列，分詞過程應該是求解使條件概率P(W|S)最大的切分出來的詞序列W^*，即：

根據貝葉斯公式可得：

分母歸一化的：

 為了把4類詞納人同一個統計語言模型框架，黃昌寧等（2003）分別把專有名詞的人名（PN）、地名（LN）、機構名（ON）各作為一類，實體名詞中的日期（dat)、時間（tim）、百分數(per)、貨幣（mon)等作為一類處理，簡稱為實體名，對詞法派生詞（MM,'）和詞表詞（LW）則每個詞單獨作為一類。這樣，按表7一2可以把一個可能的詞序列w轉換成一個可能的詞類序列C =c_1c_2,...,c_n，那麼，上式可被改寫成式：

其中，P(C)就是大家熟悉的語言模型，我們不妨將P(S|C)稱為生成模型。 

上面的內容大部分是宗老師書上的內容，大家找到看看就會了，很簡單的，這裡不細講了，我麼你在下一節繼續介紹其他方面的 

 

 

 

相關推薦

NLP ---分詞詳解（常見的五種分詞技術二）

上一篇我們講了N一最短路徑方法、基於詞的n元文法模型，本節將主要介紹由字構詞方法、基於詞感知機演算法的漢語分詞方法、基於字的生成模型和區分式模型相結合的漢語分詞方法，下面我們就開始講解由字構詞的方法： 由字構詞方法 由字構詞方法的由來 其實這個方法我們在前面講解HMM和CRF時就一直

NLP ---分詞詳解（常見的五種分詞技術一）

上一節我們簡單的介紹了分詞的起源，本節將介紹五種分詞效果比較好的分詞方法，他們都是基於統計的，分別為：N最短路徑法、基於詞的n元語法模型的分詞方法、由字夠詞的漢語分詞方法、基於詞感知機演算法的漢語分詞方法、基於字的生成模型和區分式模型相結合的漢語分詞方法。下面我們就一一的介紹他們： N最短路

NLP --- 分詞詳解（分詞的歷史）

前面的內容我們以演算法為主，主要講解了HMM和CRF演算法，為了解決HMM的問題，使用了EM演算法，但是整個HMM演算法是產生式模型的，計算量大和複雜，因此為了解決這個問題，我們引入了CRF演算法，該演算法是借鑑了最大熵模型的演算法，然後在HMM的基礎上加入了概率圖模型和團的概念，使的最後模型稱

搜索引擎系列八：solr-部署詳解（solr兩種部署模式介紹、獨立服務器模式詳解、SolrCloud分布式集群模式詳解）

nod 為什麽 用途 serve creat 復制 stand 數據 變量名 一、solr兩種部署模式介紹 Standalone Server 獨立服務器模式：適用於數據規模不大的場景 SolrCloud 分布式集群模式：適用於數據規模大，高可靠、高可用、高並發的場景 二

mysql分表詳解（mysql自帶）

#mysql分表詳解# 1. 分表 首先要知道什麼情況下,才需要分表個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了,分表的目的就在於此，減小資料庫的負擔，縮短查詢時間。 2. 分表方式 水平分割 表很大，其中表的某一行為列舉類，則可以使用水平切割。

docker如何最快速的方式建立映象並在建立時安裝配置好jdk(詳解)（第五篇）共五篇

Dockerfile製作映象步驟 在根目錄下建立dockerfile資料夾 mkdir dockfile 在資料夾下建立Dockerfile檔案 touch Dockerfile 編輯Dockerfile檔案 vim Dockerfile 檔案內容如下: #版本資訊 FROM centos

【linux】Valgrind工具集詳解（十五）：Callgrind（效能分析圖）

一、概述 1、Callgrind Callgrind用於記錄程式中函式之間的呼叫歷史資訊，對程式效能分析。預設情況下，收集的資料包括執行的指令數，它們與原始碼行的關係，函式之間的呼叫者、被呼叫者關係以及此類呼叫的數量。可選項是，對快取記憶體模擬和分支預測（類似於Cachegrin

【Java入門提高篇】Day34 Java容器類詳解（十五）WeakHashMap詳解

public class WeakHashMapTest { public static void main(String[] args){ testWeakHashMap(); } private static void testWeakHashMap

buffer cache 和shared pool詳解（之五，問題診斷總結）

【深入解析--eygle】 學習筆記 1.2.7 診斷和解決ORA-04031 錯誤 Shared  Pool的主要問題在根本上只有一個，就是碎片過多帶來的效能影響。 1.2.7.1 什麼是ORA-04031錯誤 當嘗試在共享池分配大塊的連續記憶體失敗（很

Pygame詳解（十五）：pygame 模組

pygame Pygame 最頂層的包。 函式 & 屬性 pygame.init()  —  初始化所有匯入的 pygame 模組 pygame.quit()  —  解除安裝所有匯入

css-浮動與清除浮動的原理詳解（清除浮動的原理你知道嗎）

alt col ges mage all strong splay height http float元素A的特點： 脫離文檔流 靠向left或right float元素會和塊盒子重疊 準確來說，是塊盒子和A重疊，但塊盒子內容會浮動在A周圍 不會和inline元素重

netty解碼器詳解（小白也能看懂！）

什麼是編解碼器？ 　　首先，我們回顧一下netty的元件設計：Netty的主要元件有Channel、EventLoop、ChannelFuture、ChannelHandler、ChannelPipe等。 ChannelHandler 　　ChannelHandler充當了處理入站和出站

SELECT INTO 和 INSERT INTO SELECT 兩種表複製語句詳解（SQL資料庫和Oracle資料庫的區別）

https://www.cnblogs.com/mq0036/p/4155136.html 我們經常會遇到需要表複製的情況，如將一個table1的資料的部分欄位複製到table2中，或者將整個table1複製到table2中，這時候我們就要使用SELECT INTO 和 INSER

Spring Aop底層原理詳解（利用spring後置處理器實現AOP）

寫在前面：對於一個java程式設計師來說，相信絕大多數都有這樣的面試經歷，面試官問：你知道什麼是aop嗎？談談你是怎麼理解aop的？等等諸如此類關於aop的問題。當然對於一些小白可能會一臉懵逼；對於一些工作一兩年的，可能知道，哦！aop就是面向切面變成，列印日誌啊，什麼什麼的，要是有點學

非對稱加密過程詳解（基於RSA非對稱加密演算法實現）

1、非對稱加密過程：         假如現實世界中存在A和B進行通訊，為了實現在非安全的通訊通道上實現資訊的保密性、完整性、可用性（即資訊保安的三個性質），A和B約定使用非對稱加密通道進行通訊，具體過程如下：   說明：         國內目前使用雙證書體系，即

struts.xml配置詳解（名稱空間、約束、動態代理）

1、package 元素： 1.1 作用：方便分模組化開發 1.2 屬性： name：必須有。唯一。標識一個包， 好有一定的含義。 extends：繼承。一般要求必須繼承struts-default的包。不繼承該包，將無法使用struts2提供的一些核心功能。stru

Linux系統安裝詳解（VMware虛擬機器安裝ubuntu為例）

目錄 前言：因為我們的系統大多數用的是Window系統，理論上可以存在雙系統的，可以把Linux系統也安裝在我們的驅動盤上，但是為了簡化這些安裝步驟，我們可以直接在我們的Window系統搭載一個虛擬機器，然後再虛擬機器裡安裝Linux系統。 1.安裝虛擬機器V

快速排序演算法詳解（原理、實現和時間複雜度）

快速排序是對氣泡排序的一種改進，由 C.A.R.Hoare（Charles Antony Richard Hoare，東尼·霍爾）在 1962 年提出。 快速排序的基本思想是：通過一趟排序將要排序的資料分割成獨立的兩部分，其中一部分的所有資料比另一部分的所有資料要小，再按這種方法對這兩部分資料分別進行快速排

Linux系統呼叫詳解（如何從使用者空間進入核心空間）

系統呼叫概述         計算機系統的各種硬體資源是有限的，在現代多工作業系統上同時執行的多個程序都需要訪問這些資源，為了更好的管理這些資源程序是不允許直接操作的，所有對這些資源的訪問都必須有作業系統控制。也就是說作業系統是使用這些資源的唯一入口，而這個入口就是作業系

Webpack配置詳解（package.json/webpack.config.js詳細配置 ）

Webpack配置詳解（package.json/webpack.config.js詳細配置 ） webpack安裝 package.json配置以及模組安裝 webpack.config.js配置 開啟webpack-dev-server服務 熱替換外掛的安裝以及配置 開啟自動開啟瀏覽器外