作者：白寧超

2016年8月3日19:47:55

【摘要】：條件隨機場用於序列標註，資料分割等自然語言處理中，表現出很好的效果。在中文分詞、中文人名識別和歧義消解等任務中都有應用。本文源於筆者做語句識別序列標註過程中，對條件隨機場的瞭解，逐步研究基於自然語言處理方面的應用。成文主要源於自然語言處理、機器學習、統計學習方法和部分網上資料對CRF介紹的相關的相關，最後進行大量研究整理彙總成體系知識。文章佈局如下：第一節介紹CRF相關的基礎統計知識；第二節介紹基於自然語言角度的CRF介紹；第三節基於機器學習角度對CRF介紹，第四節基於統計學習角度對相關知識介紹；第五節對統計學習深度介紹CRF，可以作為了解內容。（本文原創，轉載請註明出處

：條件隨機場知識擴充套件延伸。)

目錄

【自然語言處理：漫步條件隨機場系列文章（一）】：

【自然語言處理：漫步條件隨機場系列文章（二）】：

【自然語言處理：漫步條件隨機場系列文章（三）】：

【自然語言處理：漫步條件隨機場系列文章（四）】：

【自然語言處理：漫步條件隨機場系列文章（五）】：

1 隨機場的矩陣形式

矩陣表示形式前提條件：假設P（y|x）是線性鏈條件隨機場，給定觀測序列x，相應的標記序列y的條件概率。引進特殊的起點和終點狀態標記y₀ = start，y_n+1 = stop，這時P_w(y|x) 可以通過矩陣形式表示。（實際上，特殊點的引用大家都有接觸，諸如學習隱含馬爾科夫模型中向前演算法解決了似然度問題，viterbi演算法解決解碼問題，向前向後演算法解決學習引數。

對觀測序列x的每一個位置i=1, 2,..., n+1，定義一個m階矩陣(m是標記yi取值的個數)

這樣給定觀測序列x，標記序列y的非規範化概率可以通過n+1個矩陣的乘積

表示。於是，條件概率P_w(y|x)是

中，Z_w(x)為規範化因子，是n+1個矩陣的乘積的(start,stop)元素：

注意，y₀= start，y_n+1 = stop表示開始狀態與終止狀態，規範化因子Z_w(x)是以start為起點stop為重點通過狀態的所有路徑y₁y₂...y_n的非規範化概率

之和。

下面通過一個例子來說明“範化因子Z_w(x)是以start為起點stop為重點通過狀態的所有路徑y₁y₂...y_n的非規範化概率之和”這個事實

例項解析

給定一個如上圖所示的線性鏈條件隨機場，觀測序列x，狀態序列y，i=1,2,3，n=3，標記y_i∈{1,2}，假設y₀=start=1，y₄=stop=1，各個位置的隨機矩陣M₁(x)，M₂(x)，M₃(x)，M₄(x)分別是

試求狀態序列y以start為起點stop為終點所有路徑的非規範化概率及規範化因子。

例項解答：

從start到stop對應於y=(1,1,1),y=(1,1,2), ..., y=(2,2,2)個路徑的非規範化概率分別是：

                            a₀₁b₁₁c₁₁，a₀₁b₁₁c₁₂，a₀₁b₁₂c₂₁，a₀₁b₁₂c₂₂

                            a₀₂b₂₁c₁₁，a₀₁b₂₁c₁₂，a₀₂b₂₂c₂₁，a₀₂b₂₂c₂₂

然後按式11.12求規範化因子，通過計算矩陣乘積M₁(x) M₂(x) M₃(x) M₄(x)可知，其第一行第一列的元素為a₀₁b₁₁c₁₁+ a₀₁b₁₁c₁₂ + a₀₁b₁₂c₂₁+ a₀₁b₁₂c₂₂+a₀₂b₂₁c₁₁ + a₀₁b₂₁c₁₂+ a₀₂b₂₂c₂₁ + a₀₂b₂₂c_22，恰好等於從start到stop的所有路徑的非規範化概率之和，即規範化因子Z(x)。

在之前的介紹中我們已近知道，條件隨機場的概率計算問題是給定條件隨機場P(Y|X)，輸入序列x和輸出序列y，計算條件概率P(Y_i=y_i | x)，P(Y_i-1 =y_i-1, Y_i=y_i | x)以及相應數學期望的問題。為了方便起見，像隱馬爾可夫模型那樣，引進前向-後向向量，遞迴的計算以上概率及期望值。這樣的演算法稱為前向-後向演算法。

2 前向-後向演算法

對每個指標i =0,1,...,n+1，定義前向向量a_i(x)：

遞推公式為

又可表示為

a_i(y_i|x)表示在位置i的標記是y_i並且到位置i的前部分標記序列的非規範化概率，若y_i可取的值有m個，那a_i(x)就是m維的列向量。同樣，對每個指標i =0,1,...,n+1，定義後向向量β_i(x)：

又可表示為

β_i(y_i|x)表示在位置i的標記為y_i並且從i+1到n的後部分標記序列的非規範化的概率。

由前向-後向定義不難得到：

這裡，若a_i(x)是m維的列向量，那1就是元素均為1的m維列向量。

概率計算

按照前向-後向向量的定義，很容易計算標記序列在位置i是標記yi的條件概率和在位置i-1與i是標記y_i-1和y_i的條件概率：

其中，   Z(x)= a_n^T(x)·1

 期望值計算

利用前向-後向向量，可以計算特徵函式關於聯合分佈P(X, Y)和條件分佈P(Y | X)的數學期望。特徵函式f_k關於條件分佈P(Y |X)的數學期望是

其中，Z(x)= a_n^T(x)·1

則特徵函式f_k關於聯合分佈P(X, Y)的數學期望是

其中， Z(x)= a_n^T(x)·1

特徵函式數學期望的一般計算公式。對於轉移貼紙t_k(y_i-1, y_i, x, i)，k=1,2,...,K₁，可以將式中的f_k換成t_k；對於狀態特徵，可以將式中的f_k換成s_i，表示s_l(y_i, x, i)，k = K₁ +1，l = 1,2,...,K₂。有了式11.32 ~11.35，對於給定的觀測序列x和標記序列y，可以通過一次前向掃描計算a_i及Z(x)，通過一次後向掃描計算βi，從而計算所有的概率和特徵的期望。

 3 CRF的學習演算法

條件隨機場模型實際上是定義在時序資料上的對數線性模型，其學習方法包括極大似然估計和正則化的極大似然估計。

具體的優化實現演算法有改進的迭代尺度法IIS、梯度下降法以及擬牛頓法。

1）進的迭代尺度法(IIS)

已知訓練資料集，由此可知經驗概率分佈

可以通過極大化訓練資料的對數似然函式來求模型引數。訓練資料的對數似然函式為

當Pw是一個由

給出的條件隨機場模型時，對數似然函式為

IIS通過迭代的方法不斷優化對數似然函式改變數的下界，達到極大化對數似然函式的目的。

假設模型的當前引數向量為w=(w₁,w₂, ..., w_K)^T，向量的增量為δ=(δ1,δ2, ..., δK)^T，更新引數向量為w +δ=(w₁+δ1, w₂ +δ2, ..., w_k+δk)^T。在每步迭代過程中，IIS通過一次求解下面的11.36和11.37，得到δ=(δ1,δ2, ..., δK)^T。關於轉移特徵t_k的更新方程為：

關於狀態特徵s_l的更新方程為：

這裡T(x, y)是在資料(x, y)中出現所有特徵數的綜合：

於是演算法整理如下。

演算法：條件隨機場模型學習的改進的迭代尺度法

輸入：特徵函式t₁,t₂, ..., t_K1，s1, s2, ..., s_K2；經驗分佈

輸出：引數估計值  ；模型 。

過程：

2）擬牛頓法

對於條件隨機場模型

學習的優化目標函式是

其梯度函式是

擬牛頓法的BFGS演算法如下：演算法：條件隨機場模型學習的BFGS演算法

4 基於條件隨機場CRF的中文命名實體識別效率如何？

主要介紹三種主流演算法，CRF，字典法和混合方法。
CRF：
用過CRF的都知道，CRF是一個序列標註模型，指的是把一個詞序列的每個詞打上一個標記。一般通過，在詞的左右開一個小視窗，根據窗口裡面的詞，和待標註詞語來實現特徵模板的提取。最後通過特徵的組合決定需要打的tag是什麼。
而在CRF for Chinese NER這個任務中，提取的特徵大多是該詞是否為中國人名姓氏用字，該詞是否為中國人名名字用字之類的，True or false的特徵。所以一個可靠的百家姓的表就十分重要啦~在國內學者做的諸多實驗中，效果最好的人名可以F1測度達到90%，最差的機構名達到85%。

字典法：
字典法需要掌握的是一種快速搜尋演算法trie-tree，我相信很多人應該對這個演算法已經有所瞭解。在NER中就是把每個字都當開頭的字放到trie-tree中查一遍，查到了就是NE。中文的trie-tree需要進行雜湊，因為中文字元太多了，不像英文就26個。
混合法：
對六類不同的命名實體採取不一樣的手段進行處理，例如對於人名，進行字級別的條件概率計算。
例如我們需要算
其中Sur代表中國人姓氏，Dgb代表中國人名首字，Dge代表中國人名尾字。
而機構則在詞級別進行此概率計算。
我知道的系統有：
中文


英文：
Stanford NER
BANNER（生物醫學）
Minor Third

5 條件隨機場（crf）是否可以將分類問題都當作序列標註問題解決？

【知乎】標註看上去好像就是在序列上做分類。
然而實際上標註跟分類最大的區別就是：標註採的特徵裡面有上下文分類結果，這個結果你是不知道的，他在“分類”的時候是跟上下文一起"分類的"。因為你要確定這個詞的分類得先知道上一個詞的分類，所以這個得整句話的所有詞一起解，沒法一個詞一個詞解。
而分類是根據當前特徵確定當前類別，分類的時候不需要考慮上下文的分類結果，但可以引入上下文的特徵。
比如說命名實體識別，你採的特徵如果是：{當前詞，當前詞性，當前詞語義角色，上一個詞，上一個詞的詞性}

那這樣跟分類沒有什麼區別。如果你採的特徵是：{當前詞，當前詞性，當前詞語義角色，上一個詞，上一個詞的標籤，上一個詞的詞性}

那就是序列標註了，

作者：趙孽
連結：http://www.zhihu.com/question/26405809/answer/74191113
來源：知乎
著作權歸作者所有，轉載請聯絡作者獲得授權。

6 參考文獻

【1】 數學之美 吳軍 著

【2】 機器學習  周志華 著

【3】 統計自然語言處理 宗成慶 著（第二版）

【4】 統計學習方法（191---208） 李航

【5】 知乎 網路資源

7 然語言相關係列文章

宣告：關於此文各個篇章，本人採取梳理扼要，順暢通明的寫作手法。系統閱讀相關書目和資料總結梳理而成，旨在技術分享，知識沉澱。在此感謝原著無私的將其匯聚成書，才得以引薦學習之用。其次，本人水平有限，權作知識理解積累之用，難免主觀理解不當，造成讀者不便，基於此類情況，望讀者留言反饋，便於及時更正。本文原創，轉載請註明出處：條件隨機場知識擴充套件延伸。