• 說明：學習筆記，內容參考《機器學習》《數學之美》和七月線上課件

條件隨機場

定義1：

條件隨機場（conditional random field，簡稱CRF）是一種判別式無向圖模型。生成式模型是直接對聯合分佈進行建模，而判別式模型則是對條件分佈進行建模，隱馬爾可夫模型就是生成式模型。——周志華《機器學習》

定義2：

條件隨機場模型是Lafferty於2001年，在最大熵模型和隱馬爾可夫模型的基礎上，提出的一種判別式概率無向圖學習模型，是一種用於標註和切分有序資料的條件概率模型。

普遍意義上的條件隨機場：

模型解釋：
①條件隨機場保留了隱含馬爾可夫模型的一些特性，比如圖中的

y1,y2,..$y_1,y_2,..$等狀態的序列還是一個馬爾可夫鏈。
②在圖中，頂點x1,y1$x_1,y_1$代表一個個隨機變數，頂點之間的弧代表他們之間的依賴關係，採用概率分佈P(x1,y1)$P(x_1,y_1)$來描述。
③它的特殊性在於變數之間要遵守馬爾可夫假設，即每個狀態的轉移概率只取決於相鄰的狀態，這一點，它和貝葉斯網路相同。不同之處在於貝葉斯網路是有向圖，而條件隨機場是無向圖，

1.生成式模型和判別式模型

o,s分別代表觀測序列和標記序列

生成式模型

構建o和s的聯合分佈p(s,o)，可以根據聯合概率來生成樣本，如HMM，BNs，MRF。

缺點：目標分類問題中容易產生較大的錯誤率

優點：

實際上帶的資訊比判別模型豐富；能更充分利用先驗知識；模型可以通過增量學習得到

判別式模型

構建o和s的條件分佈p(s|o)，因為沒有s的知識無法生成樣本，只能判斷分類，如SVM，CRF，MEMM。

缺點：不能反映訓練資料本身的特性

優點：分類邊界更靈活；能清晰分辨出多類或某一類與其他類之間的差異特徵；適用於較多類別的識別

二者關係

由生成模型可以得到判別模型，但由判別模型得不到生成模型。

2.詞性標註

除了上一章介紹的HMM進行詞性標註外，也可以使用條件隨機場進行詞性標註。正如分類器所做，首先需要設定一組特徵方程。

①CRF的特徵函式

每個特徵函式的輸入包括：

• 一個句子
  s$s$
• 詞在句子中的位置i$i$
• 當前詞的標籤li$l_i$
• 前一個詞的標籤li−1$l_{i-1}$

②從特徵到概率

• 為我們每個特徵函式fi$f_i$設定一個權重值λj${\lambda }_j$(通過訓練學習得到這些權重值），給定一個句子s，可以通過累加句中所有詞加權後的特徵來為s的打標結果打分：
  

  score(l|s)=∑j=1m∑i=1nλjfj(s,i,li′,li−1′)$$score(l|s)=\sum _{j=1}^m\sum _{i=1}^n{\lambda }_j{f}_j(s,i,{l_i}^{\prime },{l_{i-1}}^{\prime })$$
  注:第一個求和是對遍歷特徵方程j$j$的求和，第二個球和是對句子裡面的每一個位置i$i$進行遍歷求和。

• 最終，通過求指數與歸一的方式將得分轉化為0,1之間的概率值：
  

  p(l|s)=exp[score(l|s)∑l′exp[score(l′|s)]=exp[∑mj=1∑ni=1λjfj(s,i,li,li−1)]∑l′exp[∑mj=1∑ni=1λjfj(s,i,li′,li−1′)]$$p(l|s)=\frac{exp[score(l|s)}{\sum _{l^{\prime }}exp[score(l^{\prime }|s)]}=\frac{exp[\sum _{j=1}^m\sum _{i=1}^n{\lambda }_j{f}_j(s,i,l_i,l_{i-1})]}{\sum _{l^{\prime }}exp[\sum _{j=1}^m\sum _{i=1}^n{\lambda }_j{f}_j(s,i,{l_i}^{\prime },{l_{i-1}}^{\prime })]}$$
  注：邏輯迴歸是分類問題的對數線性模型，CRF是序列標註問題的對數線性模型。

③權重學習

學習CRF權重，以梯度上升方法為例：

有一組訓練樣本（包括句子和相關的詞性標註標籤結果）；先為我們的CRF模型隨機初始化權重值；為了使這些隨機初始的權重最終調整為正確的值，需要遍歷每個訓練樣本，然後執行：

• 遍歷每個特徵函式fi$f_i$，併為λi${\lambda }_i$計算訓練樣本的對數概率梯度值：
  

  相關推薦

  【NLP】條件隨機場知識擴充套件延伸（五）

  作者：白寧超 2016年8月3日19:47:55 【摘要】：條件隨機場用於序列標註，資料分割等自然語言處理中，表現出很好的效果。在中文分詞、中文人名識別和歧義消解等任務中都有應用。本文源於筆者做語句識別序列標註過程中，對條件隨機場的瞭解，逐步研究基於自然語言處理方面的應用。成文主要源於自然語言處理

  NLP-初學條件隨機場(CRF)

  說明：學習筆記，內容參考《機器學習》《數學之美》和七月線上課件 條件隨機場 定義1： 條件隨機場（conditional random field，簡稱CRF）是一種判別式無向圖模型。生成式模型是直接對聯合分佈進行建模，而判別式模型則是對條件分佈

  【NLP】基於CRF條件隨機場的命名實體識別原理詳解

  1. 命名實體用來做什麼？ 在自然語言處理應用領域中，命名實體識別是資訊檢索、知識圖譜、機器翻譯、情感分析、問答系統等多項自然語言處理應用的基礎任務，例如，我們需要利用命名實體識別技術自動識別使用者的查詢，然後將查詢中的實體連結到知識圖譜對應的結點上其識別的準確率將會直接影

  CRF條件隨機場總結

  fields 學習筆記 call 馬爾科夫隨機場 detail strong 概率計算 觀測 play 根據《統計學習方法》一書中的描述，條件隨機場（conditional random field, CRF）是給定一組輸入隨機變量條件下另一組輸出隨機變量的條件概

  CRF++ 條件隨機場訓練，Anaconda的centos環境搭建

  一、安裝Anaconda環境（最好到官網下載最新版本） 1、檢視系統的型別：file /sbin/init （檢視系統是32位的，還是64位的，本人是32位的） 2、下載安裝包，並上傳，比如：Anaconda3-5.2.0-Linux-x86.sh 3、安裝命令：bas

  條件隨機場專題（2）--CRF模型

          CRF是一種典型的判別式模型，它是根據模板，得到相應的特徵函式，再通過這些特徵函式進行引數的優化計算，那麼在介紹CRF模型前，就有必要先介紹判別式模型和生成式模型。       判別式模型和生成式模型的區別：         從流程上看：         生

  【NLP】前戲：一起走進條件隨機場（一）

  作者：白寧超 2016年8月2日13:59:46 【摘要】：條件隨機場用於序列標註，資料分割等自然語言處理中，表現出很好的效果。在中文分詞、中文人名識別和歧義消解等任務中都有應用。本文源於筆者做語句識別序列標註過程中，對條件隨機場的瞭解，逐步研究基於自然語言處理方面的應用。成文主要源於自然語言處理

  CRF條件隨機場簡介

   CRF(Conditional Random Field) 條件隨機場是近幾年自然語言處理領域常用的演算法之一，常用於句法分析、命名實體識別、詞性標註等。在我看來，CRF就像一個反向的隱馬爾可夫模型(HMM)，兩者都是用了馬爾科夫鏈作為隱含變數的概率轉移模型，只不過HMM

  CRF++/CRF/條件隨機場的特徵函式模板

  由於最近想實現CRF，學完了理論後就開始怎麼想怎麼實現，想參照CRF++的開源實現，但首先要解決的怎麼理解特徵模板，所以寫了此文，主要參考了2篇文章，在此感謝。 CRF++要求的訓練資料格

  條件隨機場簡介(CRF)(三)

  轉載請註明出處，謝謝。 質量不佳，請多包涵。 Conditional random field(CRF)(條件隨機場)簡介(三) 3.Conditional Random fields 條件隨機場 （譯者：chain-CRF） Laffert

  條件隨機場簡介(CRF)(一)

  轉載請註明出處，謝謝。 質量不佳，請多包涵。 Conditional random field(CRF)(條件隨機場) 簡介(一) 1. 標註序列資料 給序列資料進行標籤是很多領域的重要任務，比如生物資訊學、計算語言學、語音識別。例如，資源語言

  Viterbi(維特比)演算法在CRF(條件隨機場)中是如何起作用的？

  之前我們介紹過BERT+CRF來進行命名實體識別，並對其中的BERT和CRF的概念和作用做了相關的介紹，然對於CRF中的最優的標籤序列的計算原理，我們只提到了維特比演算法，並沒有做進一步的解釋，本文將對維特比演算法做一個通俗的講解，以便大家更好的理解CRF為什麼能夠得到最優的標籤序列。 通過閱讀本文你將能

  條件隨機場——時間序列（句子單詞序列也算），其特征函數必須要考慮前一刻的數據

  讓我 分享 lightbox 位置 可能 不難 唱歌 第一個 能夠 摘自：https://www.zhihu.com/question/35866596/answer/139485548 用一個活生生的例子來說明條件隨機場的，十分的通俗易懂！原文在這裏 [Introduc

  條件隨機場-應用

  model 數字 文件路徑 style 數據文件 1.5 exp ram 交叉驗證 　　今天介紹CRFs在中文分詞中的應用 　　工具：CRF++,可以去 https://taku910.github.io/crfpp/ 下載，訓練數據和測試數據可以考慮使用bakeoff20

  條件隨機場介紹（2）—— An Introduction to Conditional Random Fields

  圖結構 程序 實際應用 markdown ots 語法規則 復雜 得到 有一個 1. 引言 在許多實際應用中，能夠對相互依賴的多個變量進行預測的能力非常重要。這些應用的涵蓋範圍很廣，包括圖片區域劃分[49,61,69]、Go遊戲中的得分評估[130]、DNA基因切分[7]、

  條件隨機場介紹（1）—— An Introduction to Conditional Random Fields

  結合 特征 tro charles 信息學 幫助 all div 問題 條件隨機場介紹 原文：An Introduction to Conditional Random Fields 作者： Charles Sutton (School of Informatics, U

  條件隨機場介紹（5）—— An Introduction to Conditional Random Fields

  反向傳播 活性 多個實例 環路 因子 partial 5.7 最好 及其 5. 參數估計 本節我們討論如何估計條件隨機場的參數\(\theta = \{ \theta_k \}\)。在最簡單最典型情況下，我們面對的數據是完全標註的獨立數據，但是也有關於半監督學習的條件隨機場

  條件隨機場介紹（6）—— An Introduction to Conditional Random Fields

  因此 500px 內部 都是 問題 網絡 很多 選擇 精確 6. 相關研究和未來方向 本部分簡要分析條件隨機場的發展路線，特別是在結構化預測（structured prediction）方面。除此之外，還將分析條件隨機場與神經網絡和最大熵馬爾可夫模型（MEMMs）的關系。最

  條件隨機場介紹（4）—— An Introduction to Conditional Random Fields

  all str 都是 random ted 之前 圖模型 回顧 over 4. 推斷 高效的推斷算法對條件隨機場的訓練和序列預測都非常重要。主要有兩個推斷問題：第一，模型訓練之後，為新的輸入\(\mathbf{x}\)確定最可能的標記\(\mathbf{y}^* = \ar

  使用條件隨機場模型解決文字分類問題（附Python程式碼）

  對深度學習感興趣，熱愛Tensorflow的小夥伴，歡迎關注我們的網站！http://www.tensorflownews.com。我們的公眾號：磐創AI。   一. 介紹 世界上每天都在生成數量驚人的文字資料。Google每秒處理超過40,000次搜尋，而根據福布斯報道，