2. 程式人生 > >條件隨機場CRF介紹

條件隨機場CRF介紹

阿新 • • 發佈：2018-05-22
family play 存在 分布 als 建立 geo 捕捉 times

鏈接：https://mp.weixin.qq.com/s/BEjj5zJG3QmxvQiqs8P4-w

softmax

CRF主要用於序列標註問題，可以簡單理解為是給序列中的每一幀，既然是分類，很自然想到將這個序列用CNN或者RNN進行編碼後，接一個全連接層用softmax激活，如下圖所示

技術分享圖片

逐幀softmax並沒有直接考慮輸出的上下文關聯

條件隨機場

然而，當我們設計標簽時，比如用s、b、m、e的4個標簽來做字標註法的分詞，目標輸出序列本身會帶有一些上下文關聯，比如s後面就不能接m和e，等等。逐標簽softmax並沒有考慮這種輸出層面的上下文關聯，所以它意味著把這些關聯放到了編碼層面，希望模型能自己學到這些內容，但有時候會“強模型所難”。

而CRF則更直接一點，它將輸出層面的關聯分離了出來，這使得模型在學習上更為“從容”：

技術分享圖片

CRF在輸出端顯式地考慮了上下文關聯

數學

當然，如果僅僅是引入輸出的關聯，還不僅僅是CRF的全部，CRF的真正精巧的地方，是它以路徑為單位，考慮的是路徑的概率。

模型概要

假如一個輸入有nn幀，每一幀的標簽有kk中可能性，那麽理論上就有knkn中不同的輸入。我們可以將它用如下的網絡圖進行簡單的可視化。在下圖中，每個點代表一個標簽的可能性，點之間的連線表示標簽之間的關聯，而每一種標註結果，都對應著圖上的一條完整的路徑。

技術分享圖片

4tag分詞模型中輸出網絡圖

而在序列標註任務中，我們的正確答案是一般是唯一的。比如“今天天氣不錯”，如果對應的分詞結果是“今天/天氣/不/錯”，那麽目標輸出序列就是bebess，除此之外別的路徑都不符合要求。換言之，在序列標註任務中，我們的研究的基本單位應該是路徑，我們要做的事情，是從

kn條路徑選出正確的一條，那就意味著，如果將它視為一個分類問題，那麽將是kn類中選一類的分類問題！

這就是逐幀softmax和CRF的根本不同了：前者將序列標註看成是n個k分類問題，後者將序列標註看成是1個kn分類問題。

具體來講，在CRF的序列標註問題中，我們要計算的是條件概率

技術分享圖片

為了得到這個概率的估計，CRF做了兩個假設：

假設一 該分布是指數族分布。

這個假設意味著存在函數f(y1,…,yn;x)，使得

技術分享圖片

其中Z(x)是歸一化因子，因為這個是條件分布，所以歸一化因子跟x有關。這個f函數可以視為一個打分函數，打分函數取指數並歸一化後就得到概率分布。

假設二 輸出之間的關聯僅發生在相鄰位置，並且關聯是指數加性的

這個假設意味著f(y1,…,yn;x)可以更進一步簡化為

技術分享圖片

這也就是說，現在我們只需要對每一個標簽和每一個相鄰標簽對分別打分，然後將所有打分結果求和得到總分。

線性鏈CRF

管已經做了大量簡化，但一般來說，上式所表示的概率模型還是過於復雜，難以求解。於是考慮到當前深度學習模型中，RNN或者層疊CNN等模型已經能夠比較充分捕捉各個y與輸出x的聯系，因此，我們不妨考慮函數g跟x無關，那麽

技術分享圖片

這時候g實際上就是一個有限的、待訓練的參數矩陣而已，而單標簽的打分函數h(yi;x)我們可以通過RNN或者CNN來建模。因此，該模型是可以建立的，其中概率分布變為

技術分享圖片

這就是線性鏈CRF的概念。

歸一化因子

為了訓練CRF模型，我們用最大似然方法，也就是用

技術分享圖片

作為損失函數，可以算出它等於

技術分享圖片

其中第一項是原來概率式的分子的對數，它目標的序列的打分，雖然它看上去挺迂回的，但是並不難計算。真正的難度在於分母的對數logZ(x)這一項。

歸一化因子，在物理上也叫配分函數，在這裏它需要我們對所有可能的路徑的打分進行指數求和，而我們前面已經說到，這樣的路徑數是指數量級的（kn），因此直接來算幾乎是不可能的。

事實上，歸一化因子難算，幾乎是所有概率圖模型的公共難題。幸運的是，在CRF模型中，由於我們只考慮了臨近標簽的聯系（馬爾可夫假設），因此我們可以遞歸地算出歸一化因子，這使得原來是指數級的計算量降低為線性級別。具體來說，我們將計算到時刻t的歸一化因子記為Zt，並將它分為k個部分

技術分享圖片

其中技術分享圖片分別是截止到當前時刻t中、以標簽1,…,k為終點的所有路徑的得分指數和。那麽，我們可以遞歸(DP)地計算

技術分享圖片

它可以簡單寫為矩陣形式

技術分享圖片


G是對g(yi,yj)各個元素取指數後的矩陣，即G=eg(yi,yj)；而H(yt+1|x)是編碼模型h(yt+1|x)（RNN、CNN等）對位置t+1的各個標簽的打分的指數，即H(yt+1|x)=eh(yt+1|x)，也是一個向量。ZtG這一步是矩陣乘法，得到一個向量，而⊗是兩個向量的逐位對應相乘

技術分享圖片

歸一化因子的遞歸計算圖示。從t到t+1時刻的計算，包括轉移概率和j+1節點本身的概率

動態規劃

寫出損失函數−logP(y1,…,yn|x)後，就可以完成模型的訓練了。假設現在有一句用於測試的句子，根據訓練好的模型，我們可以算出每個時刻t對應的h值，以及CRF對應的轉移概率。下面就可以進行前向動態規劃求最大概率，並保存轉移狀態。 令dp[t][y]: 表示t時刻標簽為y的路徑的最大概率，那麽dp[t][y]=max dp[t-1][y‘], y‘=1,2,3,4。pre[t][y]: 表示從上一部轉移過來的最優標簽y‘。

條件隨機場CRF介紹

相關推薦

條件隨機場CRF介紹

family play 存在 分布 als 建立 geo 捕捉 times 鏈接：https://mp.weixin.qq.com/s/BEjj5zJG3QmxvQiqs8P4-w softmax CRF主要用於序列標註問題，可以簡單理解為是給序列中的

簡明條件隨機場CRF介紹（附帶純Keras實現）

筆者去年曾寫過博文《果殼中的條件隨機場(CRF In A Nutshell)》，以一種比較粗糙的方式介紹了一下條件隨機場（CRF）模型。然而那篇文章顯然有很多不足的地方，比如介紹不夠清晰，也不夠完整，還沒有實現，在這裡我們重提這個模型，將相關內容補充完成。 本文是對CRF基本原理的一個簡明的介紹

概率模型（四）：條件隨機場(CRF)

條件隨機場(Conditional Random Field,CRF)是一個比較重要的概率模型，在詳細介紹CRF之前，首先簡單介紹一下概率圖(Probabilistic Graphical Model,PGM)，有時候簡稱圖模型(Graphical Model,

NLP --- 條件隨機場CRF（預測演算法詳解）

前幾節我們大概的介紹了學習演算法，即GIS和IIS的演算法，這兩個演算法在最大熵模型中講的比較詳細，想要深入理解這兩個演算法，需要你理解動態規劃演算法。這裡的條件隨機場實際上是根據最大熵模型的思想過來的，因為通過前面我們可以看出CRF演算法的目標公式就是按照最大熵演算法構造而來的，不同的是特徵函

NLP --- 條件隨機場CRF（概率計算問題）

上一節詳解的闡述了條件隨機場的定義和簡單的學習演算法推倒，這裡不懂的前翻看前兩節的部落格，這裡不再贅述，本節將主要求期望的問題，為什麼要求解期望？本節主要參考的內容是一篇論文和李航的書，論文是《Conditional Random Fields: An Introduction》 Hanna M

NLP --- 條件隨機場CRF背景

上一節我們主要講解了最大熵模型的原理，主要是解釋了什麼是最大熵，已經最大熵的背景知識，其實還是多建議大家讀讀論文，如果讀英語有點難度，那就看李航的《統計學習方法》的最大熵模型和條件隨機場，這本書的質量很高，本節主要講一些條件隨機場的背景知識，解釋為什麼需要引入條件隨機場，廢話不多說，下面開始：

用條件隨機場CRF進行字標註中文分詞（Python實現）

        本文運用字標註法進行中文分詞，使用4-tag對語料進行字標註，觀察分詞效果。模型方面選用開源的條件隨機場工具包“CRF++: Yet Another CRF toolkit”進行分詞。         本文使用的中文語料資源是SIGHAN提供的backof

機器學習 條件隨機場CRF

原文:http://blog.csdn.net/u010487568/article/details/46485673 CRF由來 條件隨機場（CRF）這種用來解決序列標註問題的機器學習方法是由John Lafferty於2001年發表在國際機器學習大

【中文分詞】條件隨機場CRF

之前介紹的MMEM存在著label bias問題，因此Lafferty et al. [1] 提出了CRF (Conditional Random Field). BTW：比較有意思的是，這篇文章的二作與三作同時也是MEMM的作者。 1. 前言 本節將遵從tutorial [2] 的論文結構，從概率模型（Pr

NLP-初學條件隨機場(CRF)

說明：學習筆記，內容參考《機器學習》《數學之美》和七月線上課件 條件隨機場 定義1： 條件隨機場（conditional random field，簡稱CRF）是一種判別式無向圖模型。生成式模型是直接對聯合分佈進行建模，而判別式模型則是對條件分佈

隱馬爾可夫(HMM)/感知機/條件隨機場(CRF)----詞性標註

筆記轉載於GitHub專案：https://github.com/NLP-LOVE/Introduction-NLP 7. 詞性標註 7.1 詞性標註概述 什麼是詞性 在語言學上，詞性(Par-Of-Speech, Pos )指的是單詞的語法分類，也稱為詞類。同一個類別的詞語具有相似的語法性質，所有詞性的集

條件隨機場（CRF）-基礎

condition xmlns tro 介紹 第二篇 依賴 算法 時間 element 　　條件隨機場（conditional random fields，簡稱 CRF，或CRFs）下文簡稱CRF，是一種典型的判別模型，相比隱馬爾可夫模型可以沒有很強的假設存在，在分詞、詞性

NLP —— 圖模型（二）條件隨機場（Conditional random field，CRF）

而在 mar 依賴 alt strong $$ href 否則 block 本文簡單整理了以下內容： （一）馬爾可夫隨機場（Markov random field，無向圖模型）簡單回顧 （二）條件隨機場（Conditional rand

轉載 】如何輕鬆愉快地理解條件隨機場（CRF）？

理解條件隨機場最好的辦法就是用一個現實的例子來說明它。但是目前中文的條件隨機場文章鮮有這樣乾的，可能寫文章的人都是大牛，不屑於舉例子吧。於是乎，我翻譯了這篇文章。希望對其他夥伴有所幫助。 原文在這裡http://blog.echen.me/2012/01/03/introduction-to

【演算法】CRF(條件隨機場)

CRF(條件隨機場) 基本概念 場是什麼 場就是一個聯合概率分佈。比如有3個變數，y1,y2,y3, 取值範圍是{0,1}。聯合概率分佈就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...

【演算法】BILSTM+CRF中的條件隨機場

BILSTM+CRF中的條件隨機場 tensorflow中crf關鍵的兩個函式是訓練函式tf.contrib.crf.crf_log_likelihood和解碼函式tf.contrib.crf.viterbi_decode crf_log_likelihood(inputs, tag_indices, s

條件隨機場（Conditional random field，CRF）

轉：https://www.cnblogs.com/Determined22/p/6915730.html 本文簡單整理了以下內容：       （一）馬爾可夫隨機場（Markov random field，無向圖模型）簡單回顧    

條件隨機場(4)——CRF++分詞訓練和預測

這是CRF的最後一篇總結。這篇總結是訓練分詞模型和預測。CRF、最大熵、隱馬爾科夫模型貌似都可以做分詞、詞性標註、命名實體識別，以前只是在hanLP裡面用這些工具，實際上是不明所以的。現在要開始弄明白其中原理，並自己訓練模型了。好吧，又囉嗦了。 先說一說CRF

條件隨機場之CRF++源碼詳解-開篇

ref 公式 研究 linu 做到 整體介紹 下載源碼 git 開篇 介紹 　　最近在用條件隨機場做切分標註相關的工作，系統學習了下條件隨機場模型。能夠理解推導過程，但還是比較抽象。因此想研究下模型實現的具體過程，比如：1） 狀態特征和轉移特征具體是什麽以及如何構造 2）前

條件隨機場之CRF++原始碼詳解-開篇

介紹 　　最近在用條件隨機場做切分標註相關的工作，系統學習了下條件隨機場模型。能夠理解推導過程，但還是比較抽象。因此想研究下模型實現的具體過程，比如：1） 狀態特徵和轉移特徵具體是什麼以及如何構造 2）前向後向演算法具體怎麼實現 等等。那麼，想要深入瞭解一個演算法比較好的方式就是閱讀現有的開源專案。閱讀好的