線性條件隨機場程式碼解讀

阿新 • • 發佈：2019-02-14

NER中CRF是必不可少的環節，特地看了一遍CRF相關理論以及中CRF的程式碼，特在這裡筆記記錄下來！

1.線性CRF簡介

1.1一般形式

關於線性條件隨機場的詳細介紹，請參考李航老師的《統計學習方法》或者這裡，這裡僅僅給出一般的公式定義。
設 $P (Y | X)$ 為線性鏈條件隨機場，則在隨機變數 $X$ 取值為 $x$ 的條件下，隨機變數 $Y$ 取值為 $y$ 的條件概率具有如下形式(注意 $x$ , $y$ 都是序列)：

P (y | x) = \frac{1}{Z (x)} e x p (\sum_{i, k} λ_{k} t_{k} (y_{i - 1}, y_{i}, x, i) + \sum_{i, l} μ_{l} s_{l} (y_{i}, x, i)) (11.10)

其中,

Z (x) = \sum_{y} e x p (\sum_{i, k} λ_{k} t_{k} (y_{i - 1}, y_{i}, x, i) + \sum_{i, l} μ_{l} s_{l} (y_{i}, x, i)) (11.11)

式子中，

t_{k}

是轉移特徵函式，依賴於當前和前一個位置；

s_{l}

是狀態特徵函式，依賴於當前位置；

λ_{k}

和

μ_{l}

是對應的權重。

Z (x)

是規範化因子，求和是在所有可能的輸出序列上進行的(注意這個所有可能不是任意的組合，這需要依賴於

x

的取值)。

1.2簡化形式

注意到條件隨機場式(11.10)中同一特徵在各個位置都有定義，可以對同一個特徵在各個位置求和，將區域性特徵函式轉哈U為一個全域性特徵函式，這樣就可以將條件隨機場寫成權值向量和特徵向量(包括轉移特徵和狀態特徵)的內積形式，即條件隨機場的簡化形式。
首先將轉移特徵和狀態特徵及其權值用統一的符號表示，設有 $K_{1}$

K_{1}

個轉換特徵，

K_{2}

個狀態特徵，

K = K_{1} + K_{2}

，記:

f_{k} (y_{i - 1}, y_{i}, x, i) = {\begin{cases} t_{k} (y_{i - 1}, y_{i}, x, i), & k = 1, 2, . . ., K \\ s_{l} (y_{i}, x, i), & k = K_{1} + l; l = 1, 2, . . ., K_{2} \end{cases} (11.12)

線性條件隨機場程式碼解讀

1.線性CRF簡介

1.1一般形式

1.2簡化形式

線性條件隨機場程式碼解讀

使用條件隨機場模型解決文字分類問題（附Python程式碼）

條件隨機場——時間序列（句子單詞序列也算），其特征函數必須要考慮前一刻的數據

條件隨機場-應用

條件隨機場介紹（2）—— An Introduction to Conditional Random Fields

條件隨機場介紹（1）—— An Introduction to Conditional Random Fields

條件隨機場介紹（5）—— An Introduction to Conditional Random Fields

條件隨機場介紹（6）—— An Introduction to Conditional Random Fields

條件隨機場介紹（4）—— An Introduction to Conditional Random Fields

CRF條件隨機場總結

【原始碼】條件隨機場訓練的非均勻隨機平均梯度法

CRF++ 條件隨機場訓練，Anaconda的centos環境搭建

條件隨機場與句法分析

基於條件隨機場的命名實體識別

關於條件隨機場的一些補充

條件隨機場專題（2）--CRF模型

【NLP】基於CRF條件隨機場的命名實體識別原理詳解

【NLP】前戲：一起走進條件隨機場（一）

【NLP】條件隨機場知識擴充套件延伸（五）

影象語義分割(5)-DeepLabV2: 使用深度卷積網路、空洞卷積和全連線條件隨機場進行影象語義分割

線性條件隨機場程式碼解讀

1.線性CRF簡介

1.1一般形式

1.2簡化形式

相關推薦