1. 什麼是新詞

現在大部分的分詞工具已經做到了準確率高、粒度細，但是對於一些新詞（new word）卻不能做到很好地識別，比如：

快的打車優惠券
英雄聯盟怎麼不可以打排位

“快的”、“英雄聯盟”應該被作為一個詞，卻被切成了兩個詞，失去了原有的語義。未登入詞（out-of-vocabulary, OOV）籠統地之未在詞典中出現的詞，序列標註方法HMM與CRF可以根據上下文很好地識別未登入詞，但是這種模型缺乏領域自適應能力 [1]：

模型對訓練語料所在領域的語言現象處理可能表現出較好的效能，但一旦超出領域範圍或測試集與訓練樣本有較大差異，模型效能將大幅度下降。例如，在標註的大規模《人民日報》分詞語料上訓練出來的漢語詞語自動切分模型的準確率可達96%左右，甚至更高，但在微博等非規範文字基礎上訓練出的分詞效能至少要低5個百分點左右。在LDC漢語樹庫上訓練出來的句法分析系統準確率可達86%左右，但在非規範網路文字上的分析準確率只有60%左右（宗成慶 2013）。統計模型對領域自適應能力的缺乏嚴重製約了該方法的應用。

因此，對於“快的”、“英雄聯盟”這樣最近才出來的詞未能識別。我們定義新詞為具有基本詞彙所沒有的新形式、新語義的詞語。新詞可以視作一種特殊的未登入詞；從分詞的角度來看，新詞一般表現為細粒度切分後相鄰詞的組合。

2. 基於統計的新詞發現

演算法

Matrix67提出了一種基於資訊熵的新詞發現演算法[2]，成詞的標準有兩個：

• 內部凝固度
• 自由運用程度

所謂內部凝固度，用來衡量詞搭配（collocation）是否合理。比如，對於“的電影”、“電影院”這兩個搭配，直觀上講“電影院”更為合理，即“電影”和“院”凝固得更緊一些。在計算語言學中，PMI (Pointwise mutual information)被用來度量詞搭配與關聯性，定義如下：

\[ pmi(x,y) = \log \frac{P(x,y)}{P(x)P(y)} \]

若PMI高，即兩個詞共現（co-occurrence）的頻率遠大於兩個詞自由拼接的乘積概率，則說明這兩個詞搭配更為合理一些。針對一個詞有多種搭配組合，比如“電影院”可以由“電影”+“院”構成，也可以由“電”+“影院”構成，Matrix67取其所有pmi最小值（去掉log）作為內部凝固度：

\[ solid(c_1^m) = \min \frac{P(c_1^m)}{\prod P(c_i^j)} = \frac{P(c_1^m)}{\max \prod P(c_i^j)} \]

其中，\(c_1^m=c_1c_2\cdots c_m\)

光看文字片段內部的凝合程度還不夠，我們還需要從整體來看它在外部的表現。考慮“被子”和“輩子”這兩個片段。我們可以說“買被子”、“蓋被子”、“進被子”、“好被子”、“這被子”等，在“被子”前面加各種字；但“輩子”的用法卻非常固定，除了“一輩子”、“這輩子”、“上輩子”、“下輩子”，基本上“輩子”前面不能加別的字了。“輩子”這個文字片段左邊可以出現的字太有限，以至於直覺上我們可能會認為，“輩子”並不單獨成詞，真正成詞的其實是“一輩子”、“這輩子”之類的整體。

所以，Matrix67提出了自由運用程度，用以衡量一個詞的左鄰字與右鄰字的豐富程度。正好資訊熵可以完美地詮釋了這種豐富程度，熵越大則豐富程度越高。“被子”和“輩子”這兩個片段的左鄰字熵le與右鄰字熵re分別如下：

le(被子) = 3.67453
re(被子) = 3.8740
le(輩子) = 1.25963
re(輩子) = 4.11644

可以看出，“被子”的左鄰字熵與右鄰字熵都較高，而“輩子”的左鄰字熵較小，即左鄰字非常貧乏。因此，“被子”較“輩子”更有可能成詞。自由運用程度的定義如下：

\[ free(c_1^m) = \min \{ le(c_1^m), \ re(c_1^m) \} \]

給頻數、內部凝固度與自由運用程度設定一個閾值，提取出來符合閾值的候選詞，去掉詞典中存在的詞即為新詞了。知乎在做反作弊挖掘新詞時，也是採用的這個方法，據說取得了比較好的效果；具體細節參看專欄文章《反作弊基於左右資訊熵和互資訊的新詞挖掘》。該新詞發現演算法已經有Java版實現dict_build，還有Python版實現ChineseWordSegmentation。

評估

為了評估該演算法的效果，我採用的策略如下：首先用dict_build對語料進行統計分析得到一批候選詞，然後使用Jieba對語料進行分詞得到詞表，最從候選詞中篩出不在分詞詞表的作為新詞，並按dict_build的成詞概率進行排序。

import codecs

import jieba

seg_words = set()
candidate_words = []

with codecs.open(data_path, 'rb', 'utf-8') as fr:
    for line in fr.readlines():
        strs = line.strip().split('\t')
        if len(strs) == 5:
            candidate_words.append([strs[0], float(strs[4])])
    candidate_words.sort(key=lambda t: t[1], reverse=True)

with codecs.open(file_path, 'rb', 'utf-8') as fr:
    for content in fr.readlines():
        words = jieba.cut(content.strip())
        for word in words:
            seg_words.add(''.join(word))

for wf in candidate_words:
    if wf[0] not in seg_words:
        print(wf)

《西遊記》的Top 32新詞如下：

睜睛 我徒弟 我師弟 老爺們 金光寺 金頭揭諦 金聖娘娘 攙著
扯著 拖著 敲著 揪著 躧著 我師父 老師父 坐著
又遇 又吩咐 那袈裟 捧著 又到 打到 抱著 請師父
八戒沙僧 請唐僧 擡頭見 又來 我佛如來 跳起來 走將來 請如來

採用京東商品標題的語料，Top 36新詞如下：

粗跟短靴 粗跟女靴 粗跟過膝靴 歐式客廳 歐式餐廳 歐式臥室 歐美女靴 踩腳褲
踩腳打底褲 阿羅褲 踩腳保暖褲 踩腳一體褲 韓版休閒褲 韓版小腳褲 唐裝男褲 歐式田園
韓式田園 戚風蛋糕 韓版鬆糕 剃鬚刀片 雙層玻璃杯 雙貔貅 雙層水杯 陸戰靴
抽紙盒 抽象客廳 錢貔貅 遮光臥室 遮光客廳 遮肚罩衫 白酒杯 白雪公主裙
紫砂杯 紫砂茶杯 紫砂品茗杯 紫砂杯茶杯

觀察分析兩組發掘的新詞，總結如下：

• 一些新詞是有意義、有價值的，比如：“睜睛”、“金光寺”、“金頭揭諦”、“剃鬚刀片”、“紫砂杯”等；
• 存在部分新詞應該被切分成兩個詞或多個詞，比如：“我徒弟”、“那袈裟”、“唐裝男褲”、“紫砂杯茶杯”等；
• 還有極少的新詞完全是錯誤的、沒有意義的，比如：“走將來”、“錢貔貅”等，為詞的結尾與下一個詞的拼接。

總體上來看，基於統計的新詞發現演算法是很強的baseline，具有普適性——對於不同領域的語料，能夠發掘出我們想要的新詞；但是同時也帶來很多髒詞。

3. 參考資料