2. 程式人生 > >開源中文分詞工具探析（六）：Stanford CoreNLP

開源中文分詞工具探析（六）：Stanford CoreNLP

阿新 • • 發佈：2018-02-08
inf git deb seq 效果 analysis stream fix sps

CoreNLP是由斯坦福大學開源的一套Java NLP工具，提供諸如：詞性標註（part-of-speech (POS) tagger）、命名實體識別（named entity recognizer (NER)）、情感分析（sentiment analysis）等功能。

【開源中文分詞工具探析】系列：

  1. 中文分詞工具探析（一）：ICTCLAS (NLPIR)
  2. 中文分詞工具探析（二）：Jieba
  3. 中文分詞工具探析（三）：Ansj
  4. 開源中文分詞工具探析（四）：THULAC
  5. 開源中文分詞工具探析（五）：FNLP
  6. 開源中文分詞工具探析（六）：Stanford CoreNLP

1. 前言

CoreNLP的中文分詞基於CRF模型：

\[ P_w(y|x) = \frac{exp \left( \sum_i w_i f_i(x,y) \right)}{Z_w(x)} \]

其中，\(Z_w(x)\)為歸一化因子，\(w\)為模型的參數，\(f_i(x,y)\)為特征函數。

2. 分解

以下源碼分析基於3.7.0版本，分詞示例見SegDemo類。

模型

主要模型文件有兩份，一份為詞典文件dict-chris6.ser.gz：

// dict-chris6.ser.gz 對應於長度為7的Set數組詞典
// 共計詞數：0+7323+125336+142252+82139+26907+39243
ChineseDictionary::loadDictionary
 
(String serializePath) {
    Set<String>[] dict = new HashSet[MAX_LEXICON_LENGTH + 1];
    for (int i = 0; i <= MAX_LEXICON_LENGTH; i++) {
        dict[i] = Generics.newHashSet();
    }
    dict = IOUtils.readObjectFromURLOrClasspathOrFileSystem(serializePath);
    return dict;
}

詞典的索引值為詞的長度，比如第0個詞典中沒有詞，第1個詞典為長度為1的詞，第6個詞典為長度為6的詞。其中，第6個詞典為半成詞，比如，有詞“《雙峰》（電”、“８０年國家領”、“１８２４年英”。

另一份為CRF訓練模型文件/ctb.gz：

CRFClassifier::loadClassifier(ObjectInputStream ois, Properties props) {
    Object o = ois.readObject();
    if (o instanceof List) {
        labelIndices = (List<Index<CRFLabel>>) o; // label索引
    }
    classIndex = (Index<String>) ois.readObject(); // 序列標註label
    featureIndex = (Index<String>) ois.readObject(); // 特征
    flags = (SeqClassifierFlags) ois.readObject(); // 模型配置

    Object featureFactory = ois.readObject(); // 特征模板，用於生成特征
    else if (featureFactory instanceof FeatureFactory) {
        featureFactories = Generics.newArrayList();
        featureFactories.add((FeatureFactory<IN>) featureFactory);
    }

    windowSize = ois.readInt(); // 窗口大小為2
    weights = (double[][]) ois.readObject(); // 特征+label 對應的權重

    Set<String> lcWords = (Set<String>) ois.readObject(); // Set為空
    else {
        knownLCWords = new MaxSizeConcurrentHashSet<>(lcWords);
    }

    reinit();
}

不同於其他分詞器采用B、M、E、S四中label來做分詞，CoreNLP的中文分詞label只有兩種，“1”表示當前字符與前一字符連接成詞，“0”則表示當前字符為另一詞的開始，換言之前一字符為上一個詞的結尾。

class CRFClassifier {
    classIndex: class edu.stanford.nlp.util.HashIndex
      ["1","0"]
}

// 中文分詞label對應的類
public static class AnswerAnnotation implements CoreAnnotation<String>{}

特征

CoreNLP的特征如下（示例）：

class CRFClassifier {
    // 特征
    featureIndex: class edu.stanford.nlp.util.HashIndex
        size = 3408491
        0=的膀cc2|C
        1=身也pc|C
        44=LSSLp2spscsc2s|C
        45=科背p2p|C
        46=迪。cc2|C
        ...
        =球-行pc2|CnC
        =音非cc2|CpC
    
    // 權重
    weights: double[3408491][2]
        [[2.2114868426005005E-5, -2.2114868091546352E-5]...]
}

特征後綴只有3類：C, CpC, CnC，分別代表了三大類特征；均由特征模板生成：

// 特征模板List
featureFactories: ArrayList<FeatureFactory>
    0 = Gale2007ChineseSegmenterFeatureFactory

// 具體特征模板
Gale2007ChineseSegmenterFeatureFactory::getCliqueFeatures() {
    if (clique == cliqueC) {
        addAllInterningAndSuffixing(features, featuresC(cInfo, loc), "C");
    } else if (clique == cliqueCpC) {
        addAllInterningAndSuffixing(features, featuresCpC(cInfo, loc), "CpC");
        addAllInterningAndSuffixing(features, featuresCnC(cInfo, loc - 1), "CnC");
    }
}

特征模板只用到了兩個特征簇cliqueC與cliqueCpC，其中，cliqueC由函數featuresC()實現，cliqueCpC由函數featuresCpC()與featuresCnC()

Gale2007ChineseSegmenterFeatureFactory::featuresC() {
    if (flags.useWord1) {
        // Unigram 特征
        features.add(charc +"::c"); // c[0]
        features.add(charc2+"::c2"); // c[1]
        features.add(charp +"::p"); // c[-1]
        features.add(charp2 +"::p2"); // c[-2]
    
        // Bigram 特征
        features.add(charc +charc2  +"::cn"); // c[0]c[1]
        features.add(charc +charc3  +"::cn2"); // c[0]c[2]
        features.add(charp +charc  +"::pc"); // c[-1]c[0]
        features.add(charp +charc2  +"::pn"); // c[-1]c[1]
        features.add(charp2 +charp  +"::p2p"); // c[-2]c[-1]
        features.add(charp2 +charc  +"::p2c"); // c[-2]c[0]
        features.add(charc2 +charc  +"::n2c"); // c[1]c[0]
    }
    
    // 三個字符c[-1]c[0]c[1]對應的LBeginAnnotation、LMiddleAnnotation、LEndAnnotation 三種label特征
    // 結果特征分別以6種形式結尾，"-lb", "-lm", "-le", "-plb", "-plm", "-ple", "-c2lb", "-c2lm", "-c2le"
    // null || ".../models/segmenter/chinese/dict-chris6.ser.gz"
    if (flags.dictionary != null || flags.serializedDictionary != null) {
        dictionaryFeaturesC(CoreAnnotations.LBeginAnnotation.class,
                CoreAnnotations.LMiddleAnnotation.class,
                CoreAnnotations.LEndAnnotation.class,
                "", features, p, c, c2);
    }

    // 特征 c[1]c[0], c[1]
    if (flags.useFeaturesC4gram || flags.useFeaturesC5gram || flags.useFeaturesC6gram) {
        features.add(charp2 + charp + "p2p");
        features.add(charp2 + "p2");
    }

    // Unicode特征
    if (flags.useUnicodeType || flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep + "-" + uTypec + "-" + uTypec2 + "-uType3");
    }

    // UnicodeType特征
    if (flags.useUnicodeType4gram || flags.useUnicodeType5gram) {
        features.add(uTypep2 + "-" + uTypep + "-" + uTypec + "-" + uTypec2 + "-uType4");
    }

    // UnicodeBlock特征
    if (flags.useUnicodeBlock) {
        features.add(p.getString(CoreAnnotations.UBlockAnnotation.class) + "-" + c.getString(CoreAnnotations
                .UBlockAnnotation.class) + "-" + c2.getString(CoreAnnotations.UBlockAnnotation.class) + "-uBlock");
    }

    // Shape特征
    if (flags.useShapeStrings) {
        if (flags.useShapeStrings1) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class) + "ps");
            features.add(c.getString(CoreAnnotations.ShapeAnnotation.class) + "cs");
            features.add(c2.getString(CoreAnnotations.ShapeAnnotation.class) + "c2s");
        }
        if (flags.useShapeStrings3) {
            features.add(p.getString(CoreAnnotations.ShapeAnnotation.class) + c.getString(CoreAnnotations
                    .ShapeAnnotation.class) + c2.getString(CoreAnnotations.ShapeAnnotation.class) + "pscsc2s");
        }
        if (flags.useShapeStrings4) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class) + p.getString(CoreAnnotations
                    .ShapeAnnotation.class) + c.getString(CoreAnnotations.ShapeAnnotation.class) + c2.getString
                    (CoreAnnotations.ShapeAnnotation.class) + "p2spscsc2s");
        }
        if (flags.useShapeStrings5) {
            features.add(p2.getString(CoreAnnotations.ShapeAnnotation.class) + p.getString(CoreAnnotations
                    .ShapeAnnotation.class) + c.getString(CoreAnnotations.ShapeAnnotation.class) + c2.getString
                    (CoreAnnotations.ShapeAnnotation.class) + c3.getString(CoreAnnotations.ShapeAnnotation.class)
                    + "p2spscsc2sc3s");
        }
    }
}

Gale2007ChineseSegmenterFeatureFactory::featuresCpC() {}

Gale2007ChineseSegmenterFeatureFactory::featuresCnC() {}

三大類特征分別以“|C”為結尾（共計有32個）、以“|CpC”結尾（共計有37個）、以“|CnC”結尾（共計有9個）；總計78個特征。個人感覺CoreNLP定義的特征過於復雜，大部分特征並沒有什麽用。

CoreNLP後面處理流程跟其他分詞器別無二樣了，求每個label的權重加權之和，Viterbi解碼求解最大概率路徑，解析label序列得到分詞結果。CoreNLP分詞速度巨慢，效果也一般，在PKU、MSR測試集上的表現如下：

測試集 分詞器 準確率 召回率 F1
PKU thulac4j 0.948 0.936 0.942
CoreNLP 0.901 0.894 0.897
MSR thulac4j 0.866 0.896 0.881
CoreNLP 0.822 0.859 0.840

3.參考資料

[1] Huihsin, Tseng, et al. "A conditional random field word segmenter." Fourth SIGHAN Workshop. 2005.
[2] Chang, Pi-Chuan, Michel Galley, and Christopher D. Manning. "Optimizing Chinese word segmentation for machine translation performance." Proceedings of the third workshop on statistical machine translation. Association for Computational Linguistics, 2008.

開源中文分詞工具探析（六）：Stanford CoreNLP

相關推薦

開源中文分詞工具探析（六）：Stanford CoreNLP

inf git deb seq 效果 analysis stream fix sps CoreNLP是由斯坦福大學開源的一套Java NLP工具，提供諸如：詞性標註（part-of-speech (POS) tagger）、命名實體識別（named entity recog

開源中文分詞工具探析（七）：LTP

LTP是哈工大開源的一套中文語言處理系統，涵蓋了基本功能：分詞、詞性標註、命名實體識別、依存句法分析、語義角色標註、語義依存分析等。 【開源中文分詞工具探析】系列： 1. 前言 同THULAC一樣，LTP也是基於結構化感知器（Structured Perceptron, SP），以最大熵準則建模標註序列

開源中文分詞工具探析（四）：THULAC

THULAC是一款相當不錯的中文分詞工具，準確率高、分詞速度蠻快的；並且在工程上做了很多優化，比如：用DAT儲存訓練特徵（壓縮訓練模型），加入了標點符號的特徵（提高分詞準確率）等。 【開源中文分詞工具探析】系列： 1. 前言 THULAC所採用的分詞模型為結構化感知器（Structured Percep

開源中文分詞工具探析（五）：FNLP

FNLP是由Fudan NLP實驗室的邱錫鵬老師開源的一套Java寫就的中文NLP工具包，提供諸如分詞、詞性標註、文字分類、依存句法分析等功能。 【開源中文分詞工具探析】系列： 1. 前言 類似於THULAC，FNLP也是採用線性模型（linear model）分詞。較於對數線性模型（log-linea

開源中文分詞工具探析（三）：Ansj

Ansj是由孫健（ansjsun）開源的一箇中文分詞器，為ICTLAS的Java版本，也採用了Bigram + HMM分詞模型（可參考我之前寫的文章）：在Bigram分詞的基礎上，識別未登入詞，以提高分詞準確度。雖然基本分詞原理與ICTLAS的一樣，但是Ansj做了一些工程上的優化，比如：用DAT高效地實現檢

中文分詞工具探析（一）：ICTCLAS (NLPIR)

【開源中文分詞工具探析】系列： 1. 前言 ICTCLAS是張華平老師推出的中文分詞系統，於2009年更名為NLPIR。ICTCLAS是中文分詞界元老級工具了，作者開放出了free版本的原始碼（1.0整理版本在此). 作者在論文[1] 中宣稱ICTCLAS是基於HHMM（Hierarchical Hid

中文分詞工具探析（二）：Jieba

【開源中文分詞工具探析】系列： 1. 前言 Jieba是由fxsjy大神開源的一款中文分詞工具，一款屬於工業界的分詞工具——模型易用簡單、程式碼清晰可讀，推薦有志學習NLP或Python的讀一下原始碼。與採用分詞模型Bigram + HMM 的ICTCLAS 相類似，Jieba採用的是Unigram +

北大開源全新中文分詞工具包：準確率遠超THULAC、結巴分詞

選自GitHub，作者：羅睿軒、許晶晶、孫栩，機器之心編輯。 最近，北大開源了一箇中文分詞工具包，它在多個分詞資料集上都有非常高的分詞準確率。其中廣泛使用的結巴分詞誤差率高達 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 與 4.32%。 pkuseg 是由北京

在PyCharm（Python整合開發環境）中安裝jieba中文分詞工具包

PyCharm IDE中，可以直接引入各種工具包。jieba中文分詞工具包安裝非常方便。 1、開啟Pycharm，點選左上角  >>File  >>Settings。 2、在settings介面中點選Project :***（專案名稱）  >

PyNLPIR python中文分詞工具

命名 hub 兩個 工具 ict mage ret wid tty 官網：https://pynlpir.readthedocs.io/en/latest/ github：https://github.com/tsroten/pynlpir NLPIR分詞系

7個優秀的開源中文分詞庫推薦

中文分詞是中文文字處理的基礎步驟，也是中文人機自然語言互動的基礎模組。由於中文句子中沒有詞的界限，因此在進行中文自然語言處理時，通常需要先進行分詞。 縱觀整個開源領域，陸陸續續做中文分詞的也有不少，不過目前仍在維護的且質量較高的並不多。下面整理了一些個人認為比較優秀的中文分詞庫，以供大家

Hanlp等七種優秀的開源中文分詞庫推薦

中文分詞是中文文字處理的基礎步驟，也是中文人機自然語言互動的基礎模組。由於中文句子中沒有詞的界限，因此在進行中文自然語言處理時，通常需要先進行分詞。 縱觀整個開源領域，陸陸續續做中文分詞的也有不少，不過目前仍在維護的且質量較高的並不多。下面整理了一些個人認為比較優秀的中文分

10大Java開源中文分詞器的使用方法和分詞效果對比

原文地址：http://my.oschina.net/apdplat/blog/412921 本文的目標有兩個： 1、學會使用10大Java開源中文分詞器 2、對比分析10 大Java開源中文分詞器的分詞效果 本文給出了10大Java開源中文分詞的使用方法以及分詞

【NLP】11大Java開源中文分詞器的使用方法和分詞效果對比

本文的目標有兩個： 1、學會使用11大Java開源中文分詞器 2、對比分析11大Java開源中文分詞器的分詞效果 本文給出了11大Java開源中文分詞的使用方法以及分詞結果對比程式碼，至於效果哪個好，那要用的人結合自己的應用場景自己來判斷。 11大Java開源中文分詞器，不同的分詞器

Solr與開源中文分詞(ansj)整合

1. ansj分詞原始碼及jar包下載地址 原始碼： https://github.com/NLPchina/ansj_seg jar包： http://maven.nlpcn.org/org/ansj/ http://maven.nlpcn.org/org/nlpcn/n

中文分詞工具thulac4j釋出

1. 介紹 thulac4j是THULAC的Java 8工程化實現，具有分詞速度快、準、強的特點；支援 自定義詞典 繁體轉簡體 停用詞過濾 若想在專案中使用thulac4j，可新增依賴： <dependency> <groupId>io.github.yizhiru</g

乾貨 | 史上最全中文分詞工具整理

作者 | fendouai 一．中文分詞  分詞服務介面列表 二．準確率評測： THULAC：與代表性分詞軟體的效能對比 我們選擇LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等國內具代表性的分詞軟體與THULAC做效能

中文分詞工具

THULAC 四款python中中文分詞的嘗試。嘗試的有：jieba、SnowNLP（MIT）、pynlpir（大資料搜尋挖掘實驗室（北京市海量語言資訊處理與雲端計算應用工程技術研究中心））、thulac（清華大學自然語言處理與社會人文計算實驗室） 四款都

python中文分詞工具：結巴分詞jieba

結巴分詞jieba特點    支援三種分詞模式：        精確模式，試圖將句子最精確地切開，適合文字分析；        全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；        搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提

jieba.NET是jieba中文分詞的.NET版本（C#實現）。

jieba.NET是jieba中文分詞的.NET版本（C#實現）。 當前版本為0.38.2，基於jieba 0.38，提供與jieba一致的功能與介面，以後可能會在jieba基礎上提供其它擴充套件功能。關於jieba的實現思路，可以看看這篇wiki裡提到的資料。 如果