2. 程式人生 > >pyhanlp 停用詞與使用者自定義詞典功能詳解

pyhanlp 停用詞與使用者自定義詞典功能詳解

阿新 • • 發佈：2018-11-21

hanlp的詞典模式

之前我們看了hanlp的詞性標註，現在我們就要使用自定義詞典與停用詞功能了，首先關於HanLP的詞性標註方式具體請看HanLP詞性標註集。

其核心詞典形式如下：

自定義詞典

自定義詞典有多種新增模式，首先是展示的一個小例子，展示了詞彙的動態增加與強行插入，刪除等。更復雜的內容請參考後邊的第二段程式碼。

簡單的例子

from pyhanlp import *

text = "攻城獅逆襲單身狗，迎娶白富美，走上人生巔峰"  # 怎麼可能噗哈哈！

print(HanLP.segment(text))

CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary")

CustomDictionary.add("攻城獅")  # 動態增加

CustomDictionary.insert("白富美", "nz 1024")  # 強行插入

#CustomDictionary.remove("攻城獅"); # 刪除詞語（註釋掉試試）

CustomDictionary.add("單身狗", "nz 1024 n 1")

 

# 展示該單詞詞典中的詞頻統計 展示分詞

print(CustomDictionary.get("單身狗"))

print(HanLP.segment(text))

 

# 增加使用者詞典,對其他分詞器同樣有效

# 注意此處,CRF分詞器將單身狗分為了n 即使單身狗:"nz 1024 n 1"

CRFnewSegment = HanLP.newSegment("crf")

print(CRFnewSegment.seg(text))

[攻城獅, 逆襲, 單身狗, ，, 迎娶, 白富美, ，, 走上, 人生, 巔峰]

nz 1024 n 1

[攻城獅, 逆襲, 單身狗, ，, 迎娶, 白富美, ，, 走上, 人生, 巔峰]

[攻城, 獅逆襲, 單身狗, ，, 迎娶, 白富美, ，, 走, 上, 人生, 巔峰]

複雜的例子

 

""" 演示自定義詞性,以及往詞典中插入自定義詞性的詞語

    !!!由於採用了反射技術,使用者需對本地環境的相容性和穩定性負責!!!

 

TO-DO

如果使用了動態詞性之後任何類使用了switch(nature)語句,必須註冊每個類

"""

# 對於系統中已有的詞性,可以直接獲取

Nature = JClass("com.hankcs.hanlp.corpus.tag.Nature")

pc_nature = Nature.fromString("n")

print(pc_nature)

# 此時系統中沒有"電腦品牌"這個詞性

pc_nature = Nature.fromString("電腦品牌")

print(pc_nature)

# 我們可以動態新增一個

pc_nature = Nature.create("電腦品牌");

print(pc_nature)

# 可以將它賦予到某個詞語

LexiconUtility = JClass("com.hankcs.hanlp.utility.LexiconUtility")

LexiconUtility.setAttribute("蘋果電腦", pc_nature)

# 或者

LexiconUtility.setAttribute("蘋果電腦", "電腦品牌 1000")

# 它們將在分詞結果中生效

term_list = HanLP.segment("蘋果電腦可以執行開源阿爾法狗程式碼嗎")

print(term_list)

for term in term_list:

    if term.nature == pc_nature:

        print("找到了 [{}] : {}\n".format(pc_nature, term.word))

 

# 還可以直接插入到使用者詞典

CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary")

CustomDictionary.insert("阿爾法狗", "科技名詞 1024")

StandardTokenizer = JClass("com.hankcs.hanlp.tokenizer.StandardTokenizer")

StandardTokenizer.SEGMENT.enablePartOfSpeechTagging(True)  # 依然支援隱馬詞性標註

term_list = HanLP.segment("蘋果電腦可以執行開源阿爾法狗程式碼嗎")

print(term_list)

n

None

電腦品牌

[蘋果電腦/電腦品牌, 可以/v, 執行/vn, 開源/v, 阿爾法/nrf, 狗/n, 程式碼/n, 嗎/y]

找到了 [電腦品牌] : 蘋果電腦

 

[蘋果電腦/電腦品牌, 可以/v, 執行/vn, 開源/v, 阿爾法狗/科技名詞, 程式碼/n, 嗎/y]

關於自定義詞典的說明（原作者的原文）

說明

  1. CustomDictionary是一份全域性的使用者自定義詞典，可以隨時增刪，影響全部分詞器。另外可以在任何分詞器中關閉它。通過程式碼動態增刪不會儲存到詞典檔案。
  2. 中文分詞≠詞典，詞典無法解決中文分詞，Segment提供高低優先順序應對不同場景，請參考FAQ。

追加詞典

  1. CustomDictionary主詞典文字路徑是data/dictionary/custom/CustomDictionary.txt，使用者可以在此增加自己的詞語（不推薦）；也可以單獨新建一個文字檔案，通過配置檔案CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt; 我的詞典.txt;來追加詞典（推薦）。
  2. 始終建議將相同詞性的詞語放到同一個詞典檔案裡，便於維護和分享。

詞典格式

  1. 每一行代表一個單詞，格式遵從[單詞] [詞性A] [A的頻次] [詞性B] [B的頻次] ... 如果不填詞性則表示採用詞典的預設詞性。
  2. 詞典的預設詞性預設是名詞n，可以通過配置檔案修改：全國地名大全.txt ns;如果詞典路徑後面空格緊接著詞性，則該詞典預設是該詞性。
  3. 在統計分詞中，並不保證自定義詞典中的詞一定被切分出來。使用者可在理解後果的情況下通過Segment#enableCustomDictionaryForcing強制生效。
  4. 關於使用者詞典的更多資訊請參考詞典說明一章（請看本文最後）。

停用詞

關於停用詞，我同樣先給出了一個簡單的例子，你可以使用這個例子來完成你所需要的功能。要注意的一點是，因為java中的類所返回的資料型別與Python不統一，所以當你使用不同的函式的時候，一定要先檢查輸出結果在Python中的型別，不然可能會出現意想不到的問題。

假如你想了解更多，可以看第二個更復雜的例子。

簡單的例子

# 使用停用詞的簡單例子

 

text = "小區居民有的反對餵養流浪貓"

CRFnewSegment = HanLP.newSegment("crf")

term_list = CRFnewSegment.seg(text)

# BasicTokenizer = SafeJClass("com.hankcs.hanlp.tokenizer.BasicTokenizer")

# term_list = BasicTokenizer.segment(text)

 

CoreStopWordDictionary = JClass("com.hankcs.hanlp.dictionary.stopword.CoreStopWordDictionary")

CoreStopWordDictionary.apply(term_list)

HanLP.Config.ShowTermNature = False

 

print(term_list)

print([i.word for i in term_list])

[小區, 居民, 反對, 養, 流, 浪, 貓]

['小區', '居民', '反對', '養', '流', '浪', '貓']

複雜的例子

# 停用詞

 

# 在import pyhanlp之前編譯自己的Java class，並放入pyhanlp/static中

import os

 

from pyhanlp.static import STATIC_ROOT, HANLP_JAR_PATH

 

java_code_path = os.path.join(STATIC_ROOT, 'MyFilter.java')

with open(java_code_path, 'w') as out:

    java_code = """

import com.hankcs.hanlp.dictionary.stopword.CoreStopWordDictionary;

import com.hankcs.hanlp.dictionary.stopword.Filter;

import com.hankcs.hanlp.seg.common.Term;

 

public class MyFilter implements Filter

{

    public boolean shouldInclude(Term term)

    {

        if (term.nature.startsWith('m')) return true; // 數詞保留

        return !CoreStopWordDictionary.contains(term.word); // 停用詞過濾

    }

}

"""

    out.write(java_code)

os.system('javac -cp {} {} -d {}'.format(HANLP_JAR_PATH, java_code_path, STATIC_ROOT))

# 編譯結束才可以啟動hanlp

 

CoreStopWordDictionary = JClass("com.hankcs.hanlp.dictionary.stopword.CoreStopWordDictionary")

Filter = JClass("com.hankcs.hanlp.dictionary.stopword.Filter")

Term = JClass("com.hankcs.hanlp.seg.common.Term")

BasicTokenizer = JClass("com.hankcs.hanlp.tokenizer.BasicTokenizer")

NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

 

text = "小區居民有的反對餵養流浪貓，而有的居民卻贊成餵養這些小寶貝"

# 可以動態修改停用詞詞典

CoreStopWordDictionary.add("居民")

print(NotionalTokenizer.segment(text))

CoreStopWordDictionary.remove("居民")

print(NotionalTokenizer.segment(text))

 

# 可以對任意分詞器的結果執行過濾

term_list = BasicTokenizer.segment(text)

print(term_list)

CoreStopWordDictionary.apply(term_list)

print(term_list)

 

# 還可以自定義過濾邏輯

MyFilter = JClass('MyFilter')

CoreStopWordDictionary.FILTER = MyFilter()

print(NotionalTokenizer.segment("數字123的保留"))  # “的”位於stopwords.txt所以被過濾，數字得到保留

[小區/n, 反對/v, 餵養/v, 流浪貓/nz, 贊成/v, 餵養/v, 小寶貝/nz]

[小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz, 居民/n, 贊成/v, 餵養/v, 小寶貝/nz]

[小區/n, 居民/n, 有/vyou, 的/ude1, 反對/v, 餵養/v, 流浪貓/nz, ，/w, 而/cc, 有的/rz, 居民/n, 卻/d, 贊成/v, 餵養/v, 這些/rz, 小寶貝/nz]

[小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz, 居民/n, 贊成/v, 餵養/v, 小寶貝/nz]

[數字/n, 123/m, 保留/v]

詞典說明（原作者原文）

本章詳細介紹HanLP中的詞典格式，滿足使用者自定義的需要。HanLP中有許多詞典，它們的格式都是相似的，形式都是文字文件，隨時可以修改。

基本格式

詞典分為詞頻詞性詞典和詞頻詞典。

詞頻詞性詞典（如CoreNatureDictionary.txt）

  1. 每一行代表一個單詞，格式遵從[單詞] [詞性A] [A的頻次] [詞性B] [B的頻次] ...。
  2. 支援省略詞性和頻次，直接一行一個單詞。
  3. .txt詞典檔案的分隔符為空格或製表符，所以不支援含有空格的詞語。如果需要支援空格，請使用英文逗號,分割的純文字.csv檔案。在使用Excel等富文字編輯器時，則請注意儲存為純文字形式。

詞頻詞典（如CoreNatureDictionary.ngram.txt）

  1. 每一行代表一個單詞或條目，格式遵從[單詞] [單詞的頻次]。
  2. 每一行的分隔符為空格或製表符。

少數詞典有自己的專用格式，比如同義詞詞典相容《同義詞詞林擴充套件版》的文字格式，而轉移矩陣詞典則是一個csv表格。

下文主要介紹通用詞典，如不註明，詞典特指通用詞典。

資料結構

Trie樹（字典樹）是HanLP中使用最多的資料結構，為此，我實現了通用的Trie樹，支援泛型、遍歷、儲存、載入。

使用者自定義詞典採用AhoCorasickDoubleArrayTrie和二分Trie樹儲存，其他詞典採用基於雙陣列Trie樹(DoubleArrayTrie)實現的AC自動機AhoCorasickDoubleArrayTrie。關於一些常用資料結構的效能評估，請參考wiki。

儲存形式

詞典有兩個形態：文字檔案(filename.txt)和快取檔案(filename.txt.bin或filename.txt.trie.dat和filename.txt.trie.value)。

文字檔案

  1. 採用明文儲存，UTF-8編碼，CRLF換行符。

快取檔案

  1. 就是一些二進位制檔案，通常在文字檔案的檔名後面加上.bin表示。有時候是.trie.dat和.trie.value。後者是歷史遺留產物，分別代表trie樹的陣列和值。
  2. 如果你修改了任何詞典，只有刪除快取才能生效。

修改方法

HanLP的核心詞典訓練自人民日報2014語料，語料不是完美的，總會存在一些錯誤。這些錯誤可能會導致分詞出現奇怪的結果，這時請開啟除錯模式排查問題：（本文作者FontTian注：在本文動筆前，原詞典一進變為了9970萬版本的最大中文語料。但是詞典說明中原作者沒改）

HanLP.Config.enableDebug();

核心詞性詞頻詞典

  1. 比如你在data/dictionary/CoreNatureDictionary.txt中發現了一個不是詞的詞，或者詞性標註得明顯不對，那麼你可以修改它，然後刪除快取檔案使其生效。
  2. 目前CoreNatureDictionary.ngram.txt的快取依賴於CoreNatureDictionary.txt的快取，修改了後者之後必須同步刪除前者的快取，否則可能出錯

核心二元文法詞典

  1. 二元文法詞典data/dictionary/CoreNatureDictionary.ngram.txt儲存的是兩個詞的接續，如果你發現不可能存在這種接續時，刪掉即可。
  2. 你也可以新增你認為合理的接續，但是這兩個詞必須同時在核心詞典中才會生效。

命名實體識別詞典

  1. 基於角色標註的命名實體識別比較依賴詞典，所以詞典的質量大幅影響識別質量。
  2. 這些詞典的格式與原理都是類似的，請閱讀相應的文章或程式碼修改它。

 

文章來源 FonTIan 的部落格

相關推薦

pyhanlp 停用詞與使用者自定義詞典功能詳解

hanlp的詞典模式 之前我們看了hanlp的詞性標註，現在我們就要使用自定義詞典與停用詞功能了，首先關於HanLP的詞性標註方式具體請看HanLP詞性標註集。 其核心詞典形式如下： 自定義詞典 自定義詞典有多種新增模式，首先是展示的一個小例子，展示了詞彙的動態增加與強行插入，

pyhanlp 停用詞與使用者自定義詞典

hanlp的詞典模式 之前我們看了hanlp的詞性標註，現在我們就要使用自定義詞典與停用詞功能了，首先關於HanLP的詞性標註方式具體請看HanLP詞性標註集。 其核心詞典形式如下： 自定義詞典 自定義詞典有多種新增模式，首先是展示的一個小例子，展示了詞彙的動態增加與強行

JVM堆記憶體管理與自定義分配引數詳解

堆記憶體模型：   在Java中，堆被劃分成兩個不同的區域：新生代（Young），老年代（Old）。而Permanent屬於永久代（方法區），不屬於堆記憶體。新生代又被分為了三個區域：Eden,from  survivor,to survivor。這樣劃分的目的

《Android群英傳》學習筆記之Android控制元件架構與自定義控制元件詳解

一、Android控制元件架構： 控制元件大致分為兩類：ViewGroup控制元件與View控制元件。View是繪製在螢幕上的使用者能與之互動的一個物件。而ViewGroup則是一個用於存放其他Vi

Android中View自定義XML屬性詳解以及R.attr與R.styleable的區別

為View新增自定義XML屬性 Android中的各種Widget都提供了很多XML屬性，我們可以利用這些XML屬性在layout檔案中為Widget的屬性賦值。 如下所示： <TextView android:layout_wi

杜鵬的個人部落格 Flex使用Blazeds與Java互動及自定義物件轉換詳解

一、建立Flex與Java互動的工程。 　　本文中講到的互動是利用Blazeds的，因為這個是免費的，呵呵，我是窮人。 　　首先就是去下載Blazeds的壓縮包，這個可以從官網或者CSDN、JavaEye上下到。解壓縮這個包，將裡面的Blazeds.war解壓，後面建立工程時要使用。 　　在MyEclips

閱讀徐宜生《Android群英傳》的筆記——第3章 Android控制元件架構與自定義控制元件詳解（3.6-3.8）

3.6 自定義 View 在自定義 View 時，我們通常會去重寫 onDraw() 方法來繪製 View 的顯示內容。如果該 View 還需要使用 wrap_content 屬性，那麼還必須重寫 onMeasure() 方法。另外，通過自定義 attr

自定義控件詳解（七）：drawText()

字體 相對 awt 除了 4條 nbsp pan ase span 比較基礎的一個方法。即繪制文本 使用如下： Paint paint = new Paint(); paint.setColor(Color.RED); // 紅色字體 paint.setS

自定義轉場詳解(一)

assign pda 好的 led hint ext hid case delegate 前言 本文是我學習了onevcat的這篇轉場入門做的一點筆記。 今天我們來實現一個簡單的自定義轉場，我們先來看看這篇文章將要實現的一個效果圖吧： 過程詳解 熱身準備 我們先創建一

Java Web自定義MVC框架詳解

分享一個大神的人工智慧教程！http://blog.csdn.net/jiangjunshow 最近給學生講Java Web，希望他們能夠在學完這部分內容後自己實現一個MVC框架。但是突然發現百度上能搜尋到的靠譜的資料並不是很多，有些只是原理沒有程式碼實現，有些有程式碼實現但是

MySQL自定義函式用法詳解-複合結構自定義變數/流程控制

自定義函式 (user-defined function UDF)就是用一個象ABS() 或 CONCAT()這樣的固有（內建）函式一樣作用的新函式去擴充套件MySQL。 所以UDF是對MySQL功能的一個擴充套件 建立和刪除自定義函式語法: 建立UDF: 　　CREATE 

自定義LayoutManager的詳解及其使用

RecyclerView不斷的普及，越來越多的人使用來代替傳統的ListView，GridView等，為了跟進時代也要不斷的學習RecyclerView的相關知識，下面就來了解一下RecyclerView的LayoutManger。 Recycler RecyclerView內部有一個R

在ubuntu16.04中安裝apache2+modsecurity以及自定義WAF規則詳解

一、Modsecurity規則語法示例 SecRule是ModSecurity主要的指令，用於建立安全規則。其基本語法如下： SecRule VARIABLES OPERATOR [ACTIONS] VARIABLES 代表HTTP包中的標識項，規定了安全規則針對的物件。常見的

Android自定義主題樣式詳解（結合自定義title欄講解）

此篇部落格將總結主題樣式的自定義並且結合例項自定義title欄進行講解。為了方便閱讀，在此先寫明文章結構： 1.對android主題樣式的理解 （簡略結合系統自帶樣式的講解） 2.如何自定義主題樣式 （主要，有例子） 3.如何自定義titl

資料庫中自定義儲存函式詳解

        MySQL資料庫中有很多已經存在的函式，比如count、sun、min、max和avg等等，除了這些，我們還可以自定義自己所需要的儲存函式，其建立儲存函式的基本形式如下：CREATE FUNCTION func_name ([func_parameter[,.

Java自定義註解Annotation詳解

一：簡介 開發中經常使用到註解，在專案中也偶爾會見到過自定義註解，今天就來探討一下這個註解是什麼鬼，以及註解的應用場景和如何自定義註解。 下面列舉開發中常見的註解 @Override：用於標識該方法繼承自超類, 當父類的方法被刪除或修改了，編譯器會提示錯

android自定義控制元件(三) 增加內容 自定義屬性 format詳解

1. reference：參考某一資源ID。     （1）屬性定義：             <declare-styleable name = "名稱">                    <attr name = "backgroun

Android建立自定義dialog方法詳解-樣式去掉陰影效果

在自定義元件時，從已有元件原始碼中會很大收穫。 就拿progressDialog來說      間接父類是dialog,想了解dialog繼承結構可以去百度，或者    從構造器來說ProgressDialog(Context context, int theme)

Visual Studio創建制作自定義工具步驟詳解

       Visual Studio的工具箱種類很多，涵蓋公共控制元件、容器、選單、資料、報表等各類工具，各個工具都有不同的用途，雖說工具種類和總數都很多，但是難免有時候還是不能滿足我們的需要，再次介紹如何創建制作自定義工具的方法。環境：Visual Studio 201

MySQL自定義函式用法詳解

自定義函式 (user-defined function UDF)就是用一個象ABS() 或 CONCAT()這樣的固有（內建）函式一樣作用的新函式去擴充套件MySQL。 所以UDF是對MySQL功能的一個擴充套件 建立和刪除自定義函式語法: 建立UDF: 　　CREATE [AGGREGATE] FUN