1. 程式人生 > >Hanlp中文自然語言處理入門基礎知識

Hanlp中文自然語言處理入門基礎知識

watermark holo bottom ava 領域 elastic 最短 oid 變化

自然語言處理定義:

自然語言處理是一門計算機科學、人工智能以及語言學的交叉學科。雖然語言只是人工智能的一部分(人工智能還包括計算機視覺等),但它是非常獨特的一部分。這個星球上有許多生物擁有超過人類的視覺系統,但只有人類才擁有這麽高級的語言。

自然語言處理的目標是讓計算機處理或說“理解”自然語言,以完成有意義的任務,比如訂機票購物或QA等。完全理解和表達語言是極其困難的,完美的語言理解等效於實現人工智能。

自然語言處理涉及的幾個層次

技術分享圖片

作為輸入一共有兩個來源,語音與文本。所以第一級是語音識別和OCR或分詞(事實上,跳過分詞雖然理所當然地不能做句法分析,但字符級也可以直接做不少應用)。接下來是形態學,援引《統計自然語言處理》中的定義:形態學(morphology):形態學(又稱“詞匯形態學”或“詞法”)是語言學的一個分支,研究詞的內部結構,包括屈折變化和構詞法兩個部分。由於詞具有語音特征、句法特征和語義特征,形態學處於音位學、句法學和語義學的結合部位,所以形態學是每個語言學家都要關註的一門學科

Hanlp自然語言處理開發包:

從事大數據方面工作的人對自然語言處理必然都是不陌生的,在Github上用戶量最多的開源漢語自然語言處理工具是HanLP。HanLP的初始版本是在2014年初開發的,3月份的時候開始在Github上開源。2015年的時候集成在了大快搜索的DKNLP中,目前大快已經把DKNLP技術成果已經開源,並且整體裝如HanLP項目,HanLP的版本已經到了V1.50。

Hanlp自然語言處理技術優勢:

支持中文分詞(N-最短路分詞、CRF分詞、索引分詞、用戶自定義詞調、詞性標註),命名實體識別(中國人民、音譯人民、日本人民,地名,實體機構名識別),關鍵詞提取,自動摘要,短語提取,拼音轉換,簡繁轉換,文本推薦,依存句法分析(MaxEnt依存句法分析、神經網絡依存句法分析)。提供Lucene查件,兼容Solr和ElasticSearch。

技術分享圖片

Hanlp自然語言處理應用領域:

Hanlp已經被廣泛應用於Lucene、Solr、ElasticSearch、hadoop、android、Resin等平臺,有大量開源作者開發各種查件與拓展,並且被包裝或移植到Python、C#、R、JavaScript等語言上去。

技術分享圖片


Hanlp中文自然語言處理入門基礎知識