1. 程式人生 > >自然語言處理入門基礎之hanlp詳解

自然語言處理入門基礎之hanlp詳解

自然語言處理定義:

自然語言處理是一門電腦科學、人工智慧以及語言學的交叉學科。雖然語言只是人工智慧的一部分(人工智慧還包括計算機視覺等),但它是非常獨特的一部分。這個星球上有許多生物擁有超過人類的視覺系統,但只有人類才擁有這麼高階的語言。

自然語言處理的目標是讓計算機處理或說“理解”自然語言,以完成有意義的任務,比如訂機票購物或QA等。完全理解和表達語言是極其困難的,完美的語言理解等效於實現人工智慧。

自然語言處理涉及的幾個層次:

在這裡插入圖片描述

作為輸入一共有兩個來源,語音與文字。所以第一級是語音識別和OCR或分詞(事實上,跳過分詞雖然理所當然地不能做句法分析,但字元級也可以直接做不少應用)。接下來是形態學,援引《統計自然語言處理》中的定義:形態學(morphology):形態學(又稱“詞彙形態學”或“詞法”)是語言學的一個分支,研究詞的內部結構,包括屈折變化和構詞法兩個部分。由於詞具有語音特徵、句法特徵和語義特徵,形態學處於音位學、句法學和語義學的結合部位,所以形態學是每個語言學家都要關注的一門學科。

Hanlp自然語言處理開發包:

從事大資料方面工作的人對自然語言處理必然都是不陌生的,在Github上使用者量最多的開源漢語自然語言處理工具是HanLP。HanLP的初始版本是在2014年初開發的,3月份的時候開始在Github上開源。2015年的時候整合在了大快搜索的DKNLP中,目前大快已經把DKNLP技術成果已經開源,並且整體裝如HanLP專案,HanLP的版本已經到了V1.50。

Hanlp自然語言處理技術優勢:

支援中文分詞(N-最短路分詞、CRF分詞、索引分詞、使用者自定義詞調、詞性標註),命名實體識別(中國人民、音譯人民、日本人民,地名,實體機構名識別),關鍵詞提取,自動摘要,短語提取,拼音轉換,簡繁轉換,文字推薦,依存句法分析(MaxEnt依存句法分析、神經網路依存句法分析)。提供Lucene查件,相容Solr和ElasticSearch。

在這裡插入圖片描述

Hanlp自然語言處理應用領域:

Hanlp已經被廣泛應用於Lucene、Solr、ElasticSearch、hadoop、android、Resin等平臺,有大量開源作者開發各種查件與拓展,並且被包裝或移植到Python、C#、R、JavaScript等語言上去。

在這裡插入圖片描述

文章來源於大資料資訊