2. 程式人生 > >自然語言處理基礎技術之命名實體識別簡介

自然語言處理基礎技術之命名實體識別簡介

阿新 • • 發佈：2018-11-30

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84571654
另外，更多實時更新的個人學習筆記分享，請關注：
知乎：https://www.zhihu.com/people/yuquanle/columns
公眾號：StudyForAI

整理一波關於命名實體識別方面的知識，希望對大家有幫助~~

命名實體識別定義：

  • 百度百科定義：命名實體識別（Named Entity Recognition，簡稱NER），又稱作“專名識別”，是指識別文字中具有特定意義的實體，主要包括人名、地名、機構名、專有名詞等。

  • 維基百科定義：Named-entity recognition (NER) (also known as entity identification, entity chunking and entity extraction) is a subtask of information extraction that seeks to locate and classify named entity mentions in unstructured text into pre-defined categories such as the person names, organizations, locations, medical codes, time expressions, quantities, monetary values, percentages, etc.

  • 簡單的講，就是識別自然文字中的實體指稱的邊界和類別。

發展歷史：

  • 命名實體識別（Named Entity Recognition）這個術語首次出現在MUC-6（Message Understanding Conferences），這個會議關注的主要問題是資訊抽取（Information Extraction），第六屆MUC除了資訊抽取評測任務還開設了新評測任務即命名實體識別任務。除此之外，其他相關的評測會議包括CoNLL（Conference on Computational Natural Language Learning）、ACE（Automatic Content Extraction）和IEER（Information Extraction-Entity Recognition Evaluation）等。

  • 在MUC-6之前，大家主要是關注人名、地名和組織機構名這三類專業名詞的識別。自MUC-6起，後面有很多研究對類別進行了更細緻的劃分，比如地名被進一步細化為城市、州和國家，也有人將人名進一步細分為政治家、藝人等小類。

  • 此外，一些評測還擴大了專業名詞的範圍，比如CoNLL某年組織的評測中包含了產品名的識別。一些研究也涉及電影名、書名、專案名、研究領域名稱、電子郵件地址、電話號碼以及生物資訊學領域的專有名詞（如蛋白質、DNA、RNA等）。甚至有一些工作不限定“實體”的型別，而是將其當作開放域的命名實體識別和分類。

常見方法：

早期的命名實體識別方法基本都是基於規則的。之後由於基於大規模的語料庫的統計方法在自然語言處理各個方面取得不錯的效果之後，一大批機器學習的方法也出現在命名實體類識別任務。宗成慶老師在統計自然語言處理一書粗略的將這些基於機器學習的命名實體識別方法劃分為以下幾類：

  • 有監督的學習方法：這一類方法需要利用大規模的已標註語料對模型進行引數訓練。目前常用的模型或方法包括隱馬爾可夫模型、語言模型、最大熵模型、支援向量機、決策樹和條件隨機場等。值得一提的是，基於條件隨機場的方法是命名實體識別中最成功的方法。

  • 半監督的學習方法：這一類方法利用標註的小資料集（種子資料）自舉學習。

  • 無監督的學習方法：這一類方法利用詞彙資源（如WordNet）等進行上下文聚類。

  • 混合方法：幾種模型相結合或利用統計方法和人工總結的知識庫。

值得一提的是，由於深度學習在自然語言的廣泛應用，基於深度學習的命名實體識別方法也展現出不錯的效果，此類方法基本還是把命名實體識別當作序列標註任務來做，比較經典的方法是LSTM+CRF、BiLSTM+CRF。

這裡有一個基於tensorflow的實現：https://github.com/shiyybua/NER

一些相關的資料集：

命名實體識別工具：

最新研究進展看這裡：

https://github.com/yuquanle/NLP-progress/blob/master/named_entity_recognition.md

參考：

1.統計自然語言處理

相關推薦

自然語言處理基礎技術之命名實體識別簡介

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84571654 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之命名實體識別實戰

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84592596 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之依存句法分析

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84639081 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之詞性標註實戰

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84553960 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之分詞實戰

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84453008 更多學習筆記關注： 公眾號:StudyForAI 知乎專欄:https://www.zhihu.com/people/yuquanle/colum

自然語言處理基礎技術之分詞介紹

宣告：轉載請註明出處：https://blog.csdn.net/m0_37306360/article/details/84404130 更多學習筆記關注： 公眾號:StudyForAI 知乎專欄:https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之依存句法分析實戰

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84645682 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之成分句法分析

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84670800 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之成分句法分析實戰

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84712213 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理基礎技術之詞性標註

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84502176 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns 公眾號：

自然語言處理基礎技術之組合範疇文法

宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84719074 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns

自然語言處理之命名實體識別-tanfordcorenlp-NER(一)

轉載請註明出處：https://blog.csdn.net/HHTNAN 簡介 CoreNLP 專案是Stanford開發的一套開源的NLP系統。包括tokenize, pos , parse 等功能，與SpaCy類似。SpaCy號稱是目前最快的NLP系統， 並且提供現成的pyt

自然語言處理NLP技術里程碑、知識結構、研究方向和機構導師(公號回覆“NLP總結”下載彩標PDF典藏版資料)

自然語言處理NLP技術里程碑、知識結構、研究方向和機構導師(公號回覆“NLP總結”下載彩標PDF典藏版資料) 原創： 秦隴紀 資料簡化DataSimp 今天 資料簡化DataSimp導讀：自然語言處理髮展史上的十大里程碑、NLP知識結構，以及NLP國內研究方向、機構、導師。祝大家學習

《統計自然語言處理基礎》作者Christopher D. Manning指出的NLP研究趨勢

ble text 自然語言處理 nlp pen rep 向量 att ext 20017-2018年本書作者Christopher D. Manning 在Bytedance演講時指出的NLP研究趨勢： (1) word2vec -> GloVe詞向量 (2) MT問

自然語言處理基礎知識

1.假設句子按單詞順序為w1,w2,...,wn ，那麼這個句子的概率公式為？ 句子S在語料庫中出現的概率P(S)=P(w1,w2,w3...wn)。根據條件概率公式P(w1,w2,w3...wn)=P(w1)*P(w2|w1)*p(w3|w1,w2)...P(wn|w1,w2...w(n-1))。

【自然語言處理】論述自然語言處理的技術範疇

文章目錄 論述自然語言處理的技術範疇 一、前言 二、主要技術範疇 1、語音合成(Speech Synthesis) 2、語音識別(Speech Recognition) 3、中

自然語言處理相關技術與任務簡介

更多學習筆記關注： 公眾號:StudyForAI 知乎專欄:https://www.zhihu.com/people/yuquanle/columns 自然語言處理(NLP)是人工智慧的一個重要應用領域，由於本人主要研究方向為NLP，也由於最近學習的需要，特意蒐羅資料，整理了

TensorFlow實現經典深度學習網路（5）：TensorFlow實現自然語言處理基礎網路Word2Vec

TensorFlow實現經典深度學習網路（5）：TensorFlow實現自然語言處理 基礎網路Word2Vec         迴圈神經網路RNN是在自然語言處理NLP領域最常使用的神經網路結構，和卷積神經網路在影象識別領域的地位相似，影響深遠。而Word2Vec則是將語

R語言機器學習與大資料視覺化暨Python文字挖掘與自然語言處理核心技術研修

中國通訊工業協會通訊和資訊科技創新人才培養工程專案辦公室通人辦〔2017〕 第45號“R語言機器

自然語言處理基礎（1）--基本分詞方法

         基本的分詞方法包括最大匹配法、最大概率法（最短加權路徑法）、最少分詞法、基於HMM的分詞法、基於互現資訊的分詞方法、基於字元標註的方法和基於例項的漢語分詞方法等。       1.最大匹配法         最大匹配法需要一個詞表，分詞的過程中用文字的候選