1. 新手上路

自然語言處理(Natural Language Processing，NLP)是一門融合了電腦科學、人工智慧及語言學的交叉學科，它們的關係如下圖所示。這門學科研究的是如何通過機器學習等技術，讓計算機學會處理人類語言，乃至實現終極目標--理解人類語言或人工智慧。

美國電腦科學家Bill Manaris在《計算機進展》( Advances in Computers)第47卷的《從人機互動的角度看自然語言處理》一文中曾經給自然語言處理提出瞭如下的定義:

“自然語言處理可以定義為研究在人與人交際中以及在人與計算機交際中的語言問題的一門學科。自然語言處理要研製表示語言能力和語言應用的模型，建立計算框架來實現這樣的語言模型，提出相應的方法來不斷地完善這樣的語言模型，根據這樣的語言模型設計各種實用系統，並探討這些實用系統的評測技術。”

1.1 自然語言與程式語言的比較

1.2 自然語言處理的層次

1. 語音、影象和文字

   自然語言處理系統的輸入源一共有3個，即語音、影象與文字。語音和影象這兩種形式一般經過識別後轉化為文字，轉化後就可以進行後續的NLP任務了。

2. 中文分詞、詞性標註和命名實體識別

   這3個任務都是圍繞詞語進行的分析，所以統稱詞法分析。詞法分析的主要任務是將文字分隔為有意義的詞語(中文分詞)，確定每個詞語的類別和淺層的歧義消除(詞性標註)，並且識別出一些較長的專有名詞(命名實體識別)。對中文而言，詞法分析常常是後續高階任務的基礎。

3. 資訊抽取

   詞法分析之後，文字已經呈現出部分結構化的趨勢，根據分析出來的每個單詞和附有自己詞性及其他標籤的資料，抽取出一部分有用的資訊，關鍵詞、專業術語等，也可以根據統計學資訊抽取出更大顆粒度的文字。

4. 文字分類與文字聚類

   將文字拆分為一系列詞語之後，就可以對文字進行分類和聚類操作，找出相類似的文字。

5. 句法分析

   詞法分析只能得到零散的詞彙資訊，計算機不知道詞語之間的關係。在一些問答系統中，需要得到句子的主謂賓結構，這就是句法分析得到的結果，如下圖所示：

   

   不僅是問答系統或搜尋引擎，句法分析還經常應用有基於短語的機器翻譯，給譯文的詞語重新排序。

6. 語義分析與篇章分析

   相較於句法分析，語義分析側重語義而非語法。它包括詞義消歧(確定一個詞在語境中的含義，而不是簡單的詞性)、語義角色標註(標註句子中的謂語與其他成分的關係)乃至語義依存分析(分析句子中詞語之間的語義關係)。

7. 其他高階任務

   自動問答、自動摘要、機器翻譯

   注意，一般認為資訊檢索(Information Retrieve，IR)是區別於自然語言處理的獨立學科，IR的目標是查詢資訊，而NLP的目標是理解語言。

1.3 自然語言處理的流派

1. 基於規則的專家系統

   規則，指的是由專家手工制定的確定性流程。專家系統要求設計者對所處理的問題具備深入的理解，並且儘量以人力全面考慮所有可能的情況。它最大的弱點是難以拓展。當規則數量增加或者多個專家維護同一個系統時，就容易出現衝突。

2. 基於統計的學習方法

   人們使用統計方法讓計算機自動學習語言。所謂“統計”，指的是在語料庫上進行的統計。所謂“語料庫”，指的是人工標註的結構化文字。

   統計學習方法其實是機器學習的別稱，而機器學習則是當代實現人工智慧的主要途徑。

3. 歷史

   

1.4 機器學習

1. 什麼是機器學習

   美國工程院院士 Tom Mitchell 給過一個更明確的定義，機器學習指的是計算機通過某項任務的經驗資料提高了在該項任務上的能力。

2. 模型

   模型是對現實問題的數學抽象，由一個假設函式以及一系列引數構成。以下就是最簡單的模型公式：

   \[f(x)=w*x+b\]

   其中，w 和 b 是函式的引數，而 x 是函式的自變數。不過模型並不包括具體的自變數x，因為自變數是由使用者輸入的。自變數 x 是一個特徵向量，用來表示一個物件的特徵。

3. 特徵

   • 特徵指的是事物的特點轉化的數值。
   • 如何挑選特徵，如何設計特徵模板，這稱作特徵工程。特徵越多，引數就越多；引數越多，模型就越複雜。

4. 資料集

   樣本的集合在機器學習領域稱作資料集，在自然語言處理領域稱作語料庫。

5. 監督學習

   如果資料集附帶標準答案 y，則此時的學習演算法稱作監督學習。學習一遍誤差還不夠小，需要反覆學習、反覆調整。此時的演算法是一種迭代式的演算法，每一遍學習稱作一次迭代。這種在有標籤的資料集上迭代學習的過程稱作訓練。

6. 無監督學習

   如果我們只給機器做題，卻不告訴它參考答案，機器仍然可以學到知識嗎？可以，此時的學習稱作無監督學習，而不含標準答案的資料集被稱作無標註的資料集。無監督學習一般用於聚類和降維，降維指的是將樣本點從高維空間變換成低維空間的過程。

7. 其他型別的機器學習演算法

   • 半監督學習：如果我們訓練多個模型，然後對同一個例項執行預測，會得到多個結果。如果這些結果多數一致，則可以將該例項和結果放到一起作為新的訓練樣本，用力啊擴充訓練集。這樣的演算法被稱為半監督學習。
   • 強化學習：現實世界中的事物之間往往有很長的因果鏈：我們要正確地執行一系列彼此關聯的決策，才能得到最終的成果。這類問題往往需要一邊預測，一邊根據環境的反饋規劃下次決策。這類演算法被稱為強化學習。

1.5 語料庫

1. 中文分詞語料庫

   中文分詞語料庫指的是，由人工正確切分的句子集合。以著名的1998年《人民日報》語料庫為例：

   先 有 通貨膨脹 干擾，後 有 通貨 緊縮 叫板。

2. 詞性標註語料庫

   它指的是切分併為每個詞語制定一個詞性的語料。依然以《人民日報》語料庫為例：

   邁向/v 充滿/v 希望/n 的/u 新/a 世紀/n --/w 一九九八年/t 新年/t 講話/n

   這裡每個單詞後面用斜槓隔開的就是詞性標籤。

3. 命名實體識別語料庫

   這種語料庫人工標註了文字內部製作者關心的實體名詞以及實體類別。比如《人民日報》語料庫中-共含有人名、地名和機構名3種命名實體:

   薩哈夫/nr 說/v ,/w 伊拉克/ns 將/d 同/p [聯合國/nt 銷燬/v 伊拉克/ns 大規模/b 殺傷性/n 武器/n 特別/a 委員會/n] /nt 繼續/v 保持/v 合作/v 。/w

   這個句子中的加粗詞語分別是人名、地名和機構名。中括號括起來的是複合詞，我們可以觀察到:有時候機構名和地名複合起來會構成更長的機構名，這種構詞法上的巢狀現象增加了命名實體識別的難度。

4. 句法分析語料庫

   漢語中常用的句法分析語料庫有CTB(Chinese Treebank，中文樹庫)，其中一個句子視覺化後如下圖所示：

   

   中文單詞上面的英文標籤標示詞性，而箭頭表示有語法聯絡的兩個單詞，具體是何種聯絡由箭頭上的標籤標示。

5. 文字分類語料庫

   它指的是人工標註了所屬分類的文章構成的語料庫。

6. 語料庫的建設

   語料庫建設指的是構建一份語料庫的過程，分為規範制定、人員培訓與人工標註這三個階段。針對不同型別的任務，人們開發出許多標註軟體，其中比較成熟的一款是brat，它支援詞性標註、命名實體識別和句法分析等任務。

1.6 開源工具

1. 主流NLP工具比較

   

   另外，也研究過其他開源專案的原理，借鑑了其中優秀的設計。但畢竟還是自己寫的程式碼講得最清楚，所以綜合以上各種考慮，最後選取了HanLP作為本書的實現。

2. Python介面

   HanLP 的 Python 介面由 pyhanlp 包提供，其安裝只需一句命令：

   $ pip install pyhanlp

1.7 總結

本章給出了人工智慧、機器學習與自然語言處理的巨集觀縮圖與發展時間線。機器學習是人工智慧的子集，而自然語言處理則是人工智慧與語言學、電腦科學的交集。這個交集雖然小，它的難度卻很大。為了實現理解自然語言這個巨集偉目標，人們嘗試了規則系統，並最終發展到基於大規模語料庫的統計學習系統。

在接下來的章節中，就讓我們按照這種由易到難的發展規律去解決第一個NLP問題一中文分詞。我們將先從規則系統人手，介紹一些快而不準的演算法，然後逐步進化到更加準確的統計模型。

1.8 GitHub專案

HanLP何晗--《自然語言處理入門》筆記：

https://github.com/NLP-LOVE/Introduction-NLP

專案持續更新中......

目錄