NLP中很多問題要求解的輸出標籤不是相互獨立的，而是時間或結構上相互依存的結構化標籤。這種結構包括序列、樹狀或更普通意義上的圖結構。而對於中文分詞、詞性標註、組塊標註、淺層語法分析等任務，標記和切分觀察序列都是序列結構的。解決詞類方法最常用的模型也是概率圖模型中的序列演算法。該技術基本成熟，已經被成功地用於文字檢索、文字分類、資訊抽取等應用之中，並對這些應用產生了實質性的幫助。

        任務的順序應該為，首先進行命名實體識別，然後進行詞性標註，最後才是語義組塊標註。但從演算法應用策略的複雜性而言，先介紹詞性標註，語義組塊標註，最後是命名實體識別。

        詞性標註

        組塊標註最常用的演算法是條件隨機場演算法，在特徵上加了詞性之後，結果也不錯

        命名實體識別，使用了含有外部詞典的條件隨機場演算法及多層隱馬爾科夫模型（張華平）

收費資源：

     賓州大學開發的漢語句法樹庫（Chinese Tree Bank, CTB）和漢語命題庫（Chinese Proposition Bank, CPB），一個是中文短語結構樹庫，另一個是謂詞論元庫

     也可用NLTK下載CTB的英文樣例版，大約1000句

5.1 漢語詞性標註

     詞性：由它在句子中的成分所決定的，這是劃分詞類的依據。

     英文中的大多數單詞是沒有歧義的。但是漢語缺乏豐富的形態變化，無法從詞的形態變化來判斷漢語詞彙的詞性。而且常用詞的兼類現象非常嚴重。

     因此，漢語的詞性標註的主要任務與漢語分詞差別不大，主要仍是消歧問題。     

賓州樹庫的詞性標註規範

     《賓州規範》在實詞上與《北大規範》大同小異，但在虛詞上差異較大。

      最著名的是stanfordNLP的詞性標註模組。遵循賓州樹規範     

訓練模型檔案

     修改chinese-distsim.tagger.props即可完成訓練自己的模型          

5.2 語義組塊標註

     法國語言學家Steven Abney提出了組塊（Chunk）描述體系，即句內的一個非遞迴的核心成分。這種成分包含核心成分的前置修飾成分，而不包含後置附屬結構。他將句法分析問題分為如下三個階段

             塊識別：利用塊識別器快速識別出句子中所有的塊

             塊內結構分析：對每個塊內部的成分賦予合適的句法結構

             塊間關係分析：利用塊聯結器將各個不同的塊組合成完整的句法結構樹

      這樣的好處是，一方面由於對不同的子問題的準確功能定位，可以獨立地選用不同的語言模型和搜尋策略加以分析處理；另一方面，通過在塊層次上進行自底向上的塊間關係分析和自頂向下的塊內結構分析，可以大大提高整體分析效率，達到降低句子分析難度的目的。

      語義組塊的另一個用處在於淺層語法分析，即將語義角色標註的工作建立在淺層語法分析之上，不再使用句法解析樹，而是利用分析出來的語法組塊直接進行語義角色標註，希望利用相對更準確的組塊分析結果提升語義角色標註準確率。

      最後，最常用的一個領域是，語義組塊可用於知識庫的實體關係抽取。

語義組塊的種類

       在濱州樹庫中的名詞短語（NP）是指中心詞為名詞所構成的短語，其語法功能相當於名詞性成分，一般可以在句子中充當主語、賓語、定語等。從語法的角度來講，該結構具有兩種含義：一種是指按句法成分構成的短語，如組塊在句子中充當主語、賓語等，這種NP可以增加輔助標籤NP-Sbj、NP-Obj；另一種是指知識庫中的實體和屬性，這種組塊稱為baseNP,

       （1）名詞-名詞複合詞：NN1 NN2 ... NNi序列

       （2）詞級並列結構：

       （3）有NR（專有名詞）加上一個或多個NN所組成的專有名詞NR+NN組成的專有名詞，組織或公司名稱、姓名+稱謂

       （4）日期與地點：

      所謂動詞短語（VP）就是以動詞為中心，與其修飾、限定或並列成分共同構成的一種語義組塊，除中心動詞表達的行為之外，其修飾和限定成分更明確和具體化動作的語義。有複合動詞短語、動詞+體標記（如了、著、過）

語義塊的抽取

     使用CRF來進行語義塊的識別，使用的語料一般為Penn TreeBank的CTB樹庫語料（標註方法為短語結構法）。

     需要通過如下三個階段來完成：

            （1）將Penn TreeBank樹庫中的語料從樹狀結構變為序列結構：轉換程式https://github.com/rainarch/ChunkLinkCTB在Perl環境下執行。

                     IOB表示法，推薦使用IOB的一個變種---start/end表示法，在中文分詞中最常使用的就是這種方法，其優勢是可對序列表達更為細緻。  

            （2）使用CRF演算法對製作好的語料進行訓練，生成模型

                     工具包：CRF++和CRFsuite

            （3）使用訓練的結果，測試組塊標註

     https://github.com/rainarch/ChunkLinkCTB

# perl chunklinkctb.pl  -fhHct  原始檔.mrg > 目標檔案.chunk

     https://taku910.github.io/crfpp/#download     

% ./configure 
% make
% make install
# ldconfig

      http://www.threedweb.cn/thread-1589-1-1.html

      從

     ../../crf_learn template chtb_utf8_sample.chunk chunkmodel

5.3 命名實體識別

      命名實體識別技術是未登入詞中數量最多、識別難度最大、對分詞效果影響最大的問題，是資訊提取、資訊檢索、機器翻譯、問答系統等多種自然語言處理技術必不可少的組成部分。     

分詞架構與專名詞典

     一個大型分詞系統的簡單架構：

      執行步驟如下：

           （1）將輸入文字先使用核心詞典進行基礎分詞處理

           （2）對分詞結構的文字再按所屬領域計算文字所屬的分類

           （3）根據文字所屬的領域不同，執行使用領域專屬的分詞器，再對領域內的專名進行分詞

      上述架構的特點，將分詞器針對不同領域做了優化。

      一種設計思路是將命名實體任務從中文分詞的基礎模組中分離出來，Ltp和Stanford NLP中如此

演算法的策略----詞典與統計相結合

   以Ltp為案例，簡要剖析詞典與CRF演算法結合如何實現領域自適應的中文分詞

     http://www.threedweb.cn/thread-1394-1-2.html

     http://www.threedweb.cn/thread-1396-1-1.html    

演算法的策略---層疊式架構

     NLP中常用的層疊式架構包括：層疊式HMM和層疊式CRF

     HanLP分析