中文語料庫有哪些
中文自然語言處理開放平臺
sogou文字分類語料庫
文字分類語料庫來源於Sohu新聞網站儲存的大量經過編輯手工整理與分類的新聞語料與對應的分類資訊。其分類體系包括幾十個分類節點，網頁規模約為十萬篇文件。
地址： http://www.sogou.com/labs/dl/c.html
中文Web資訊檢索論壇
中文Web資訊檢索論壇(Chinese Web Information Retrieval Forum，簡稱CWIRF)是由北京大學網路實驗室從2004年6月起建立並維護的以大規模中文Web資訊為測試集的資訊檢索研究論壇。
CWT(Chinese Web Test collection, 中文Web測試集)：
中文網頁分類訓練集
CCT2006
2006年3月中文網頁分類訓練集CCT2006, 編號YQ-CCT-2006-03. 根據常見的新聞類別而設定的分類體系，從新聞網站上抓取得到對應 類別的新聞網頁作為訓練集頁面。它包括960個訓練網頁和240個測試網頁， 分佈在8個類別中。 下載
CCT2002-v1.1
2002年中文網頁分類訓練集CCT2002-v1.1, 編號YQ-WEBBENCH-V1.1, 說明 。 是在CCT2002-v1.0 的基礎上對類別進行了部分修正. 是2002年秋天北京大學網路與分散式實驗室天網小組通過動員不同專業的幾十個學生， 人工選取形成了一個全新的基於層次模型的大規模中文網頁樣本集。 它包括11678個訓練網頁例項和3630個測試網頁例項，分佈在11個大類別中。
-----------------------
一、語料庫連結
下面提供一些網上能下載到的中文的好語料，供研究人員學習使用。
(1).中科院自動化所的中英文新聞語料庫 http://www.datatang.com/data/13484
中文新聞分類語料庫從鳳凰、新浪、網易、騰訊等版面蒐集。英語新聞分類語料庫為Reuters-21578的ModApte版本。
(2).搜狗的中文新聞語料庫 http://www.sogou.com/labs/dl/c.html
包括搜狐的大量新聞語料與對應的分類資訊。有不同大小的版本可以下載。
(3).李榮陸老師的中文語料庫 http://www.datatang.com/data/11968
壓縮後有240M大小
(4).譚鬆波老師的中文文字分類語料 http://www.datatang.com/data/11970
不僅包含大的分類，例如經濟、運動等等，每個大類下面還包含具體的小類，例如運動包含籃球、足球等等。能夠作為層次分類的語料庫，非常實用。這個網址免積分(譚鬆波老師的主頁)：http://www.searchforum.org.cn/tansongbo/corpus1.php
(5).網易分類文字資料 http://www.datatang.com/data/11965
包含運動、汽車等六大類的4000條文字資料。
(6).中文文字分類語料 http://www.datatang.com/data/11963
包含Arts、Literature等類別的語料文字。
(7).更全的搜狗文字分類語料 http://www.sogou.com/labs/dl/c.html
搜狗實驗室釋出的文字分類語料，有不同大小的資料版本供免費下載
(8).2002年中文網頁分類訓練集http://www.datatang.com/data/15021
2002年秋天北京大學網路與分散式實驗室天網小組通過動員不同專業的幾十個學生，人工選取形成了一個全新的基於層次模型的大規模中文網頁樣本集。它包括11678個訓練網頁例項和3630個測試網頁例項，分佈在11個大類別中。
————————————————————————————————————————————————
二、有效的分詞工具
將預料庫進行分詞並去掉停用詞，可以使用的分詞工具有：
StandardAnalyzer（中英文）、ChineseAnalyzer（中文）、CJKAnalyzer（中英文）、IKAnalyzer（中英文，相容韓文，日文）、paoding（中文）、MMAnalyzer（中英文）、MMSeg4j（中英文）、imdict（中英文）、NLTK（中英文）、Jieba（中英文），這幾種分詞工具的區別，可以參加：http://blog.csdn.net/wauwa/article/details/7865526。