insuranceqa-corpus-zh

保險行業語料庫

Welcome

該語料庫包含從網站Insurance Library 收集的問題和答案。

據我們所知，這是保險領域首個開放的QA語料庫：

• 該語料庫的內容由現實世界的使用者提出，高質量的答案由具有深度領域知識的專業人士提供。 所以這是一個具有真正價值的語料，而不是玩具。

• 在上述論文中，語料庫用於答覆選擇任務。 另一方面，這種語料庫的其他用法也是可能的。 例如，通過閱讀理解答案，觀察學習等自主學習，使系統能夠最終拿出自己的看不見的問題的答案。

• 資料集分為兩個部分“問答語料”和“問答對語料”。問答語料是從原始英文資料翻譯過來，未經其他處理的。問答對語料是基於問答語料，又做了分詞和去標去停，新增label。所以，”問答對語料”可以直接對接機器學習任務。如果對於資料格式不滿意或者對分詞效果不滿意，可以直接對”問答語料”使用其他方法進行處理，獲得可以用於訓練模型的資料。

歡迎任何進一步增加此資料集的想法。

快速開始

在Python環境中，使用pip安裝

相容py2, py3

pip install --upgrade insuranceqa_data

問答語料

每條資料包括問題的中文，英文，答案的正例，答案的負例。案的正例至少1項，基本上在1-5條，都是正確答案。答案的負例有200條，負例根據問題使用檢索的方式建立，所以和問題是相關的，但卻不是正確答案。

{
    "INDEX": {
        "zh": "中文",
        "en": "英文",
        "domain": "保險種類",
        "answers": [""] # 答案正例列表
        "negatives": [""] # 答案負例列表
    },
    more ...
}

• 訓練：corpus/pool/train.json.gz

• 驗證：corpus/pool/valid.json.gz

• 測試：corpus/pool/test.json.gz

• 答案：corpus/pool/answers.json
  一共有 27,413 個回答，資料格式為 json:

{
    "INDEX": {
        "zh": "中文",
        "en": "英文"
    },
    more ...
}

中英文對照檔案

問答對

格式 INDEX ++$++ 保險種類 ++$++ 中文 ++$++ 英文

corpus/pool/train.txt.gz, corpus/pool/valid.txt.gz, corpus/pool/test.txt.gz.

答案

格式 INDEX ++$++ 中文 ++$++ 英文

corpus/pool/answers.txt.gz

語料庫使用gzip進行壓縮以減小體積，可以使用zmore, zless, zcat, zgrep等命令訪問資料。

zmore pool/test.txt.gz

載入資料

import insuranceqa_data as insuranceqa
train_data = insuranceqa.load_pool_train()
test_data = insuranceqa.load_pool_test()
valid_data = insuranceqa.load_pool_valid()

# valid_data, test_data and train_data share the same properties
for x in train_data:
    print('index %s value: %s ++$++ %s ++$++ %s' % \
     (x, d[x]['zh'], d[x]['en'], d[x]['answers'], d[x]['negatives']))

answers_data = insuranceqa.load_pool_answers()
for x in answers_data:
    print('index %s: %s ++$++ %s' % (x, d[x]['zh'], d[x]['en']))

問答對語料

使用”問答語料”，還需要做很多工作才能進入機器學習的模型，比如分詞，去停用詞，去標點符號，新增label標記。所以，在”問答語料”的基礎上，還可以繼續處理，但是在分詞等任務中，可以藉助不同分詞工具，這點對於模型訓練而言是有影響的。為了使資料能快速可用，insuranceqa-corpus-zh提供了一個使用HanLP分詞和去標，去停，新增label的資料集，這個資料集完全是基於”問答語料”。

import insuranceqa_data as insuranceqa
train_data = insuranceqa.load_pairs_train()
test_data = insuranceqa.load_pairs_test()
valid_data = insuranceqa.load_pairs_valid()

# valid_data, test_data and train_data share the same properties
for x in test_data:
    print('index %s value: %s ++$++ %s ++$++ %s' % \
     (x['qid'], x['question'], x['utterance'], x['label']))

vocab_data = insuranceqa.load_pairs_vocab()
vocab_data['word2id']['UNKNOWN']
vocab_data['id2word'][0]
vocab_data['tf']
vocab_data['total']

vocab_data包含word2id(dict, 從word到id), id2word(dict, 從id到word),tf(dict, 詞頻統計)和total(單詞總數)。 其中，未登入詞的標識為UNKNOWN，未登入詞的id為0。

train_data, test_data 和 valid_data 的資料格式一樣。qid 是問題Id，question 是問題，utterance 是回覆，label 如果是 [1,0] 代表回覆是正確答案，[0,1] 代表回覆不是正確答案，所以 utterance 包含了正例和負例的資料。每個問題含有10個負例和1個正例。

train_data含有問題12,889條，資料 141779條，正例：負例 = 1:10
test_data含有問題2,000條，資料 22000條，正例：負例 = 1:10
valid_data含有問題2,000條，資料 22000條，正例：負例 = 1:10

句子長度:

max len of valid question : 31, average: 5(max)
max len of valid utterance: 878(max), average: 165(max)
max len of test question : 33, average: 5
max len of test utterance: 878, average: 161
max len of train question : 42(max), average: 5
max len of train utterance: 878, average: 162
vocab size: 24997

可將本語料庫和以下開原始碼配合使用

DeepQA2

InsuranceQA TensorFlow

Chatbot Retrieval

宣告

宣告1 : insuranceqa-corpus-zh

本資料集使用翻譯 insuranceQA而生成，程式碼釋出證書 GPL 3.0。資料僅限於研究用途，如果在釋出的任何媒體、期刊、雜誌或部落格等內容時，必須註明引用和地址。

InsuranceQA Corpus, Hai Liang Wang, https://github.com/Samurais/insuranceqa-corpus-zh, 07 27, 2017

任何基於insuranceqa-corpus衍生的資料也需要開放並需要宣告和“宣告1”和“宣告2”一致的內容。

宣告2 : insuranceQA

此資料集僅作為研究目的提供。如果您使用這些資料發表任何內容，請引用我們的論文：Applying Deep Learning to Answer Selection: A Study and An Open Task。Minwei Feng, Bing Xiang, Michael R. Glass, Lidan Wang, Bowen Zhou @ 2015