微軟認知服務應用祕籍 – 與機器人聊知識

服務應用 · 發表 2018-09-12 11:51:00

摘要：在本篇部落格中，我們將會學習到零程式碼情況下，如何利用已有的技術建立自己的知識問答系統，這種系統的可以廣泛適用於學校、企業、客服、政府公開資訊等領域，代替傳統的電話諮詢、電子郵件溝通等高人工負荷的方式。建立知識庫什麼叫QnA Maker? 知識庫，就是人們總結出的一些歷史知識...

在本篇部落格中，我們將會學習到零程式碼情況下，如何利用已有的技術建立自己的知識問答系統，這種系統的可以廣泛適用於學校、企業、客服、政府公開資訊等領域，代替傳統的電話諮詢、電子郵件溝通等高人工負荷的方式。

建立知識庫

什麼叫QnA Maker?

知識庫，就是人們總結出的一些歷史知識的集合，儲存、索引以後，可以被方便的檢索出來供後人查詢 / 學習。 QnA Maker 是用於建立知識庫的工具，使用 QnA Maker ，可以根據 FAQ （常見問題解答）文件或者 URL 和產品手冊等半結構化內容打造一項問題與解答服務。可以生成一個問題與解答模型，以便靈活地應對使用者查詢，即使用者不必輸入精確的查詢條件，而是提供以自然對話方式受訓的機器人來響應。

下圖中是知識庫與 Bot Service 的結合使用架構圖：

與"半結構化資料"並列的是"結構化資料"和"非結構化資料"，其中結構化資料可以用關係式資料庫來解決，非結構化資料用搜索引擎技術來解決。實際上搜索引擎就是把散落在網際網路各個角落的非結構資訊變成半結構化或結構化資訊。

不同於搜尋引擎，本文介紹的基於半結構化資料的QnA系統實現方式，是基於小規模資料量的，比如Million級別，而搜尋引擎的技術要高階很多，因為要面對Billion級別的資料。但是從原理上講，大家可以管中窺豹可見一斑。

在Azure中申請QnA Maker服務

用MSA登入Azure門戶，點選"建立資源"，然後點選"AI + Machine Learning"：

在下圖中點選"檢視全部"：

在下圖中點選"更多："

在下圖中點選"QnA Maker":

在下圖中的有紅色*的輸入框中，輸入必要的資訊，比如在Name中輸入" SchoolQASystem"：

點選"建立"後，稍等一會兒，會得到以下通知訊息：

小提示：可以點選"固定到儀表板"，方便後續查詢。

至此，我們的QnA服務已經申請好了，下一步是建立知識庫，填寫資料。

在QnA Maker網站上建立知識庫

用Edge瀏覽器開啟 ofollow,noindex" target="_blank">https://www.qnamaker.ai ，登入自己的MSA賬號。如果是第一進入該網站，你的My knowledge bases將會是空白頁，點選Create a knowledge base來建立自己的第一個知識庫：

小提示：這裡用的MSA賬號應該與申請認知服務的MSA賬號相同。

STEP 1我們已經做過了，現在在STEP 2中從下拉列表中選擇自己的相關資訊：

在STEP 3中填寫一個知識庫的名字，比如SchoolQASystemKB：

在STEP 5中點選"Create your KB"來建立知識庫：

小提示：STEP 4可以執行使用者通過提供一個靜態網頁或者一個固定格式的檔案，來自動提取問題和答案。

稍等一會兒，進入如下頁面：

我們以學校中常用的一些問答資訊為例，點選"+ Add QnA pair"填寫如下資料：

當然可以根據實際情況，填寫其它一些資訊。需要注意的是，每個Question需要有唯一的一個Answer來對應，而每個Answer可以有很多個Question，是N:1的關係。

小提示：以上資料均為虛構，請填寫符合自己學校實際情況的資料。

資料填寫的差不多了（一次填寫不完沒關係，可以以後修改），點選"Save and train"按鈕，稍等一會兒，點選那個"Test"按鈕，進行線上測試。在問題框中輸入"報銷"或者一個整句“醫療費如何報銷”，可以很快得到系統的回覆，如下圖就是測試結果：

此時也可以點選"Inspect"來看細節，比如Confidence score的值是79.75分，也可以在左側填寫更多的問題來對應這個答案，比如"看病報銷"：

覺得滿意後，點選"PUBLISH"按鈕來發布這個知識庫：

稍等一會兒，得到如下資訊：

好啦！到目前為止，我們已經成功建立了第一個知識庫。

小提示：保留這個網頁或者請記住上圖中的資訊，一會兒我們還會用到它。

下面我們有兩個選擇：

1）寫程式碼來訪問這個知識庫，提供介面供他人使用。

2）用微軟的另外一項技術 – 聊天機器人技術，以問答方式來提供訪問該知識庫的介面。這個內容我們在下一個大章節講述。

用程式碼訪問QnA知識庫

開啟利器VS2017，新建一個Windows Desktop WPF專案，給個名字叫QAClient：

在MainWindow.xaml中填寫如下XAML介面設計程式碼：

<Window x:Class="QAClient.MainWindow"
xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
xmlns:d="http://schemas.microsoft.com/expression/blend/2008"
xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"
xmlns:local="clr-namespace:QAClient"
mc:Ignorable="d"
Title="MainWindow" Height="450" Width="800">
<Grid>
<Grid.RowDefinitions>
<RowDefinition Height="*"/>
<RowDefinition Height="40"/>
</Grid.RowDefinitions>
<TextBox Name="tb_Dialog" Grid.Row="0"/>
<Grid Grid.Row="1">
<Grid.ColumnDefinitions>
<ColumnDefinition Width="*"/>
<ColumnDefinition Width="80"/>
</Grid.ColumnDefinitions>
<TextBox Name="tb_Question" MaxLines="1" Grid.Column="0"/>
<Button Name="btn_Send" Content="Send" Grid.Column="1" Click="btn_Send_Click"/>
</Grid>
</Grid>
</Window>

在MainWindow.xaml.cs中新增按鈕事件處理函式：

public partial class MainWindow : Window
{
public MainWindow()
{
InitializeComponent();
}

private async void btn_Send_Click(object sender, RoutedEventArgs e)
{
// send http post request to qa service
Answers results = await QAServiceAgent.DoQuery(this.tb_Question.Text);
if (results.answers != null && results.answers.Length > 0)
{
this.tb_Dialog.Text += "問：" + this.tb_Question.Text + "\r\n";
this.tb_Dialog.Text += results.answers[0].ToString() + "\r\n";
}
}
}

在工程中新增QAServiceAgent.cs檔案，填寫以下內容：

using System;
using System.Diagnostics;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;

namespace QAClient
{
class QAServiceAgent
{
const string Endpoint = "/knowledgebases/90690b7-dae-4e0d-bda9-16c05e0f163/generateAnswer";
const string Host = "https://openmindqnamaker.azurewebsites.net/qnamaker";
const string Key = "e7e3c51-dc5-4d65-aa3-8da1024c3e13";
const string ContentType = "application/json";
// {"question":"<Your question>"}

public static async Task<Answers> DoQuery(string question)
{
try
{
using (HttpClient hc = new HttpClient())
{
hc.DefaultRequestHeaders.Add("authorization", "EndpointKey " + Key);
string jsonBody = CreateJsonBodyElement(question);
StringContent content = new StringContent(jsonBody, Encoding.UTF8, ContentType);
string uri = Host + Endpoint;
HttpResponseMessage resp = await hc.PostAsync(uri, content);
string json = await resp.Content.ReadAsStringAsync();
var ro = Newtonsoft.Json.JsonConvert.DeserializeObject<Answers>(json);
return ro;
}
}
catch (Exception ex)
{
Debug.WriteLine(ex.Message);
return null;
}
}

private static string CreateJsonBodyElement(string question)
{
string a = "{\"question\":\"" + question + "\"}";
return a;
}
}
}

小提示：上面程式碼中的Endpoint和Key已經經過修改，是不可用的，請用你自己申請的資料來代替。

在工程中新增另外一個檔案Result.cs，用於反序列化JSON資料：

namespace QAClient
{
public class Answers
{
public Answer[] answers { get; set; }
}

public class Answer
{
public string[] questions { get; set; }
public string answer { get; set; }
public float score { get; set; }
public int id { get; set; }
public string source { get; set; }
public object[] metadata { get; set; }

public override string ToString()
{
return string.Format("Answer: {0}, Score:{1}", answer, score);
}
}
}

程式碼完成！搓搓雙手，按Ctrl+F5走起一波！哇哦！好俊的介面：