平安金融壹賬通獲機器閱讀理解頂級賽事(SQuAD)世界第一
IFTNews 12月3日訊息：平安金融壹賬通又有重大突破！繼在人類情緒理解競賽多次登頂之後, 平安金融壹賬通GammaLab又在另一項國際頂級賽事上斬獲第一。近日，在由斯坦福大學發起的機器閱讀理解競賽（Stanford Question Answering Dataset，SQuAD）中，平安金融壹賬通以領先的技術脫穎而出，位列榜單第一位。
SQuAD被譽為自然語言處理領域金字塔尖的比賽，旨在促進智慧搜尋引擎的發展。該賽事吸引了來自谷歌、微軟亞研院、阿里達摩院、科大訊飛、IBM以及復旦大學等最頂尖的企業及學校的激烈角逐。平安金融壹賬通GammaLab以整合模型EM=83.435%、F1=85.992%和單模型EM=81.347%、F1:84.560%分別位列整合模型和單模型世界第一。
SQuAD機器閱讀理解競賽，是讓機器閱讀一篇文章，然後回答關於這篇文章的任何問題，旨在推動智慧搜尋的發展。2016年，斯坦福大學從維基百科上隨機選取了500多篇文章，並進一步細分成兩萬多個段落。隨後採用眾包的方式，由人類閱讀這些文章後，為每個段落提出五個問題，並對段落內的答案進行人工標註，搭建了該項競賽的資料集1.1。今年6月3日，斯坦福NLP團隊對外宣稱, 機器閱讀理解資料集1.1完成一波更新，已搭建完成SQuAD 2.0。相較於SQuAD 1.1中的10萬問答，SQuAD 2.0又新增了5萬個人類撰寫的問題，而且問題不一定有對應答案。參考下圖:
在SQuAD1.1資料集當中，閱讀理解的主要難點是上下文的語義理解。所提問題的答案並不能靠簡單的近鄰或相似度對答案進行匹配，而是需要通過NLP的語義分析，在考慮前後文資訊後從全文中尋找到最合適的答案位置。想要做好這一點，需要演算法能力達到人類閱讀理解的思考水平。在此基礎上，SQuAD2.0中新增的無答案的混淆問題進一步提升了該任務的難度。一個問題所對應的段落中有一定概率不存在正確結果，即要演算法判斷是否能夠回答，並在此基礎上準確回答問題。可以說SQuAD資料集2.0的任務在不斷逼近人類閱讀理解的思考方式，同時也大幅提高了競賽的難度。金融壹賬通Gamma Lab在本次競賽中所獲得的成績，已經非常接近人類水平，體現了世界最高水平的智慧搜尋能力。