1. 程式人生 > >這篇文章寫的真好-NLP將迎來黃金十年-書摘

這篇文章寫的真好-NLP將迎來黃金十年-書摘

機器之心上面微軟亞研的這篇文章真好:

https://baijiahao.baidu.com/s?id=1618179669909135692&wfr=spider&for=pc

 

其中最後做的總結也非常經典,共賞:

 

未來展望:理想的 NLP 框架和發展前景

 

我們認為,未來理想狀態下的 NLP 系統架構可能是如下一個通用的自然語言處理框架:

 

首先,對給定自然語言輸入進行基本處理,包括分詞、詞性標註、依存分析、命名實體識別、意圖/關係分類等。

 

其次,使用編碼器對輸入進行編碼將其轉化為對應的語義表示。在這個過程中,一方面使用預訓練好的詞嵌入和實體嵌入對輸入中的單詞和實體名稱進行資訊擴充,另一方面,可使用預訓練好的多個任務編碼器對輸入句子進行編碼並通過遷移學習對不同編碼進行融合。

 

接下來,基於編碼器輸出的語義表示,使用任務相關的解碼器生成對應的輸出。還可引入多工學習將其他相關任務作為輔助任務引入到對主任務的模型訓練中來。如果需要多輪建模,則需要在資料庫中記錄當前輪的輸出結果的重要資訊,並應用於在後續的理解和推理中。

 

顯然,為了實現這個理想的 NLP 框架需要做很多工作:

 

需要構建大規模常識資料庫並且清晰通過有意義的評測推動相關研究;研究更加有效的詞、短語、句子的編碼方式,以及構建更加強大的預訓練的神經網路模型;推進無監督學習和半監督學習,需要考慮利用少量人類知識加強學習能力以及構建跨語言的 embedding 的新方法;需要更加有效地體現多工學習和遷移學習在 NLP 任務中的效能,提升強化學習在 NLP 任務的作用,比如在自動客服的多輪對話中的應用;有效的篇章級建模或者多輪會話建模和多輪語義分析;要在系統設計中考慮使用者的因素,實現使用者建模和個性化的輸出;構建綜合利用推理系統、任務求解和對話系統,基於領域知識和常識知識的新一代的專家系統;利用語義分析和知識系統提升 NLP 系統的可解釋能力。

未來十年,NLP 將會進入爆發式的發展階段。從 NLP 基礎技術到核心技術,再到 NLP+的應用,都會取得巨大的進步。比爾蓋茨曾經說過人們總是高估在一年或者兩年中能夠做到的事情,而低估十年中能夠做到的事情。

 

我們不妨進一步想象十年之後 NLP 的進步會給人類生活帶來哪些改變?

 

十年後,機器翻譯系統可以對上下文建模,具備新詞處理能力。那時候的講座、開會都可以用語音進行自動翻譯。除了機器翻譯普及,其他技術的進步也令人耳目一新。家裡的老人和小孩可以跟機器人聊天解悶。機器個人助理能夠理解你的自然語言指令,完成點餐、送花、購物等下單任務。你已習慣於客服機器人來回答你的關於產品維修的問題。你登臨泰山發思古之幽情,或每逢佳節倍思親,拿出手機說出感想或者上傳一幅照片,一首情景交融、圖文並茂的詩歌便躍然於手機螢幕上,並且可以選擇格律詩詞或者自由體的表示形式,亦可配上曲譜,發出大作引來點贊。可能你每天看到的體育新聞、財經新聞報道是機器人寫的。你用手機跟機器人老師學英語,老師教你口語,糾正發音,跟你親切對話,幫你修改論文。機器人定期自動分析浩如煙海的文獻,給企業提供分析報表、輔助決策並做出預測。搜尋引擎的智慧程度大幅度提高。很多情況下,可以直接給出答案,並且可以自動生成細緻的報告。利用推薦系統,你關心的新聞、書籍、課程、會議、論文、商品等可直接推送給你。機器人幫助律師找出判據,挖掘相似案例,尋找合同疏漏,撰寫法律報告。……

未來,NLP 將跟其他人工智慧技術一道深刻地改變人類的生活。當然前途光明、道路曲折是亙古不變的道理,為了實現這個美好的未來,我們需要大膽創新、嚴謹求實、紮實進取。講求研究和應用並舉,普及與提高同步。我們期待著與業界同仁一道努力,共同走進 NLP 下一個輝煌的十年。