1. 程式人生 > >CS224n: Natural Language Processing with Deep Learning 學習筆記

CS224n: Natural Language Processing with Deep Learning 學習筆記

Lecture 1: Introduction

NLP:Natural language processing

常見自然語言專案:(又一次面試問過)

  • 微軟 Cortana
  • 蘋果 Siri (消費級技術)
  • 亞馬遜 Alexa
  • 小米 小愛
  • 百度 小度
  • 天貓 天貓精靈

人類語言的特點:

  • 明確的指向性
  • 語言是符號、符號不基於任何邏輯和AI
  • 具有連續的載體 (以嘮嗑就根本停不下來)

2015年之前的機器學習都是人在做大量的資料分析(比如:手動特徵工程),而機器只是在做數值的優化(事實上電腦很適合做數值優化,人類不適合)。
這並不是我們所期望的機器學習。
深度學習(Deeplearning)是表徵學習(Representation Learning)的一個重要分支。
表徵學習的理念是,我們可以向電腦提供來自世界的原始訊號,無論是視覺資訊還是語言資訊,然後 電腦可以自動得出好的中介表徵 來很好的完成任務,從某種意義上來說,它是自己定義特徵。
深度學習不只是基於神經網路,也可以是概率模型以及其他方法運用於深度架構中。(概率圖模型)
利用深度學習學習詞向量,高維空間成為了非常棒的語義空間。具有相同含義的詞聚整合塊,向量空間存在方向,它會透露關於成分和意義的資訊。
然而人類不擅長解讀高維空間的資訊,人類跟習慣於2維度和3維度的資訊表示。