斯坦福CS224N_自然語言處理NLP深度學習DL課程筆記（一）
Lecture 1: Introduction
本節課是對自然語言處理的定義介紹和應用介紹，還順帶說了NLP的難點； 本節課使用深度學習作為NLP的主要處理工具。
傳統的機器學習技術，需要人為地去做特徵工程，將這些的特徵餵給機器學期演算法；然後機器學習演算法去訓練，來找到最擬合訓練資料+正則化損失最小的權重。教授說，我們的傳統機器學習技術，其實主要是在做數值優化的問題。
人為設計的特徵具有如下缺點：
- over-specified，過於具體的
- incomplete. 不夠完整的
- take a long time to design and validate 需要長時間的設計和驗證
深度學習是機器學習的一個子域。它使用演算法，讓機器能夠自動地學習特徵；我們只需要將最原生的特徵餵給深度學習演算法，它就可以自己學習特徵，自己分類，表現得很好。
經常用到的英文術語：
linguistics 語言學
推薦的閱讀文獻：
Deep Learning in Neural Networks: An Overview
Lecture 2
相關推薦
斯坦福CS224N_自然語言處理NLP深度學習DL課程筆記（一）
Lecture 1: Introduction pdf 本節課是對自然語言處理的定義介紹和應用介紹，還順帶說了NLP的難點； 本節課使用深度學習作為NLP的主要處理工具。 傳統的機器學習技術，需要人為地去做特徵工程，將這些的特徵餵給機器學期演算法；然後機器學習演
斯坦福大學-自然語言處理與深度學習（CS224n） 筆記 第三課 詞向量（2）
一、word2vec 1、回顧：skip-grams word2vec的主要步驟是遍歷整個語料庫，利用每個視窗的中心詞來預測上下文的單詞，然後對每個這樣的視窗利用SGD來進行引數的更新。 對於每一個視窗而言，我們只有2m+1個單詞（其中m表示視窗的半徑），因此我們計算出來的梯度向量是
斯坦福大學-自然語言處理與深度學習（CS224n） 筆記 第二課 詞向量（word vector）
課程概要 1、單詞含義 2、word2vec介紹 3、word2vec目標函式的梯度推導 4、目標函式優化：梯度下降法 一、單詞含義 含義（meaning）指的是由單詞表達的觀點。我們一般使用單詞含義的方法是，使用像WordNet那樣的分類詞典，給每個單詞對應的上下義關係以及同義
斯坦福大學-自然語言處理與深度學習（CS224n）筆記 第八課 迴圈神經網路
課程概要 1、傳統語言模型 2、迴圈神經網路 3、例項（python） 4、RNN處理的一些技巧 5、針對其他任務的序列模型 6、總結 一、傳統語言模型 語言模型可以計算一些系列的單詞的概率P（w1，…,wT) 可以用來進行機器翻譯 單詞順序：p(the
斯坦福大學-自然語言處理與深度學習（CS224n）筆記 第十課 神經機器翻譯（neural machine translation）與attention模型
本課概要 1、機器翻譯（MT） 2、帶attention的序列模型 3、序列模型解碼器（decoder） 一、機器翻譯（MT） 機器翻譯是一個十分經典的語言理解的測試，涉及語言分析（language analysis）與語言生成（language generat
斯坦福大學-自然語言處理與深度學習（CS224n） 筆記 第六課 依存句法分析
課程概要 1、句法結構：成分句法、依存句法 2、依存語法 3、 Transition-based依存句法分析 4、神經網路的依存句法分析 一、句法結構：成分句法、依存句法 二、依存語法 三、Transition-based依存句法分析 四、神經網路的依存句
Coursera吳恩達《神經網路與深度學習》課程筆記（2）-- 神經網路基礎之邏輯迴歸
上節課我們主要對深度學習（Deep Learning）的概念做了簡要的概述。我們先從房價預測的例子出發，建立了標準的神經網路（Neural Network）模型結構。然後從監督式學習入手，介紹了Standard NN，CNN和RNN三種不同的神經網路模型。接
CS224n-自然語言處理與深度學習簡介1
CS224n-自然語言處理與深度學習簡介1 自然語言處理 自然語言處理 自然語言處理的目標是讓計算機能夠“理解”自然語言，代替人去做一些有意義的事，比如，聊天機器人，機器翻譯等。 想要理解自然語言很難，人類語言是離散的、明確的符號系統，但又有
自然語言處理與深度學習: 集智俱樂部活動筆記
句子、段落和文章，我們都可以把它們視為是詞的序列，因此在很多場景下可以用統一的方式來進行表示。當然，在涉及句法結構分析時，基本是以句子為單位的，這裡暫時不考慮這種情況。作為詞的序列，我們該如何去表示它們呢？理想情況下當然是希望詞的順序啊、語義啊、語法結構啊都能夠表達出來，但如果要將這些都反映出來，所使用的特
自然語言處理與深度學習—引言
寫在前面的話 個人覺得NLP是機器學習最接近AI的一個應用，未來的人際互動介面也必然和NLP，將最近學到的NLP相關知識整理到這個系列供大家交流學習。文章中難免會有錯誤，歡迎指正。如果你有相左的看法也歡迎留言，我們一起討論 :) NLP簡介
自然語言處理(NLP)入門學習資源清單
致謝 鍾崇光博士參與了資料派THU於6月5日、THU資料派於6月8日釋出的《循序漸進提升Kaggle競賽模型精確度，以美國好事達保險公司理賠為例》一文的校對工作，並且給出了許多有建設性的意見，在此資料派翻譯組對鍾博士表達誠摯的感謝！ 作者：Melanie Tosik
斯坦福深度學習課程筆記（一）
影象分類 ppt 1 資料驅動方法 人眼和計算機看到的圖片不同，計算機看到的圖片是由很多代表畫素點的數字表示的陣列，所以人眼和計算機的視覺識別存在著Semantic Gap(語義鴻溝)。 同時，讓計算機能夠有效地識別圖片中的物體之前，還存在很多挑戰：比如 一些
深度學習論文翻譯解析（一）：YOLOv3: An Incremental Improvement
cluster tina ble mac 曾經 media bject batch 因此 原標題： YOLOv3: An Incremental Improvement 原作者： Joseph Redmon Ali Farhadi YOLO官網：YOLO: Real-Tim
Elam的吳恩達深度學習課程筆記（一）
記憶力是真的差，看過的東西要是一直不用的話就會馬上忘記,於是乎有了寫部落格把學過的東西儲存下來，大概就是所謂的集鞏固，分享，後期查閱與一身的思想吧，下面開始正題 深度學習概論 什麼是神經網路 什麼是神經網路呢，我們就以房價預測為例子來描述一個最簡單的神經網路模型。 假設有6間
深度學習之物體檢測（一）R-CNN
作者Rgb 在這之前大部分物體檢測演算法都是基於傳統的影象處理方法，這是第一篇將深度學習用到物體檢測上的文章，直接影響是2012年ALEXNET在比賽中的重大成功。 簡單來說，RCNN使用以下四步實現目標檢測： a. 在影象中用slective search 方法 確定
深度學習分散式訓練實戰（一）
本系列部落格主要介紹使用Pytorch和TF進行分散式訓練，本篇重點介紹相關理論，分析為什麼要進行分散式訓練。後續會從程式碼層面逐一介紹實際程式設計過程中如何實現分散式訓練。 常見的訓練方式 單機單卡（單GPU） 這種訓練方式一般就是在自己筆記本上，窮學生專
深度學習入門logistic迴歸（一）
Logistic迴歸(一) 如果我們想要識別照片裡是不是貓： 首先需要知道的是一幅圖片是由畫素點組成的，這些畫素點組成三維的矩陣，分別表示了R、G、B三個二維的畫素矩陣，這三個二維矩陣有著同樣的大小，假設是ixj。將這些畫素寫入一個一維的矩陣X中x=[
【深度學習】線性迴歸（一）原理及python從0開始實現
文章目錄 線性迴歸 單個屬性的情況 多元線性迴歸 廣義線性模型 實驗資料集 介紹 相關連結 Python實現 環境 編碼
【深度學習】Softmax迴歸（一）概念和原理
文章目錄 概述 Softmax Softmox迴歸模型 向量形式 Softmax運算 交叉熵損失函式 真實標籤的變換 平方損失函式 交叉熵損失函式
java深度學習框架Deeplearning4j實戰（一）BP神經網路分類器
1、Deeplearning4j 深度學習，人工智慧今天已經成了IT界最流行的詞，而tensorflow,phython又是研究深度學習神經網路的熱門工具。tensorflow是google的出品，而phython又以簡練的語法，獨特的程式碼結構和語言特性為眾多資料科學家和