機器學習技法筆記-Lecture 13 Deep learning

阿新 • • 發佈：2017-06-21

需要 clas 操作 -1 變換 png image cati fun

一些挑戰：

網絡結構的選擇。CNN的想法是對鄰近的輸入，有著相同的weight。

模型復雜度。

最優化的初始點選擇。pre-training

計算復雜度。

技術分享

包含pre-training的DL框架

技術分享

如何做pre-training? 下面介紹了一種方式。

weight可以看做是對x做特征轉換，那麽希望在第一次轉換後（從0層到1層）仍然能保持足夠多的原來的信息，那麽再從1層回到0層，應該得到近似的結果。

技術分享

這種NN叫做autoencoder，兩層分別是編碼和解碼的操作，來逼近 identity function。

技術分享

通過逼近 identity function的方式，能夠學習到數據中隱藏的結構，當做一種變換。

對監督學習：有信息價值的表示

對無監督學習：對典型數據的表示

技術分享

autoencoder的損失函數用平方誤差表示，因為只用到了x，可以看做是無監督學習。

一般限制編碼的權重等於解碼的權重，減少變量的個數，降低復雜度。

技術分享

deep learning中的正則化

對noise的處理？

加入一些人為噪音，使得autoencoder的pre-training更健壯。

技術分享

linear autoencoder

技術分享

這裏用到了對稱矩陣的特征值分解。V是正交矩陣。

技術分享

對有兩個變量的問題求解，首先固定V，求解beta.

技術分享

非常巧，這裏的結果和pca的結論是一樣的。因為它們本質上都是找到一個變換使得數據保持最多的信息（也就是方差最大，同時也等價於殘差最小）

技術分享

標準的PCA首先需要對數據去均值，後續對其他x的變換也需要先減去均值。

技術分享

機器學習技法筆記-Lecture 13 Deep learning

需要 clas 操作 -1 變換 png image cati fun 一些挑戰：網絡結構的選擇。CNN的想法是對鄰近的輸入，有著相同的weight。模型復雜度。最優化的初始點選擇。pre-training 計算復雜度。包含pre-training的DL框架

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 11—Machine Learning System Design

Lecture 11—Machine Learning System Design 11.1 垃圾郵件分類本章中用一個實際例子：垃圾郵件Spam的分類來描述機器學習系統設計方法。首先來看兩封郵件，左邊是一封垃圾郵件Spam，右邊是一封非垃圾郵件Non-Spam：垃圾郵件有很多features。如果我

機器學習基石筆記-Lecture 4 Learning is possible

odi ima ffd containe 概率 count lin comm learning hoeffding 不等式說明了在樣本量足夠大時，抽樣估計能夠接近真實值。類比到ml中，對給定的一個假設空間中的h, 它在整個樣本空間中的表現可以由在部分樣本點上的表現來

機器學習基石筆記-Lecture 3 Types of learning

mage 針對也有 tac nts 反饋機器學習 ear odi 介紹了機器學習中的幾類問題劃分。半監督學習能夠避免標記成本昂貴的問題。強化學習，可以看做是從反饋機制中來學習。在線學習，數據一個接一個地產生並交給算法模型線上叠代。主動學習，機器能

李巨集毅機器學習 P13 Brief Introduction of Deep Learning 筆記

deep learning的熱度增長非常快。下面看看deep learning的歷史。最開始出現的是1958年的單層感知機，1969年發現單層感知機有限制，到了1980年代出現多層感知機（這和今天的深度學習已經沒有太大的區別），1986年又出現了反向傳播演算法（通常超過3

李巨集毅機器學習 P15 “Hello world” of deep learning 筆記

我們今天使用Keras來寫一個deep learning model。 tensorflow實際上是一個微分器，它的功能比較強大，但同時也不太好學。因此我們學Keras，相對容易，也有足夠的靈活性。李教授開了一個玩笑：下面我們來寫一個最簡單的deep learning mo

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 10—Advice for applying machine learning

Lecture 10—Advice for applying machine learning 10.1 如何除錯一個機器學習演算法？有多種方案： 1、獲得更多訓練資料；2、嘗試更少特徵；3、嘗試更多特徵；4、嘗試新增多項式特徵；5、減小 λ；6、增大 λ 為了避免一個方案一個方

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 17—Large Scale Machine Learning 大規模機器學習

Lecture17 Large Scale Machine Learning大規模機器學習 17.1 大型資料集的學習 Learning With Large Datasets 如果有一個低方差的模型，通常通過增加資料集的規模，可以獲得更好的結果。但是如果資料集特別大，則首先應該檢查這麼大規模是否真

機器學習基石筆記-Lecture 10 Logistic regression

pan wiki app 方向 resource 註意實現 comment sce soft binary classification的概念：軟二分類，不直接化為-1、1，而是給出一個概率值。目標函數是一個概率值，但是拿到的data中y只有0、1（或者-1、1），可以

機器學習基石筆記-Lecture 9 Linear regression

空間 -i 結果 thumb src 9.png http regress containe 線性回歸的任務是對於一個輸入，給出輸出的實數，保證和真實輸出相差越小越好。因為假設空間是線性的，所以最後的g會是直線或者平面。通常的誤差衡量方法是使用平方誤差接下來的問題是

機器學習基石筆記-Lecture 5-7 VC dimension

func contain containe attach 一個數實的 man 分享 alt 為了引出VC維做了很長的鋪墊。。VC維：用來描述假設空間的表達能力。第四節講到對有限的假設空間，只要N足夠大，不管A如何選g，訓練數據如何選取，g的訓練錯誤率和真實的錯誤率都

CS231n筆記 Lecture 8, Deep Learning Software

width sam pythonic model var http ready efficient post CPU and GPU If you aren’t careful, training can bottleneck on reading dat

機器學習技法筆記總結（一）SVM系列總結及實戰

機器學技法筆記總結（一）SVM系列總結及實戰 1、原理總結在機器學習課程的第1-6課，主要學習了SVM支援向量機。 SVM是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。（1）當訓練樣本線性可分時，通過硬間隔最大化，學習

機器學習技法筆記01-----SVM支援向量機

寫的文章發給老師看得到回覆裡面有：去看看機器學習基礎知識～最近，嗯，來一波機器學習基礎～特徵轉換（Feature Transforms）的三個方向： SVM：解決如何選擇特徵轉換以及複雜度的問題 A

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 12—Support Vector Machines 支援向量機

Lecture 12 支援向量機 Support Vector Machines 12.1 優化目標 Optimization Objective 支援向量機(Support Vector Machine) 是一個更加強大的演算法，廣泛應用於工業界和學術界。與邏輯迴歸和神經網路相比, SVM在學習複雜的非

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 14—Dimensionality Reduction 降維

Lecture 14 Dimensionality Reduction 降維 14.1 降維的動機一:資料壓縮 Data Compression 現在討論第二種無監督學習問題：降維。降維的一方面作用是資料壓縮，允許我們使用較少的記憶體或磁碟空間，也加快演算法速度。例子：假設我們用兩個特徵描述一個物

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 15—Anomaly Detection異常檢測

Lecture 15 Anomaly Detection 異常檢測 15.1 異常檢測問題的動機 Problem Motivation 異常檢測(Anomaly detection)問題是機器學習演算法的一個常見應用。這種演算法雖然主要用於無監督學習問題，但從某些角度看，它又類似於一些監督學習問題。舉例：

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 16—Recommender Systems 推薦系統

Lecture 16 Recommender Systems 推薦系統 16.1 問題形式化 Problem Formulation 在機器學習領域，對於一些問題存在一些演算法，能試圖自動地替你學習到一組優良的特徵。通過推薦系統(recommender systems)，將領略一小部分特徵學習的思想。

【原】Coursera—Andrew Ng機器學習—課程筆記 Lecture 18—Photo OCR 應用例項:圖片文字識別

Lecture 18—Photo OCR 應用例項:圖片文字識別 18.1 問題描述和流程圖 Problem Description and Pipeline 影象文字識別需要如下步驟: 1.文字偵測(Text detection)——將圖片上的文字與其他環境物件分離開來2.字元切分(Character

機器學習基石筆記：01 The Learning Problem

什麼時候適合用機器學習演算法？存在某種規則／模式，能夠使效能提升，比如準確率；這種規則難以程式化定義，人難以給出準確定義；存在能夠反映這種規則的資料。所以，機器學習就是設計演算法\(A\)，從包含許多假設的假設集合\(H\)裡，根據所給的資料集\(D\)，選出和實際規則\(f\)

機器學習技法筆記-Lecture 13 Deep learning

相關推薦