學習方法

1. 對著書看一遍，把理解的內容寫成筆記
2. 看完一章後，看著筆記和書，把內容複習一下，把需要畫線的地方畫好並理解
3. 逐層深入：這本書講解基礎概念講得不生動，但是高層次上有很多不錯的高瞻遠矚的見解，所以先看網文理解到基本的網路（如RNN-LSTM），然後看書深化理解

*. Jumping Read：讀某一章很痛苦的時候，先讀後面一章，然後返回來讀

熟悉語音，VAE，tf，python，和深度學習的最佳方法——跟進大佬用tf寫的語音轉換程式碼，比如VAE那份，跑起來並改善

證明技法

泰勒級數逼近後，可以帶入想要的引數常量P155
做簡化，初始化為0，等

證明A方法=B方法:
在寫出利用了A/B的代價函式/權重特徵值/Hessian，然後聯立對比

概論

• 當有5k樣本的時候，就可以達到可接受的效能
• 當有10M個樣本的時候，一般就可以超過人類的表現

矩陣

基礎

• 注意向量的子集的表示方法，x−1表示是x中除去x1的子集，如果令集合S={1,3,6},那麼集合x−S表示除去x1，x3，x6
• 轉置是沿著對主對角線的翻轉，主對角線是左上角開始的

乘法

矩陣乘法不可教（交換）

單位矩陣和逆矩陣

線性方程組可以求解，而這個解要用到矩陣的逆操作

A−1A=In
有了這個逆操作很簡單就可以求取滿秩的線性方程

逆矩陣存在的條件：線性相關

• X向量的線性組合即生成子空間包含了b，所以要求A的維度大於b的維度，冗餘即為線性相關，可以表示為其他向量的特徵組合
• 必須方陣，線性無關的時候稱為奇異

線性相關

對一組向量a1,a2,…an,如果有 ：

k1a1+k2a2+...=0
則這組向量是線性相關的

對於任意的b使得

Ax=b
成立，那麼當b的維度為m時，A需要恰好m個相互線性無關的列向量（當大於m個的時候，肯定會有一些向量沒辦法跟其他的保持線性無關，就會變成不止一個b）

逆矩陣有左乘和右乘，分別是：

A−1A=I
和
AA−1=I
對於方陣有左乘等價於右乘

秩 Rank

如果上面n個向量能選出最多的r個使得構成線性無關的子集，並且任意加一個都會變成線性相關的,那麼r就是矩陣的秩

這個向量組稱為最大線性無關向量組

衡量向量的大小：範數(norm)

幾何角度來看，x的範數，就是原點O到點x的距離
最常用的是p範數：

||x||p=(∑|xi|p)1p
單位範數即滿足
||x||p=1
的點在平面上組成的線

• 0範數：衡量x中0的數量（不用上式定義）
• 1範數：令p=1，得元素絕對值之和，單位範數是方形
• 2範數：p=2，歐幾里得範數，大小表示原點到當前點的距離

不同p值的單位範數：

矩陣的範數：

• 1-範數：
  

  ||A||1=maxj∑i=1m|ai,j|
  列和範數，即所有矩陣列向量絕對值之和的最大值

• 2-範數：
  

  ||A||2=λ1−−√
  lambda為A^TA的最大特徵值
  譜範數，即A’A矩陣的最大特徵值的開平方

• ∞-範數：
  

  ||A||∞=maxi∑j=1N|ai,j|
  行和範數，即所有矩陣行向量絕對值之和的最大值

• F-範數：
  

  ||A||F=⎛⎝∑i=1m∑j=1n|ai,j|2⎞⎠12
  Frobenius範數，即矩陣元素絕對值的平方和再開平方，類似於向量的L2範數，很多深度學習被歸結於F範數的最優化問題，比如PCA和Autoencoder

• 核範數：
  

  ||A||∗=∑i=1nλi
  其中λi是A的奇異值。
  即奇異值之和。

特殊的矩陣：

• 對角只在主對角線上含有非零元素
  
  • 進行乘法的時候只需要把非零元素跟對應行相乘即可
  • 機器學習中，如果把一些矩陣限定為對角陣，可以降低計算代價
  • 對於非方形的矩陣，要變成對角陣，需要在縮放後在後面補零或者刪除一些部分
    A=AT
• 對稱表示對稱元素相等。如，距離度量矩陣
  Ai,j=Aj,i
• 正交矩陣求逆代價小，是行向量和列向量分別標準正交*的
  ATA=AAT=I
  則
  A−1=AT

*標準正交：兩個向量都是單位向量（範數=1的向量），而且正交（夾角為90°）

• 所有特徵>0稱為正定，非負的半正定

方陣的特徵值分解

就像把一個數變成不同的素數的乘積一樣，矩陣也可以分解成不同的組成成分：
例如，可以把矩陣A中提取出特徵向量v和特徵值λ：（沒有分解它）

Av=λv
則實數λ稱為A的特徵值，v稱為特徵向量
- 此時，v與Av共線，λ指出了v跟Av的方向和長度關係
- 因此v可以直接取單位向量。

要還原A，就需要藉助A的全部單位特徵向量v和全部特徵值λ，把A的所有的線性無關是單位特徵v組合在一起形成特徵矩陣：

相關推薦

深度學習 deep learning 深度學習框架 caffe 深入學習過程

深度學習（Deep Learning）核心技術開發與應用培訓班 主辦單位：中國管理科學研究院執業資格認證培訓中心 一，時間地點： 2018年09月13日— 2018年09月16日北京 （機房上課，每人一臺電腦進行實際案例操作，贈送 U盤拷貝資料及課件和軟體） 二，培訓目標： 1，

深度學習(deep learning) AI聖經

AI 菌連結：https://pan.baidu.com/s/1sluS7tb 密碼：c5se伊

深度學習 Deep Learning UFLDL 最新Tutorial 學習筆記 4：Debugging: Gradient Checking

style inline add tom radi posit math size tutorial 1 Gradient Checking 說明前面我們已經實現了Linear Regression和Logistic Regression。關鍵在於代價函數Cost Fun

機器學習 Machine Learning 深度學習 Deep Learning 資料

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

機器學習 Machine Learning 深度學習 Deep Learning 資料 Chapter 1

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

Python深度學習(Deep Learning with Python) 中文版+英文版+原始碼

Keras作者、谷歌大腦François Chollet最新撰寫的深度學習Python教程實戰書籍（2017年12月出版）介紹深入學習使用Python語言和強大Keras庫，詳實新穎。PDF高清中文版+英文版+原始碼，這本書讓你通過直觀的解釋和例項學習深度學習，不得不看。 下載地址：https://www.

學習人工智慧的第六個月[深度學習[Deep Learning，DL]]

　　這個月閱讀了論文[Partial Adversarial Domain Adaptation-eccv18]，文章著眼於源域標籤空間包含目標域標籤空間的場景，在域對抗神經網路的基礎上提出了部分對抗域適應方法。思想很容易理解，即在源域樣本空間中引入了權值，希望源域和目標域共有的標籤權值大一些，不共有的權值儘

《deep learning》學習筆記（8）——深度模型中的優化

機器學習中的演算法涉及諸多的優化問題，典型的就是利用梯度下降法(gradient descent)求使損失函式 J(theta) 下降的模型引數 theta 。在深度學習，尤其是深度神經網路的訓練和預測中，大的模型往往要花上數天甚至是數月的訓練時間，因此雖然

Deep learning深度學習的十大開源框架

Google開源了TensorFlow（GitHub），此舉在深度學習領域影響巨大，因為Google在人工智慧領域的研發成績斐然，有著雄厚的人才儲備，而且Google自己的Gmail和搜尋引擎都在使用自行研發的深度學習工具。對於希望在應用中整合深度學習功能的開發者來說，Git

機器學習——深度學習(Deep Learning)

Deep Learning是機器學習中一個非常接近AI的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，最近研究了機器學習中一些深度學習的相關知識，本文給出一些很有用的資料和心得。Key Words：有監督學習與無監督學習，分類、迴歸，密度估計、聚類，深度學習，Spar

【深度學習Deep Learning】資料大全

介紹:使用卷積神經網路的影象縮放. 介紹:ICML2015 論文集,優化4個+稀疏優化1個；強化學習4個，深度學習3個+深度學習計算1個；貝葉斯非參、高斯過程和學習理論3個；還有計算廣告和社會選擇.ICML2015 Sessions. 介紹:使用卷積神經網路的影象縮放. 介紹:，第28屆IEEE計算機視覺與

[Deep Learning] 深度學習中消失的梯度

　　好久沒有更新blog了，最近抽時間看了Nielsen的《Neural Networks and Deep Learning》感覺小有收穫，分享給大家。 　　瞭解深度學習的同學可能知道，目前深度學習面臨的一個問題就是在網路訓練的過程中存在梯度消失問題（vanishing gradient problem）

機器學習(Machine Learning)與深度學習(Deep Learning)資料 之 文章、部落格

介紹:這是一篇介紹機器學習歷史的文章，介紹很全面，從感知機、神經網路、決策樹、SVM、Adaboost到隨機森林、DeepLearning.介紹:這一篇介紹如果設計和管理屬於你自己的機器學習專案的文章，裡面提供了管理模版、資料管理與實踐方法.介紹:如果你還不知道什麼是機器學習

讀論文：deep Learning 深度學習合集

Deep Learning Very Deep Convolutional Networks for Large-Scale Image Recognition ICLR 2015 問題 網路模型不夠深 方法** 用3個 3x3的核 替換

AWS deep learning 深度學習_亞馬遜深度學習服務

許多組織開始越來越多地轉向深度學習，因為它支援計算機進行獨立學習和執行任務，幾乎無需任何監督，從而可為科學和工業領域帶來諸多非凡的優勢。與傳統的機器學習不同，深度學習試圖通過建立人造的“神經網路”來模擬人類大腦學習和處理資訊的方式，以便從資料中提取複雜的概念和關係。深度學習模型在

深度學習Deep Learning（04）：權重初始化問題2_ReLu激勵函式

三、權重初始化問題2_ReLu激勵函式 1、說明 2、ReLu/PReLu激勵函式 目前ReLu啟用函式使用比較多，而上面一篇論文沒有討論，如果還是使用同樣初始化權重的方法（

基於Theano的深度學習(Deep Learning)框架Keras學習隨筆-01-FAQ

本文主要介紹一下Keras的問答部分，其實很簡單，後邊可能不會詳細說到，提前涼一下，便於翻看。 Keras介紹： Keras是一個極度簡化、高度模組化的神經網路第三方庫。基於Python+Th

機器學習(Machine Learning)&深度學習(Deep Learning)資料集合

機器學習(Machine Learning)&深度學習(Deep Learning)資料 原文連結：https://github.com/ty4z2008/Qix/blob/master/dl.md#%E6%B3%A8%E6%9C%BA%E5%99%A8

淺談深度學習(Deep Learning)的基本思想和方法

深度學習（Deep Learning），又叫Unsupervised Feature Learning或者Feature Learning，是目前非常熱的一個研究主題。 本文將主要介紹Deep Learning的基本思想和常用的方法。 一. 什麼是Deep Learning

深度學習(Deep Learning) Yoshua Bengio & Ian GoodFellow中文版

今天給大家推薦一本入門深度學習必讀的權威教材，由深度學習權威Yoshua Bengio和GAN之父Ian Goodfellow等人合著的DeepLearning經典教程《Deep Learning》。 廢話不多說，直接上鍊接。 中文版pdf下載地址：https://