深度學習領域聖經，英文原版的三位作者 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville

本人僅對中文版深度學習書中，提煉筆記，添加個人理解，該筆記僅作為個人深度學習知識的學習、總結、複習使用。若有錯誤，還望批評指教。—-ZJ

中文版 2017-09-04 版 pdf (PDF 閱讀器開啟 55)

第二章內容：中文版 P27 -，英文版 P31 -

Chapter 2 Linear Algebra

2.1 標量、向量、矩陣和張量

學習線性代數，會涉及以下幾類數學概念：

• 標量（scalar）：一個標量就是一個單獨的數。
• 向量（vector）：一個向量是一列數。
  
  • x=⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥.(2.1)$$\begin{array}{}\text{(2.1)}& x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right].\end{array}$$
• 矩陣（matrix）：矩陣是一個二維陣列，其中的每一個元素被兩個索引（而非一個）所確定。

2.2 矩陣和向量相乘

• 逐元乘積 （element-wise product）：

  兩個矩陣的標準乘積不是指兩個矩陣中對應元素的乘積。不過，那樣的矩陣操作確實是存在的，被稱為元素對應乘積（element-wise product）或者Hadamard 乘積（Hadamard product），記為 A ⊙ B。

• 點積（dot product）：

  兩個相同維數的向量 x 和 y 的點積（dot product）可看作是矩陣乘積

  x⊤y$x^{\top }y$。

矩陣乘積運算有許多有用的性質，從而使矩陣的數學分析更加方便。比如，矩陣乘積服從分配律：

兩個向量的點積（dot product）滿足交換律：

兩個向量點積的結果是標量，標量轉置是自身的事實

2.3 單位矩陣和逆矩陣

單位矩陣（identity matrix）：任意向量和單位矩陣相乘，都不會改變。
我們將保持 n$n$ 維向量不變的單位矩陣記作 In$I_n$。 形式上，In∈Rn×n$I_n\in R^{n\times n}$，

∀x∈Rn,Inx=x.(1)$$\begin{array}{}\text{(1)}& \mathrm{\forall }x\in R^n,I_{n}x=x.\end{array}$$

矩陣A$A$的矩陣逆記作A−1$A^{-1}$，其定義的矩陣滿足如下條件

A−1A=In.(2)$$\begin{array}{}\text{(2)}& A^{-1}A=\end{array}$$

In. Ax=bA−1Ax=A−1bInx=A−1bx=A−1b.(3)$$\begin{array}{}\text{(3)}& Ax=b{A}^{-1}Ax=A^{-1}b{I}_{n}x=A^{-1}bx=A^{-1}b.\end{array}$$

2.4 線性相關和生成子空間

Ax=∑ixiA:,i.(4)$$\begin{array}{}\text{(4)}& Ax=\sum _i{x}_i{A}_{:,i}.\end{array}$$

線性組合（linear combination）

∑iciv(i).(5)$$\begin{array}{}\text{(5)}& \sum _i{c}_i{v}^{(i)}.\end{array}$$

一組向量的生成子空間（span）是原始向量線性組合後所能抵達的點的集合。

確定Ax=b$Ax=b$是否有解相當於確定向量b$b$是否在A$A$列向量的生成子空間中。 這個特殊的生成子空間被稱為A$A$的列空間或者A$A$的值域。

P61 (pdf)有點暈，找個相關視訊看看

這種冗餘被稱為線性相關（linear dependence）。如果一組向量中的任意一個向量都不能表示成其他向量的線性組合，那麼這組向量稱為線性無關（linearly independent）。

這意味著該矩陣必須是一個方陣（square），即 m = n，並且所有列
向量都是線性無關的。一個列向量線性相關的方陣被稱為奇異的（singular）。

2.5 範數

Lp$L^p$ 範數：

有時我們需要衡量一個向量的大小。在機器學習中，我們經常使用被稱為 範數（norm）的函式衡量向量大小。形式上，Lp$L^p$ 範數定義如下

||x||p=(∑i|xi|p)1

相關推薦

深度學習"聖經" | 第二章 線性代數

深度學習領域聖經，英文原版的三位作者 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 本人僅對中文版深度學習書中，提煉筆記，添加個人理解，該筆記僅作為個人深度學習知識的學習、總結、複習使用。若有錯誤，還望

深度學習（花書）讀書筆記——第二章-線性代數

第二章-線性代數2.1 標量、向量、矩陣和張量標量(scalar):一個標量就是一個單獨的數,它不同於線性代數中研究的其他大部分物件(通常是多個數的陣列)。向量(vector):一個向量是一列數。這些數是有序排列的。                             

資源｜用Python和NumPy學習《深度學習》中的線性代數基礎

python 計機器學習 大數據 爬蟲 web 本文系巴黎高等師範學院在讀博士 Hadrien Jean 的一篇基礎學習博客，其目的是幫助初學者/高級初學者基於深度學習和機器學習來掌握線性代數的概念。掌握這些技能可以提高你理解和應用各種數據科學算法的能力。對於初學者而言，《深度學習》（Ia

《Deep Learning》第二章 線性代數 筆記

第二章 線性代數 2.1 名詞 標量（scalar）、向量（vector）、矩陣（matrix）、張量（tensor） 2.2 矩陣和向量相乘 1. 正常矩陣乘法； 2. 向量點積； 3. Hadamard乘積（元素對應乘積） 矩陣乘法服從分配律、結合律，兩個向量的點積滿足交換律，利用兩個向量點積的

Ng深度學習課程-第二章筆記摘要

        計算機中為了儲存一張圖片，需要儲存三個矩陣，它們分別對應圖片中的紅、綠、藍三種顏色通道。如果你的圖片大小為 64x64 畫素，那麼就有三個規模為 64x64 的矩陣，分別對應圖片中紅、綠、藍三種畫素的強度值。為了把這些畫素值放到一個特徵向量

《Python 深度學習》——第二章 神經網路的數學基礎

內容： 第一個神經網路示例 張量與張量運算 神經網路如何通過反向傳播與梯度下降進行學習 張量，張量運算，微分，梯度下降 2.1 初識神經網路 類別（class），樣本（sample），標籤（label） 1.載入Keras中的MNIST資料集 from ke

深度學習概率知識、線性代數、機器學習、深度學習、計算機視覺等熱點問題

深度學習500問，以問答形式對常用的概率知識、線性代數、機器學習、深度學習、計算機視覺等熱點問題進行闡述，以幫助自己及有需要的讀者。 全書分為15個章節，近20萬字 第一章 數學基礎 1 1.1標量、向量、張量之間的聯絡 1 1.2張量與矩陣的區別？ 1 1.3矩陣和向

《Python 深度學習》——第二章 神經網路的數學基礎

內容： 第一個神經網路示例 張量與張量運算 神經網路如何通過反向傳播與梯度下降進行學習 張量，張量運算，微分，梯度下降 2.1 初識神經網路 類別（class），樣本（sample），標籤（label） 1.載入Keras中的MNIST資料集

【深度學習基礎】：線性代數(一)_特徵分解及numpy、scipy實現

一、特徵分解的意義         有時，我們會將現實中的某些事物抽象成矩陣的形式，例如可以將一張圖片抽象成一個畫素值組成的矩陣。此時，我們也許希望中將矩陣分解成多個組成部分，這些組成部分代表了這個矩

第零章 線性代數的學習準備

文章目錄 線性代數 主要內容 歷史 運用 為什麼要學習線性代數？ 如何學好線性代數？ 秦靜教授的學習建議 線性代數 線性（linear）指量與量之間按比例、成直線的關係，在數學上可以理解為一階導數為常數的函式。

吳恩達機器學習（第二章）----線性迴歸

線性迴歸要做的主要包含代價函式和梯度下降。 一、基本解釋 線性迴歸的過程其實就是我們在選擇好某個型別的函式之後去不斷的擬合現有的資料，那麼什麼情況下我們這個函式是最符合，最貼近我們這些資料的呢？就是在代價函式的值最小的時候。 二、代價函式 假設要擬合的函式是h(x)=

一站式學習Wireshark第二章

forbidden 快速 pro 幫助 shark sha 客戶 echo 從服務器 TCP: TCP/IP通過三次握手建立一個連接。這一過程中的三種報文是：SYN，SYN/ACK，ACK。 第一步是找到PC發送到網絡服務器的第一個SYN報文，這標識了TCP三次握手的開始。

《機器學習》第二章 概念學習和一般到特殊序

hang 描述 兩個 str 依賴 實例 sport 遊泳 win 《機器學習》第二章 概念學習和一般到特殊序 2.1.簡介 布爾函數一般形式：F(b1, b2, ..., bn)，其中 bi的定義域為{0,1}，F的值域為{0, 1}。 在一般的定 義域上的，取值在 {

Python學習系列-----第二章 操作符與表達式

2.4 學習 -- alt ges 操作符 bsp nbsp images 　　2.1 數學運算和賦值的簡便方法 　　　　例如： 　　　　 　　2.2 優先級 　　　　在python中運算符有優先級之分，高優先級的運算符先執行，低優先級的運算符後執行。下面是運算符優先級：（

《呂鑫：VC++6.0就業培訓寶典之MFC視頻教程》學習筆記 -- 第二章 MFC原理介紹

第一個 寶典 數據類型 對話 視頻 資源管理 bsp 程序開發 第二章 第二章 MFC原理介紹 2.1 第一個Win32軟件 2.2 Win32對話框程序開發 2.3 程序資源管理和Windows數據類型 2.4 Win32環境下的多對話框管理 2.5 初步學習MFC軟件

學習筆記TF062:TensorFlow線性代數編譯框架XLA

per acc tmp form 緩沖區 適合 correct raw prot XLA(Accelerated Linear Algebra)，線性代數領域專用編譯器(demain-specific compiler)，優化TensorFlow計算。即時(just-in-

第二章 線性表2（鏈接表）

first ppr bound 是否 class nds lang spl ado 3.5.2 鏈接表接口 鏈接表可以看成是一組結點序列以及基於結點進行操作的線性結果的抽象，或則說是對鏈表的抽象。 鏈接表的接口： 1 package com.datastructure

Python爬蟲學習==>第二章：MongoDB環境配置

擴展 建立 body 網絡 dash blog 虛擬 bson 階段 　　學習目的： MongoDB的安裝 正式步驟 （VMWare 虛擬機上無法安裝這個MongoDB的自啟動服務，如果你能辦到，請多賜教） Step1：MongoDB的簡介

機器學習實戰第二章----KNN

BE 指定 cto 文件轉換 .sh ati subplot OS umt tile的使用方法 tile(A,n)的功能是把A數組重復n次（可以在列方向，也可以在行方向） argsort()函數 argsort()函數返回的是數組中值從大到小的索引值 dict.get()

（轉）Django學習之 第二章：Django快速上手

nbsp ida IT 介紹 你在 django edi nal python代碼 安裝Python 安裝Django非常容易。因為Django可以運行在任何可以運行Python的環境中，所以可以以多種方式進行配置。 在本章我們將嘗試覆蓋幾種常見的Django安裝場景。