1. 程式人生 > >深度學習--花書 第2章

深度學習--花書 第2章

第2章介紹的是線性代數,記錄一些課本里對一些知識點沒有掌握的新視角和忘記的知識。
1. 張量: A tensor is something that transforms like a tensor! 一個量, 在不同的參考系下按照某種特定的法則進行變換, 就是張量。
2. 兩矩陣相加為對應元素相加。
3. Hadamard乘積(元素對應乘積):兩個矩陣中對應元素的乘積。
4. 生成子空間:原始向量線性組合後所能抵達的點的集合。
最大無關組。
5.奇異矩陣:行列式等於0的方陣。
6.歐幾里得距離:在m維空間中兩個點之間的真是距離。歐氏距離看成訊號相似程度,距離越近就越相似,就越容易相互干擾,誤位元速率就越高。
7.標準正交向量組,就是正交向量組中向量都是單位向量。
8.正交矩陣:正交矩陣受到關注是因為求逆計算代價小。我們需要注意正交矩陣的定義。違反直覺的是,正交矩陣的行向量不僅是正交的,還是標準正交的。對於行向量或列向量互相正交但不是標準正交的矩陣,沒有對應的專有術語。
9.一個矩陣其實就是一個線性變換,因為一個矩陣乘以一個向量後得到的向量,其實就相當於將這個向量進行了線性變換。
特徵值和特徵向量解釋:

http://blog.csdn.net/sunshine_in_moon/article/details/45749691
在自然語言處理中,特徵值、特徵向量可以這樣理解: 特徵分解出一個任務矩陣的特徵值和特徵向量, 其中某一特徵向量是該任務的某一特徵,相對應的特徵值變為此特徵的重要性程度或者其他數字化指標。奇異值分解、PCA都是提取任務對應特徵的一個方法,而現在使用神經網路來提取特徵,其實道理都差不多隻不過換了一種方式。