向量/矩陣/張量

向量

向量可以表示成一維陣列，每個分量可以理解為向量所表示的點在空間中座標的分量。

矩陣

矩陣可以表示成二維陣列，上節理解了矩陣可以理解為線性對映在特定基下的一種定量描述。

張量

張量可以表示成任意維的陣列，張量是向量概念向更高階次的推廣，向量是一維張量。
但不能把矩陣簡單的看成二維張量，張量是幾何的，矩陣是代數的。二階張量和矩陣概念不同，但可以建立聯絡，矩陣可以描述二階張量的一些特性(在確定座標系後，可以用矩陣來表示)。

向量的廣播

複製向量到很多位置的操作稱為向量的廣播，如把m維行向量加到n行m列的矩陣的每一行就是一種廣播操作。

向量內積

內積即點積，兩個相同維數向量對應分量相乘再相加，得到的是標量，向量x和向量y的內積可以記為：

這是因為我們這裡說的”向量”可以視為就是在說”列向量”，所以可以看成列向量轉置後得到的行向量和另一個列向量的矩陣的標準乘積。
顯然向量點積滿足交換律。

矩陣的標準乘積

就是普通的矩陣乘法，要求前一個矩陣的列數和後一個矩陣的行數相同，結果矩陣中Cij=左邊矩陣的第i行向量和右邊矩陣的第j列向量的對應分量相乘再相加。

矩陣的Hadamard乘積

兩個規模相同的矩陣，如果對應位置的元素可乘，那麼就有Hadamard乘積，新矩陣的規模與原來矩陣的規模一致，每個位置的元素是原來兩個矩陣的那個位置元素的乘積。

生成子空間

一組向量的生成(線性)子空間，是它們經過線性組合後所能抵達的點的集合。

在這張圖中，這兩個紅色的向量經過線性組合，能達到的點構成了一個二維的平面。

超平面

超平面是指n維歐式空間中維度等於n-1的線性子空間，如在三維的歐式空間中就是一個平面，在二維的歐式空間中就是一個點，在更高維的空間中我們生活中找不到描述它的詞。
因為是子空間，所以超平面一定過原點。

線性相關和線性無關

如果一組向量中，每個向量都不能表示成其它向量的線性組合，則稱這組向量線性無關，否則就是線性相關的，比如下面這三個向量構成的向量組就是線性相關的，因為：

這個向量可以被另外兩個向量的線性組合表示，畫到圖上就是：

關於逆矩陣

其實只要記住有逆矩陣的一定是一個方陣，並且所有列向量都是線性無關的。但是在書上看到這一部分很有意思，還是做一下筆記。

考慮解一個線性方程組Ax=b，未知的是列向量x：

如果矩陣A的逆存在的話，可以試圖用A的逆矩陣去求解它，那就要左乘A的逆。對於這個方程組而言，只可能無解/有1個解/有無限多個解，因為如果列向量x1和x2都是這個方程的解，那麼對於任意實數α：
顯然也是這個方程組的解，那麼還是有無窮多個解的情況。
前面學了，矩陣和向量的乘積，可以理解成矩陣的列向量的線性組合，而決定線性組合的權重值的正是這個向量x的每個分量。所以求方程的解，實際上也就是求有哪些種線性組合的方法——x中的第i個分量表示沿著矩陣i的第i列的列向量走多遠，能夠到達向量b。
所以方程Ax=b有沒有解，實際上就是在詢問向量b是否在矩陣A的列向量的生成子空間中，如果在的話，x的分量描述了到達這個向量b的途徑。這個特殊的生成子空間稱為矩陣A的列空間或者值域。

如果要對任意m維向量b都存在解，就要使矩陣A的列空間佈滿整個m維空間，所以A至少要有m列，否則其線性組合是不可能達到m維的，如一個3x2的矩陣(m=3而n=2)：

很顯然這兩個3維列向量不論怎麼組合，都只能在一個平面上跑，也就是說這個矩陣的列空間只能是一個平面，而不能包括m=3維度上的所有點。
回到那個問題，A至少有m列也就是n>=m。這只是一個必要條件，還不是充分條件，因為有些列可能是多餘的，如下面這個矩陣：

很顯然不管有再多的列，因為列都是一樣的，不管列向量再怎麼組合，都只能在一條直線上跑，不能包括m=2維度上的所有點。這種多餘就是因為這些列向量線性相關了。
所以要使列向量線性組合後能包含整個m維空間上的所有點，就要求這個矩陣的列至少有一組m個線性無關的向量，用它們就能實現包括m維度上的所有點了，也就是m維線性空間中的一組基。

要用逆矩陣來求的話，左乘逆矩陣以後得到的x肯定是唯一的，所以要保證方程對於每一個b最多隻能有一個解，那麼矩陣就最多隻能有m個列向量。這是因為如果有多於m個列向量，又有了前面說了m個線性無關的向量，那麼剩下的那個向量肯定能被這m個向量線性表示，那麼它就能替代線性表示它的向量中的任意一個：

上圖中紅色是一個m個向量的線性無關組，藍色是表示綠的向量的一組向量(權重不是0)，綠色的這個向量可以去替代這個線性無關組中的藍色向量中的任意一個，而新的組仍然是m個向量的線性無關組。
那麼有了多種線性無關組m，就會有不止一種線性組合：
以及等等。
該方程也就有不止一個解x了，因此n<=m。

綜上來看n=m，也就是矩陣A需要是個方陣，而且列向量線性無關，這樣才可逆，可逆矩陣也叫非奇異矩陣。此外，列向量線性相關的方陣被稱為奇異矩陣。
根據前面說的線性相關和線性無關可以理解：如果A為奇異矩陣，則AX=0有無窮解(能被線性表示的列向量線性表示後，權重可以同乘任意實數)，AX=b有無窮解或者無解(如果b不能被A的列向量線性表示就無解，否則有無窮多解，無窮的方式還是那一個解的1-α權重組合)。如果A為非奇異矩陣，則AX=0有且只有唯一零解(m維的0向量b自然也是有唯一解，這個解總是m=n維0向量因為列向量誰們也不能表示誰)，AX=b有唯一解(正如前面所說)。

範數

範數(norm)可以衡量向量的大小，向量x的範數可以衡量從原點到x點的距離，顯然這個距離和我們平時生活中的距離不太一樣。

範數的性質

①正定性：如果向量x的範數為0，向量一定是0向量。
②三角不等式：兩向量和的範數不大於範數之和。
③正值齊次性：縮放α倍後的x的範數等於x的範數乘以α的絕對值。

Lp範數

展開的分量的p次冪加和再開p次方，即：

顯然L2範數表示的就是從原點到指定點的歐幾裡徳距離，這個距離也就是我們日常生活說的狹義的距離，L2範數也叫歐幾裡徳範數。
L1範數是x的所有分量的單純加和，當機器學習問題中零和非零的元素差異很重要時通常使用L1範數(書上這樣說，但具體怎麼用還是不清楚)。

最大範數(L∞範數)

取向量中具有最大幅值的元素的絕對值：

Frobenius範數

用來衡量矩陣的大小，矩陣中每個元素平方後全部加起來再開根號：

用L2範數表示向量點積

高中學的”模乘模乘夾角餘弦”裡的”模”其實就是向量的L2範數：