1. 程式人生 > >機器學習的數學基礎(壹)

機器學習的數學基礎(壹)

1 範數(norm)

它常常被用來度量某個向量空間(或矩陣)中的每個向量的長度或大小。一般我們用範數來衡量兩個向量之間的距離,也就是相似度。

1.1常見的範數

  • 0-範數
    有多少個非零的數

  • 1-範數(曼哈頓距離)

    | |
    x | | 1 = | x 1
    | + | x 2 | + +
    | x n |

  • 2-範數 (歐幾里得距離)

    | | x | | 2 = 1 n x i 2 2

  • ∞-範數

    | | x | | = m a x ( | x 1 | , | x 2 | , | x n | )

正規化圖例

2 向量和矩陣(Vector and Matrix)

既有大小,又有方向的量叫向量。一般來說在工程應用裡,我們常用向量或者矩陣來表示一組資料,這樣可以來表示資料的高維特性。而矩陣就是很多向量的集合。

2.1 向量的一些運算

  • 加法
    a = [ a 1 b 1 c 1 ] , b = [ a 2 b 2 c 2 ] , a + b = [ a 1 + a 2 b 1 + b 2 c 1 + c 2 ]
    程式設計實現(python)
import numpy as np
a = np.array([-1, 2])
b = np.array([3, 1])
print a + b 
  • 向量和向量相乘
    a = [ a 1 b 1 c 1 ] , b = [ a 2 b 2 c 2 ] , a · b = a 1 a 2 + b 1 b 2 + c 1 c 2
    程式設計實現(python):
import numpy as np
a = np.array([3, 5, 2])
b = np.array([1, 4, 7])
print a.dot(b) 
print np.dot(a, b) 
  • 向量外積