範數，在機器學習中通常用於衡量一個向量的大小，形式上，

     範數的定義如下：

     其中 p>=1

     從巨集觀上來講，範數是將向量對映到非負值的函式，從直觀上來說，範數是向量x到原點的距離。

     但是範數並不侷限於上述的公式，對任意的函式只要滿足以下的性質，則可以稱該函式是範數：

     1)對於 f(x) = 0，則一定有x = 0

     2) f(x + y) <= f(x) + f(y)

     3)對任意的標量a，一定有 f(ax) = |a| f(x)

     注意：以上性質中，x與y都是向量。

     當p = 2時，

     常用的範數形式，除了上述的歐幾里得範數，還有用於統計向量中非零元素個數的範數；用於求得向量中具有最大幅值的元素的絕對值的無窮範數，也叫最大範數(max norm)。相應的計算方法將p的值代入文章第一條公式即可。

     有時候，我們也需要表示矩陣的大小，在深度學習中，我們通常用Frobenius範數來衡量一個矩陣的大小，計算公式如下：