含義

資料標準化和歸一化存在區別
資料歸一化是資料標準化的一種典型做法,即將資料統一對映到[0,1]區間上.
資料的標準化是指將資料按照比例縮放,使之落入一個特定的區間.

意義

1. 求解需要
   比如在SVM中處理分類問題是又是需要進行資料的歸一化處理,不然會對準確率產生很大的影響,具體點說,比如避免出現因為數值過大導致c,g取值超過尋優範圍

   除此之外,最明顯的是在神經網路中的影響,主要有四個層面

   • 有利於初始化的進行
   • 避免給梯度數值的更新帶來數值問題
   • 有利於學習率數值的調整
   • 搜尋軌跡:加快尋找最優解速度

   

具體情況請參考:神經網路為什麼要歸一化:

沒有歸一化前,尋找最優解的過程:

指去除資料的單位限制,將其轉化為無量綱的純數值,便於不同單位或者量級的指標能夠進行和加權.
比如身高與體重,房子數量與收入等.
4. 數值問題

不歸一化的數值,比如浮點數可能會產生數值不相等的問題.
5. 數值範圍減小對許多演算法在純粹的數值計算上都有一定加速作用(個人看法,雖然影響不大,但效果還是有的)

常用公式

1. min-max標準化(Min-max normalization)

又名離差標準化,是對原始資料的線性轉化,公式如下

含義: max : 樣本最大值; min: 樣本最小值;
問題: 當有新資料加入時需要重新進行資料歸一化
2. z-score 標準化(zero-mean normalization)

又名標準差標準化,歸一化後的資料呈正態分佈,即均值為零,標準差為一公式如下:

其中μ為所有樣本資料的均值，σ為所有樣本資料的標準差。與離差標準化的不同之處在於，離差標準化僅僅僅僅對原資料的的方差與均差進行了倍數縮減，而標準差標準化則使標準化的資料方差為一。這對許多的演算法更加有利，但是其缺點在於假如原始資料沒有呈高斯分佈，標準化的資料分佈效果並不好。
3. atan反正切函式標準化

公式如下:

問題: 資料必須大於零,大於零的函式將會被對映到[-1,0]上

atan函式影象如下:

4. log函式標準化

公式如下:

問題:
a . 資料必須大於等於一
b. 如果數值大於10**10(十的十次方),那麼對映的資料將大於一
解決問題b 的方案,改變公式以類似於 ” min-max標準化的方式 “, 如下:

max: 樣本最大值
通過 ” /log10(max) ” 值得方式,可以保證所有樣本能夠正確的對映到[0,1]空間,