資料歸一化：

資料的標準化是將資料按比例縮放，使之落入一個小的特定區間，去除資料的單位限制，將其轉化為無量綱的純數值，便於不同單位或量級的指標能夠進行比較和加權。

為什麼要做歸一化：

1）加快梯度下降求最優解的速度

如果兩個特徵的區間相差非常大，其所形成的等高線非常尖，很有可能走“之字型”路線（垂直等高線走），從而導致需要迭代很多次才能收斂。

2）有可能提高精度

一些分類器需要計算樣本之間的距離，如果一個特徵值域範圍非常大，那麼距離計算就主要取決於這個特徵，從而與實際情況相悖（比如這時實際情況是值域範圍小的特徵更重要）。

歸一化型別

1）線性歸一化

這種歸一化比較適用在數值比較集中的情況，缺陷就是如果max和min不穩定，很容易使得歸一化結果不穩定，使得後續的效果不穩定，實際使用中可以用經驗常量來代替max和min。

2）標準差標準化

經過處理的資料符合標準正態分佈，即均值為0，標準差為1。

3）非線性歸一化

經常用在資料分化較大的場景，有些數值大，有些很小。通過一些數學函式，將原始值進行對映。該方法包括log、指數、反正切等。需要根據資料分佈的情況，決定非線性函式的曲線。

• log函式：x = lg(x)/lg(max)

• 反正切函式：x = atan(x)*2/pi

Python實現

• 線性歸一化

定義陣列：x = numpy.array(x)

獲取二維陣列列方向的最大值：x.max(axis = 0)

獲取二維陣列列方向的最小值：x.min(axis = 0)

對二維陣列進行線性歸一化：

def max_min_normalization(data_value, data_col_max_values, data_col_min_values):
""" Data normalization using max value and min value

Args:
    data_value: The data to be normalized
    data_col_max_values: The maximum value of data's columns
    data_col_min_values: The minimum value of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
    for j in xrange(0, data_cols, 1):
        data_value[i][j] = \
            (data_value[i][j] - data_col_min_values[j]) / \
            (data_col_max_values[j] - data_col_min_values[j])
 

• 標準差歸一化

定義陣列：x = numpy.array(x)

獲取二維陣列列方向的均值：x.mean(axis = 0)

獲取二維陣列列方向的標準差：x.std(axis = 0)

對二維陣列進行標準差歸一化：

def standard_deviation_normalization(data_value, data_col_means,
                                 data_col_standard_deviation):
""" Data normalization using standard deviation

Args:
    data_value: The data to be normalized
    data_col_means: The means of data's columns
    data_col_standard_deviation: The variance of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
    for j in xrange(0, data_cols, 1):
        data_value[i][j] = \
            (data_value[i][j] - data_col_means[j]) / \
            data_col_standard_deviation[j]

• 非線性歸一化（以lg為例）

定義陣列：x = numpy.array(x)

獲取二維陣列列方向的最大值：x.max(axis=0)

獲取二維陣列每個元素的lg值：numpy.log10(x)

獲取二維陣列列方向的最大值的lg值：numpy.log10(x.max(axis=0))

對二維陣列使用lg進行非線性歸一化：

def nonlinearity_normalization_lg(data_value_after_lg,
                              data_col_max_values_after_lg):
""" Data normalization using lg

Args:
    data_value_after_lg: The data to be normalized
    data_col_max_values_after_lg: The maximum value of data's columns
"""

data_shape = data_value_after_lg.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
    for j in xrange(0, data_cols, 1):
        data_value_after_lg[i][j] = \
            data_value_after_lg[i][j] / data_col_max_values_after_lg[j]