本文關注：對於神經網路（主要是全連線網路+SGD）的學習訓練，標準化有什麼好處（加速收斂），以及為什麼有這樣的好處。本文觀點大多總結自lecun98年的論文：Efficient BackProp，詳情請參考原論文。翻譯以及總結過程如有疏漏，歡迎指教。另需說明的是：神經網路模型多變複雜，這裡多是對於一般情況的啟發性討論，實際使用中需要具體情況具體分析（例如影象領域大多僅減均值，不除方差）。

什麼是標準化

在機器學習領域中，標準化(standardization)是預處理（preprocessing）的常見步驟之一。其操作為減均值除方差，生成的分佈均值為0方差為1，其公式為：

xi=x

i−μiδi(μi=∑Nj=1x(j)iN,δ2i=∑Ni=1(x(j)i−μi)2N−1)$$x_i=\frac{x_i-{\mu }_i}{{\delta }_i}({\mu }_i=\frac{\sum _{j=1}^N{x}_i^{(j)}}{N},{\delta }_i^2=\frac{\sum _{i=1}^N(x_i^{(j)}-{\mu }_i{)}^2}{N-1})$$
其中xi$x_i$表示輸入x$x$的第i$i$維，x(j)i$x_i^{(j)}$表示訓練集中第j$j$個樣本的第i$i$維的值，訓練集中總共有N$N$個樣本，μi,δi${\mu }_i,{\delta }_i$為訓練集預估的第i$i$維的均值和方差。

為什麼需要標準化

簡要地說，為了保證網路可以良好的收斂，在不清楚各個維度的相對重要程度之前，標準化使得輸入的各個維度分佈相近，從而允許我們在網路訓練過程中，對各個維度“一視同仁”（即設定相同的學習率、正則項係數、權重初始化、以及啟用函式）。反過來，當我們使用全域性相同的學習率、權重初始化、以及啟用函式等網路設定時，方差更大的維度將獲得更多的重視。

網路設定, BP, SGD簡介

具體地，考慮單層全連線網路的情況

y=Wx+b⇔yi=∑j=1nwijxj+bi=wTix+b$$y=Wx+b\iff y_i=\sum _{j=1}^n{w}_{ij}{x}_j+b_i=w_i^{T}x+b$$
，SGD等基於BP一階梯度的優化演算法的常見形式為
∂L∂W=∂L∂yxT⇔∂L∂wi=∂L∂yixW=W−η∂L∂W=W−η∂L∂yxT⇔wi=wi−η∂L∂wi=wi−η∂L∂yix$$\frac{\mathrm{\partial }L}{\mathrm{\partial }W}=\frac{\mathrm{\partial }L}{\mathrm{\partial }y}{x}^T\iff \frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_i}=\frac{\mathrm{\partial }L}{\mathrm{\partial }{y}_i}xW=W-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }W}=W-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }y}{x}^T\iff w_i=w_i-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_i}=w_i-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{y}_i}x$$
其中wi$w_i$為引數矩陣W$W$的第i$i$行元素組成的向量（即第i$i$行的轉置），

xi,yi$x_i,y_i$分別為輸入x$x$輸出

相關推薦

神經網路訓練技巧討論：為什麼需要標準化

本文關注：對於神經網路（主要是全連線網路+SGD）的學習訓練，標準化有什麼好處（加速收斂），以及為什麼有這樣的好處。本文觀點大多總結自lecun98年的論文：Efficient BackProp，詳情請參考原論文。翻譯以及總結過程如有疏漏，歡迎指教。另需說明的是

神經網路訓練技巧討論：如何選取batch size

本文中關於Online/Batch learning的觀點大多總結自lecun98年的論文：Efficient BackProp，關於Mini-Batch learning的觀點大多總結自BatchNorm論文，詳情請參考原論文。翻譯總結中如有疏漏，歡迎指教。

為什麼使用神經網路訓練得到的語言模型不需要做資料平滑

我們都知道，在自然語言處理的語言模型裡面，最核心的就是計算得到一個句子的概率，為了得到這個概率，我們需要計算得到一系列的條件概率。這些條件概率就是整個語言模型的引數。 為了得到條件概率，我們可以有兩種不同的方法。 第一種就是使用統計概率方法，通過統計的方法得到不同的詞對的條件概率。這種方

深度學習神經網路訓練調參技巧

本文主要介紹8種實現細節的技巧或tricks：資料增廣、影象預處理、網路初始化、訓練過程中的技巧、啟用函式的選擇、不同正則化方法、來自於資料的洞察、整合多個深度網路的方法原文如下：http://blog.csdn.net/u013709270/article/details/70949304。

深度神經網路訓練的技巧

這裡主要介紹8中實現細節的技巧或tricks：資料增廣、影象預處理、網路初始化、訓練過程中的技巧、啟用函式的選擇、不同正則化方法、來自於資料的洞察、整合多個深度網路的方法。 1.       資料增廣 在不改變影象類別的情況下，增加資料量，能提高模型的泛化能力 自然

AndrewNg機器學習第四周作業：關於使用邏輯迴歸、神經網路訓練資料並應用之的心得

ex3的作業是根據已有的資料集 （20*20畫素的圖片，每個畫素是一個feature，總共400個features，400個features作為輸入X，資料集已經包含輸出的y，代表這是什麼數字） ，去識別手寫數字。 首先是使用邏輯迴歸方法來分類10

【資料極客】Week3_訓練深度神經網路的技巧

Tips for Training DNN 訓練深度神經網路技巧 【李巨集毅2017秋天 課程】 1 Vanishing Gradient Problem 梯度消失問題 在輸入層部分，即便有很大的變化，通過 Sigmoid 啟

python資料分析與挖掘實戰筆記二：第99頁神經網路訓練出現的錯誤'Some keys in session_kwargs are not supported at this time: %s'

在使用神經網路模型預測銷量高低時，系統指出模型訓練時出現錯誤： ValueError Traceback (most recent call last) <ipython-input-20-e46e29b76a5e> in <module&g

TensorFlow官方文件樣例——三層卷積神經網路訓練MNIST資料

        上篇部落格根據TensorFlow官方文件樣例實現了一個簡單的單層神經網路模型，在訓練10000次左右可以達到92.7%左右的準確率。但如果將神經網路的深度拓展，那麼很容易就能夠達到更高的準確率。官方中文文件中就提供了這樣的樣例，它的網路結構如

#####好好好好####Keras深度神經網路訓練分類模型的四種方法

Github程式碼： Keras樣例解析 歡迎光臨我的部落格：https://gaussic.github.io/2017/03/03/imdb-sentiment-classification/ (轉載請註明出處：https://gaussic.github.io) Keras的官方E

【opencv3--ANN神經網路訓練識別OCR資料集】

#include <string> #include <iostream> #include <opencv2\opencv.hpp> #include <opencv2\ml.hpp> #include<fstream> using n

Tensorpack，一個基於TensorFlow的神經網路訓練介面，原始碼包含很多示例

  Tensorpack是一個基於TensorFlow的神經網路訓練介面。    https://github.com/tensorpack/tensorpack 特徵： 它是另一個TF高階API，具有速度，可讀性和靈活性。

TensorFlow遊樂園介紹及其神經網路訓練過程

       TensorFlow遊樂場是一個通過網頁瀏覽器就可以訓練簡單神經網路。並實現了視覺化訓練過程的工具。遊樂場地址為http://playground.tensorflow.org/ 一、TensorFlow遊樂園引數介紹&nb

神經網路訓練中,傻傻分不清Epoch、Batch Size和迭代

你肯定經歷過這樣的時刻，看著電腦螢幕抓著頭，困惑著：「為什麼我會在程式碼中使用這三個術語，它們有什麼區別嗎?」因為它們看起來實在太相似了。 為了理解這些術語有什麼不同，你需要了解一些關於機器學習的術語，比如梯度下降，以幫助你理解。 這裡簡單總結梯度下降的含義… 梯度下降 這是一個在機器學習中用於尋找最

神經網路訓練中Epoch、batch_size、iterator的關係

為了理解這些術語的不同，需要先了解些機器學習術語，如：梯度下降 梯度下降 這是一個在機器學習中用於尋找最佳結果（曲線的最小值）的迭代優化演算法。 梯度的含義是斜率或者斜坡的傾斜度。 下降的含義是代價函式的下降。 演算法是迭代的，意思是需要多次使用演算法獲取結果，以得

將神經網路訓練成一個“放大鏡”

摘要： 想不想將神經網路訓練成一個“放大鏡”？我們就訓練了一個這樣炫酷的神經網路，點選文章一起看下吧！ 低解析度蝴蝶的放大 當我們網購時，我們肯定希望有一個貼近現實的購物體驗，也就是說能夠全方位的看清楚產品的細節。而解析度高的大影象能夠對商品進行更加詳細的介紹，這真的可以改變顧客的購物體驗，

BP神經網路——訓練一個加法運算

#include <stdio.h> #include <math.h> #include <time.h> #include <stdlib.h> #define num 3000 #define learn 0.001 double qian

神經網路訓練中-Epoch、Batch Size和迭代

在資料很龐大的時候（在機器學習中，幾乎任何時候都是），我們需要使用 epochs，batch size，迭代這些術語，在這種情況下，一次性將資料輸入計算機是不可能的。因此，為了解決這個問題，我們需要把資料分成小塊，一塊一塊的傳遞給計算機，在每一步的末端更新神經網路的權重，

cs231n斯坦福基於卷積神經網路的CV學習筆記（二）神經網路訓練細節

五，神經網路 注意點part1 例項：邏輯迴歸二層神經網路訓練函式 使用權重w和偏差值biase計算出第一個隱含層h，然後計算損失，評分，進行反向傳播回去 多種常用啟用函式（一般預設max（0，x）），如sigmoid函式具有飽和區梯度0，非零點中心，計算x複

深度學習入門——利用卷積神經網路訓練CIFAR—10資料集

CIFAR-10資料集簡介 CIFAR-10是由Hinton的學生Alex Krizhevsky和Ilya Sutskever整理的一個用於普適物體的小型資料集。它一共包含10個類別的RGB彩色圖片：飛機、汽車、鳥類、貓、鹿、狗、蛙類、馬、船： 資料集包含50000張訓練圖片和1000