2. 程式人生 > >pytorch 歸一化 測試（BatchNorm2d）

pytorch 歸一化 測試（BatchNorm2d）

阿新 • • 發佈：2018-12-15

import torch

import torch.nn as nn

m = nn.BatchNorm2d(2,affine=True) #權重w和偏重將被使用
input = torch.randn(1,2,3,4)
output = m(input)

print("輸入圖片：")
print(input)
print("歸一化權重：")
print(m.weight)
print("歸一化的偏重：")
print(m.bias)

print("歸一化的輸出：")
print(output)
print("輸出的尺度：")
print(output.size())

# i = torch.randn(1,1,2)

 
print("輸入的第一個維度：")
print(input[0][0])
firstDimenMean = torch.Tensor.mean(input[0][0])
firstDimenVar= torch.Tensor.var(input[0][0],False) #Bessel's Correction貝塞爾校正不會被使用
print(m.eps)
print("輸入的第一個維度平均值：")
print(firstDimenMean)
print("輸入的第一個維度方差：")
print(firstDimenVar)

bacthnormone = \
    ((input[0][0][0][0] - firstDimenMean)/(torch.pow(firstDimenVar+m.eps,0.5) ))\
               * m.weight[0] + m.bias[0]
print(bacthnormone)
輸出為：

輸入圖片： tensor([[[[-2.4308, -1.0281, -1.1322,  0.9819],           [-0.4069,  0.7973,  1.6296,  1.6797],           [ 0.2802, -0.8285,  2.0101,  0.1286]],          [[-0.5740,  0.1970, -0.7209, -0.7231],           [-0.1489,  0.4993,  0.4159,  1.4238],           [ 0.0334, -0.6333,  0.1308, -0.2180]]]]) 歸一化權重： Parameter containing: tensor([ 0.5653,  0.0322]) 歸一化的偏重： Parameter containing: tensor([ 0.,  0.]) 歸一化的輸出： tensor([[[[-1.1237, -0.5106, -0.5561,  0.3679],           [-0.2391,  0.2873,  0.6510,  0.6729],           [ 0.0612, -0.4233,  0.8173, -0.0050]],          [[-0.0293,  0.0120, -0.0372, -0.0373],           [-0.0066,  0.0282,  0.0237,  0.0777],           [ 0.0032, -0.0325,  0.0084, -0.0103]]]]) 輸出的尺度： torch.Size([1, 2, 3, 4]) 輸入的第一個維度： tensor([[-2.4308, -1.0281, -1.1322,  0.9819],         [-0.4069,  0.7973,  1.6296,  1.6797],         [ 0.2802, -0.8285,  2.0101,  0.1286]]) 1e-05 輸入的第一個維度平均值： tensor(0.1401) 輸入的第一個維度方差： tensor(1.6730) tensor(-1.1237)

結論：

        輸出的計算公式如下

        注意torch中方差實現的方法是沒有使用Bessel’s correction 貝塞爾校正的方差，所以在自己寫的方差中不要用錯了。（貝塞爾校正，即樣本方差和總體方差之間區別和校正。）

相關推薦

pytorch 歸一化 測試（BatchNorm2d）

import torch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #權重w和偏重將被使用 input = torch.randn(1,2,3,4) output = m(input) print("

機器學習-6（歸一化數值計算介紹）

  特徵值太多了，但是每個特徵值有大有小，你怎麼去權衡50KG重和臂長1M以及投籃命中率百分之30呢？ 這個時候就需要我們去加一個係數了，這個特別像權重，你要保證的就是： x0+x1+x2+.....+xn=m d1*x0+d2*x1+.....+dn*xn=1 即&n

幾種歸一化方法（Normalization Method）python實現

資料歸一化問題是資料探勘中特徵向量表達時的重要問題，當不同的特徵成列在一起的時候，由於特徵本身表達方式的原因而導致在絕對數值上的小資料被大資料“吃掉”的情況，這個時候我們需要做的就是對抽取出來的features vector進行歸一化處理，以保證每個特徵被分類器平等對待。

OpenGL.ES在Android上的簡單實踐：3-曲棍球（頂點歸一化、增加顏色）

OpenGL.ES在Android上的簡單實踐：3-曲棍球（頂點歸一化 、增加顏色） 1、頂點歸一化 承接上 簡單實踐系列文章：2。   執行程式後，大家看見了什麼，是不是如下圖？ what the fxxk？！ 以上這個問題詳細原因很複雜，隨著文章深入，答

機器學習經典模型簡單使用及歸一化（標準化）影響測試

集成 ict 過多 roc 簡單 max 都是 p s 方式 俗話說的好，不動手就永遠不知道該怎麽做，上次一聽說要做這個的時候人都懵了，聽了幾次似乎都摸不到門道，這次花了幾天時間去寫了寫，總算是摸到了點門道。 實驗 數據集 這次用到的數據集是跟火電廠有關的，都是匿名特

（五）歸一化

【深度學習】批歸一化（Batch Normalization）

學習 src 試用 其中 put min 平移 深度 優化方法 BN是由Google於2015年提出，這是一個深度神經網絡訓練的技巧，它不僅可以加快了模型的收斂速度，而且更重要的是在一定程度緩解了深層網絡中“梯度彌散”的問題，從而使得訓練深層網絡模型更加容易和穩定。所以目前

資料歸一化（續）

評價是現代社會各領域的一項經常性的工作，是科學做出管理決策的重要依據。隨著人們研究領域的不斷擴大，所面臨的評價物件日趨複雜，如果僅依據單一指標對事物進行評價往往不盡合理，必須全面地從整體的角度考慮問題，多指標綜合評價方法應運而生。所謂多指標綜合評價方法，就是把描述評價物件不同方面的多個指標的資訊綜合

雙目立體匹配——歸一化互相關（NCC）

　　歸一化相關性，normalization cross-correlation，因此簡稱NCC，下文中筆者將用NCC來代替這冗長的名稱。 　　NCC，顧名思義，就是用於歸一化待匹配目標之間的相關程度，注意這裡比較的是原始畫素。通過在待匹配畫素位置p（px，py）構建3*3鄰域匹配視窗，

Java8 - 定製歸一化收集器（reducing）得到自定義結果集

reducing簡介 reducing 是一個收集器（操作），從字面意義上可以理解為“減少操作”：輸入多個元素，在一定的操作後，元素減少。 reducing 有多個過載方法，其中一個方法如下： public static <T> Collector<T

mxnet-梯度,反饋與標準化（歸一化）

1.attach_grad(grad_req='write', stype=None) 附加一個梯度快取在NDArray上，這樣，回退（反饋）能計算相應的梯度 引數: grad_req ({'write', 'add', 'null'})‘write’: 梯度將在每

機器學習經典模型簡單使用及歸一化（標準化）影響

俗話說的好，不動手就永遠不知道該怎麼做，上次一聽說要做這個的時候人都懵了，聽了幾次似乎都摸不到門道，這次花了幾天時間去寫了寫，總算是摸到了點門道。 實驗 資料集 這次用到的資料集是跟火電廠有關的，都是匿名特徵，資料量為20160*170，做到最後發現只根據時間順序就能做的比較好。 歸一化 先來講講歸

機器學習資料處理時label錯位對未來資料做預測 機器學習經典模型簡單使用及歸一化（標準化）影響

這篇文章繼上篇機器學習經典模型簡單使用及歸一化（標準化）影響，通過將測試集label（行）錯位，將部分資料作為對未來的預測，觀察其效果。 實驗方式 以不同方式劃分資料集和測試集 使用不同的歸一化（標準化）方式 使用不同的模型 將測試集label錯位，計算出MSE的大小 不斷增大錯位的

weka學習（二） 歸一化處理

/** * 歸一化處理 * * @author hao.wei */ @Service public class NormalizeBizImpl implements NormalizeBiz { private static final Logger logge

批歸一化（Batch Normalization）、L1正則化和L2正則化

from: https://www.cnblogs.com/skyfsm/p/8453498.html https://www.cnblogs.com/skyfsm/p/8456968.html BN是由Google於2015年提出，這是一個深度神經網路訓練的技巧，它不僅可以加快了

長短期記憶（LSTM）系列_LSTM的資料準備（4）——如何歸一化標準化長短期記憶網路的資料

導讀： 在訓練神經網路（例如長短期記憶復現神經網路）時，可能需要縮放序列預測問題的資料。 當輸入資料序列分佈並不標準，或者變化幅度（標準差）過大時，這會減慢網路的學習和收斂速度，也會阻礙網路的學習效率。 因此您需要了解如何歸一化和標準化序列預測資料，以及如何確定將哪中形式用於輸入和輸出變

基於深度學習的CT影象肺結節自動檢測技術一——資料預處理（歸一化，資料增強，資料標記）

開發環境 Anaconda:jupyter notebook /pycharm pip install SimpleItk # 讀取CT醫學影象 pip install tqdm # 可擴充套件的Python進度條，封裝

資料歸一化（標準化）

資料歸一化 資料預處理中，標準的第一步是資料歸一化。雖然這裡有一系列可行的方法，但是這一步通常是根據資料的具體情況而明確選擇的。特徵歸一化常用的方法包含如下幾種： min-max標準化 逐樣本均值消減(也稱為移除直流分量) Z-score 標準化(使資料集中所有特徵都具有零均值和單位方差)

sklearn中的train_test_split（資料分割）、preprocessing（歸一化）、cross_val_score（交叉驗證）

1、train_test_split（資料分割）： from sklearn.model_selection import train_test_split X=np.random.randint(0,100,(10,4)) y=np.random.randint(0,3,10) y.

歸一化 （Normalization）、標準化 （Standardization）和中心化/零均值化 （Zero-centered）

1 概念   歸一化：１）把資料變成(０，１)或者（1,1）之間的小數。主要是為了資料處理方便提出來的，把資料對映到0～1範圍之內處理，更加便捷快速。２）把有量綱表示式變成無量綱表示式，便於不同單位或量級的指標能夠進行比較和加權。歸一化是一種簡化計算的方式，即將有量綱的表示式