2. 程式人生 > >權重初始化方式對神經網路迭代次數的影響

權重初始化方式對神經網路迭代次數的影響

阿新 • • 發佈：2019-02-01

做一個網路

輸入X範圍是[1e-16,37]

權重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

tw[a][b]=(double)ti1/n; 

學習率0.1

本文用於檢測當n分別等於50,100,200,300,400,500,1000時對迭代次數是否有影響。

得到的資料如下

#50 #100 #200 #300   #400 #500 #1000
1e-5*11*11*1e-5 515690.56 1151745.985 2442883.495 1042074.315 64498.62
 56510.775 50278.48
1e-4*11*11*1e-4 538336.22 1140325.425 2456006.97 556370.145 58516.835 58154.21 49405.25
1e-3*11*11*1e-3 515657.815 1181040.275 2631372.3 995064.645 59504.625 54353.44 50357.935
1e-2*11*11*1e-2 524385.4 1149965.665 2448382.15 1149738.31
 91348.485 57477.815 49364.26
0.1*11*11*0.1 466648.73 1023284.48 2530742.245 2146998.835 171378.415 60060.805 49182.16
1*11*11*1 269628.89 507738.58 1193861.05 2005743.37 2752611.045 3334475.955 57438.16
2*11*11*2 215952.105 338796.91 762422.04 1341740.89
 1788425.735 2468127.52 564607.03
3*11*11*3 196236.455 272292.105 680873.4 1084323.92 1449072.63 2018767.03 1764958.1
4*11*11*4 187556.205 264077.425 600728.635 1014091.78 1398991.365 1922227.875 2092883.28
5*11*11*5 189551.09 256461.865 588419.74 910780.35 1290084.505 1786341.78 2279545.655
6*11*11*6 182710.855 251478.63 614340.585 1004629.11 1317827.625 1862401.95 2300141.175
7*11*11*7 182428.85 251915.34 608052.375 975472.28 1365238.66 1818134.405 2301074.53
8*11*11*8 185063.05 254112.845 568591.285 959487.245 1379721.04 1655470.885 2080430.445
9*11*11*9 182868.76 255234.11 579499.295 965944.865 1289923.15 1779299.45 2199222.36
10*11*11*10 190904.745 258464.335 605392.56 956794.66 1373901.005 1690353.16 2154894.06


因為迭代次數只有兩個基本狀態和一個過渡狀態

小區間

基本狀態

[1e-16,0.1]

過渡區間

過渡態

[1,3]

大區間

基本狀態

[4,37]

為了加快計算本文只計算了1e-5到10

當n=50,100,200的影象為

可以看到隨著n的增加，大區間[4,37]在明顯的向上移動，曲線是遞減。

TensorFlow中的迭代次數是一個固定值，如果大區間和小區間的迭代次數相差比較大就會出現問題

比如當n=100時

小區間迭代次數

1129272

大區間迭代次數

255963.5

如果將TensorFlow的迭代次數定位800000就會使小區間反應不足，大區間反應過度。

因為小區間要1129272次迭代才都能達到要求精度，800000次迭代相當於只完成了總任務的71%。而大區間只要255963次就可以達到要求精度，800000次迭代相對大區間來說有68%的計算是浪費的。

同樣如果選一個比較大的迭代次數比如1400000這樣雖然小區間和大區間都可以達到要求精度但是這樣做只會造成算力的更大浪費。

所以最好可以通過調整權重初始化方式得到一條相對差距比較小的線。

當n=400,500,1000時的影象

這張圖片隨著n的增加，大區間也是增加的，但影象近似是遞增的。

所以一定有個從遞減過渡到遞增狀態的n值使得小區間和大區間的迭代次數幾乎相等，使整條曲線看起來相對平直。經過實驗這個n值大致在300左右

當n=300時從1e-16到37的曲線資料

a

b

迭代次數

時間ms

時間min

300

1e-16*11*11*1e-16

0.494442208

0.495641938

1177391.87

1650993

27.51655

300

1e-15*11*11*1e-15

0.495423001

0.495922727

1028492.8

1436999

23.94998

300

1e-14*11*11*1e-14

0.495842043

0.495641787

931314.04

1294996

21.58327

300

1e-13*11*11*1e-13

0.495004211

0.495304312

881531.34

1223201

20.38668

300

1e-12*11*11*1e-12

0.494611448

0.495411409

928887.445

1285013

21.41688

300

1e-11*11*11*1e-11

0.495657121

0.494857016

869741.21

1212002

20.20003

300

1e-10*11*11*1e-10

0.495416301

0.495516346

822223.815

1147814

19.13023

300

1e-9*11*11*1e-9

0.495270974

0.495870804

1157183.93

1602565

26.70942

300

1e-8*11*11*1e-8

0.494929204

0.49442933

868996.86

1203788

20.06313

300

1e-7*11*11*1e-7

0.494712489

0.495112484

820649.265

1136546

18.94243

300

1e-6*11*11*1e-6

0.495338595

0.49523856

1110117.41

1536870

25.6145

300

1e-5*11*11*1e-5

0.496218585

0.495418654

1042074.32

1401070

23.35117

300

1e-4*11*11*1e-4

0.494981464

0.495381376

556370.145

784736

13.07893

300

1e-3*11*11*1e-3

0.495269247

0.496369031

995064.645

1376768

22.94613

300

1e-2*11*11*1e-2

0.49554725

0.49604707

1149738.31

1586597

26.44328

300

0.1*11*11*0.1

0.498097369

0.497897428

2146998.84

2974100

49.56833

300

1*11*11*1

0.502245991

0.500445991

2005743.37

2800078

46.66797

300

2*11*11*2

0.501306968

0.501406967

1341740.89

1969331

32.82218

300

3*11*11*3

0.502139484

0.500539485

1084323.92

1404763

23.41272

300

4*11*11*4

0.50137864

0.501278641

1014091.78

1446365

24.10608

300

5*11*11*5

0.501640009

0.500840009

910780.35

1301624

21.69373

300

6*11*11*6

0.501153924

0.501553924

1004629.11

1425911

23.76518

300

7*11*11*7

0.501061144

0.501461144

975472.28

1281737

21.36228

300

8*11*11*8

0.500697758

0.501897758

959487.245

1333199

22.21998

300

9*11*11*9

0.50157167

0.500971671

965944.865

1334896

22.24827

300

10*11*11*10

0.50154289

0.50104289

956794.66

1320600

22.01

300

11*11*11*11

0.500586866

0.501986866

953683.75

1327746

22.1291

300

12*11*11*12

0.501304336

0.501404336

1003937.46

1397277

23.28795

300

13*11*11*13

0.501390429

0.501390429

1021429.5

1450694

24.17823

300

14*11*11*14

0.501096067

0.501596067

1000931.95

1421634

23.6939

300

15*11*11*15

0.501186367

0.501286367

933033.265

1225792

20.42987

300

16*11*11*16

0.501117028

0.501417028

965515.97

1364626

22.74377

300

17*11*11*17

0.50155269

0.50115269

984877.165

1322929

22.04882

300

18*11*11*18

0.501249006

0.501349006

978266.335

1374509

22.90848

300

19*11*11*19

0.501139341

0.501439341

954977.96

1261967

21.03278

300

20*11*11*20

0.501726519

0.50082652

915192.715

1288190

21.46983

300

21*11*11*21

0.501756803

0.500656803

931755.655

1259473

20.99122

300

22*11*11*22

0.50169384

0.500893841

953562.595

1369851

22.83085

300

23*11*11*23

0.501966721

0.500666722

974836.26

1392312

23.2052

300

24*11*11*24

0.500926601

0.501826601

1007493.42

1297924

21.63207

300

25*11*11*25

0.501248655

0.501348655

959407.15

1355909

22.59848

300

26*11*11*26

0.501788982

0.500588983

894844.8

1169148

19.4858

300

27*11*11*27

0.502008374

0.500708374

977159.395

1349999

22.49998

300

28*11*11*28

0.501231491

0.501531491

987814.115

1414880

23.58133

300

29*11*11*29

0.501010278

0.501510278

947537.17

1336615

22.27692

300

30*11*11*30

0.501148884

0.501448884

971459.105

1339156

22.31927

300

31*11*11*31

0.500801108

0.501801107

964687.26

1247136

20.7856

300

32*11*11*32

0.501831602

0.500731601

919605.625

1270044

21.1674

300

33*11*11*33

0.500173133

0.502173132

893372.425

1231927

20.53212

300

34*11*11*34

0.501175259

0.501475259

969989.405

1370819

22.84698

300

35*11*11*35

0.501798376

0.500898377

958747.39

1372639

22.87732

300

36*11*11*36

0.501015419

0.501515419

929651.26

1236913

20.61522

300

37*11*11*37

0.501609929

0.501109929

999093.72

1426979

23.78298

將迭代次數畫成圖

可以看到這條曲線要平直的多。

小區間迭代次數

1030423.51

大區間迭代次數

962943.032

平均

996683.273

小區間和大區間的迭代次數只相差6.5%。

也就是在TensorFlow的環境中這個網路的權重初始化為ti1/300

應該可以相當程度上避免由於迭代曲線的巨大波動導致的反應過度和反應不足的問題，使網路在輸入整個區間上效能都相對平穩，又可以避免算力的浪費。

理論收斂迭代次數為996

相關推薦

權重初始化方式對神經網路迭代次數的影響

做一個網路 輸入X範圍是[1e-16,37] 權重初始化方式 Random rand1 =new Random(); int ti1=rand1.nextInt(98)+1; tw[a][b]=(double)ti1/n;  學習率0.1 本文用於檢測當

深層神經網路引數初始化方式對訓練精度的影響

本文是基於吳恩達老師《深度學習》第二週第一課練習題所做，目的在於探究引數初始化對模型精度的影響。文中所用到的輔助程式在這裡。一、資料處理本文所用第三方庫如下，其中init_utils為輔助程式包含構建神經網路的函式。import numpy as np import matp

權重初始化方式（based on FSRCNN）

G網路其實就是SR網路，D網路是對抗用的，作為GAN的。在原始碼中的network.py可以改變權重初始化的方式（關於程式碼，請參考博文基於pytorch的FSRCNN） def weights_init_normal(m, std=0.02): classname = m.__cl

神經網路之權重初始化（附程式碼）

摘要 神經網路/深度學習模型訓練的過程本質是對權重進行更新，在對一個新的模型進行訓練之前，需要每個引數有相應的初始值。對於多層神經網路/深度學習而言，如何選擇引數初始值便成為一個值得探討的問題。本文從實現啟用值的穩定分佈角度來探討神經網路的效率優化問題 權重在

CS231n 卷積神經網路與計算機視覺 6 資料預處理 權重初始化 規則化 損失函式 等常用方法總結

1 資料處理 首先註明我們要處理的資料是矩陣X，其shape為[N x D] (N =number of data, D =dimensionality). 1.1 Mean subtraction 去均值 去均值是一種常用的資料處理方式.它是將各個特徵值減去其均

【deeplearning.ai】第二門課：提升深層神經網路——權重初始化

一、初始化 合理的權重初始化可以防止梯度爆炸和消失。對於ReLu啟用函式，權重可初始化為： 也叫作“He初始化”。對於tanh啟用函式，權重初始化為： 也稱為“Xavier初始化”。也可以使用下面這個公式進行初始化： 上述公式中的l指當前處在神經網路的第幾層，l-1為

神經網路八：權重初始化

小隨機數初始化。因此，權重初始值要非常接近0又不能等於0。解決方法就是將權重初始化為很小的數值，以此來打破對稱性。其思路是：如果神經元剛開始的時候是隨機且不相等的，那麼它們將計算出不同的更新，並將自身變成整個網路的不同部分。小隨機數權重初始化的實現方法是：W = 0.01 * np.random.randn(

斯坦福cs231n學習筆記（8）------神經網路訓練細節（資料預處理、權重初始化）

神經網路訓練細節系列筆記： 這一篇，我們將繼續介紹神經網路訓練細節。 一、Data Preprocessing（資料預處理） 如圖是原始資料，資料矩陣X有三種常見的資料預處理形式，其中我們假定X的大小為[N×D]（N是資料的數量，D是它們的維數

[DeeplearningAI筆記]改善深層神經網路_深度學習的實用層面1.10_1.12/梯度消失/梯度爆炸/權重初始化

覺得有用的話,歡迎一起討論相互學習~Follow Me 1.10 梯度消失和梯度爆炸 當訓練神經網路,尤其是深度神經網路時,經常會出現的問題是梯度消失或者梯度爆炸,也就是說當你訓練深度網路時,導數或坡度有時會變得非常大,或非常小,甚至以指數方式變小.這加

神經網路的輸入對迭代次數的影響

如果一個神經網路只有一個輸入值，當這個輸入值大小發生變化的時候對網路的收斂的迭代次數是否有影響。 比如如上的網路輸入的x值從1e-16到45 權重的初始化方式是 Random rand1 =new Random(); int ti1=rand1.nextInt(98)+1;

對 caffe 中Xavier， msra 權值初始化方式的解釋

If you work through the Caffe MNIST tutorial, you’ll come across this curious line weight_filler { type: "xavier" } and the acc

網路權重初始化方法總結（下）：Lecun、Xavier與He Kaiming

目錄 權重初始化最佳實踐 期望與方差的相關性質 全連線層方差分析 tanh下的初始化方法 Lecun 1998 Xavier 2010 ReL

WebApplicationContext的三種初始化方式

實例 aware web.xml span available HA 而且 util onf 　　 ApplicationContext是Spring的核心，Context我們通常解釋為上下文環境，我想用“容器”來表述它更容易理解一些，ApplicationContext則

深度學習訓練技巧---權重初始化

常量 反向傳播 ive str 防止 自己 對稱性 就是 導致 全零初始化 　　全零初始化即所有的變量均被初始化為0，這應該是最笨、最省事的隨機化方法了。然而這種偷懶的初始化方法非常不適合深度學習，因為這種初始化方法沒有打破神經元之間的對稱性，將導致收斂速度很慢甚至訓練失敗

深度學習基礎系列（六）| 權重初始化的選擇

初始化 附近 ace back width variable 目的 backend 概率分布 　　深層網絡需要一個優良的權重初始化方案，目的是降低發生梯度爆炸和梯度消失的風險。先解釋下梯度爆炸和梯度消失的原因，假設我們有如下前向傳播路徑： 　　a1 = w1x + b1　　

Batch Size設定過大時，對神經網路效能的影響情況

之前的一片博文寫了Batch Size的作用和應該如何設定比較合適，同時還有Batch Size大小，與學習率 lr l r lr、訓練次數 epoch

Java_53_陣列的三種初始化方式_陣列的界限（下標）

陣列初始化 1.靜態初始化 除了用new關鍵字來產生陣列以外，還可以直接定義陣列的同時就為陣列元素分配空間並賦值。 int[] a={1,2,3}; Man[] mans={new Man(1,1),new Man(2,2)} 2.動態初始化 陣列定義與為陣列元素分配空間

【深度學習】權重初始化

為什麼要初始化？暴力初始化效果如何？ 神經網路，或者深度學習演算法的引數初始化是一個很重要的方面，傳統的初始化方法從高斯分佈中隨機初始化引數。甚至直接全初始化為1或者0。這樣的方法暴力直接，但是往往效果一般。本篇文章的敘述來源於一個國外的討論帖子[1]，下面就自己的理解闡述一下。 首先我們來思考

053_數組的三種初始化方式

style 枚舉 元素 區間 默認 int 同時 其中 class 一、默認初始化 　　數組也是引用類型中的其中一種、所以數組也是對象、數組中的元素相當於對象中的成員變量、其初始化規則和對象成員變量一致。 　　　　1.int或能自動轉為int類型的(byte、short、i

053_陣列的三種初始化方式

一、預設初始化 　　陣列也是引用型別中的其中一種、所以陣列也是物件、陣列中的元素相當於物件中的成員變數、其初始化規則和物件成員變數一致。 　　　　1.int或能自動轉為int型別的(byte、short、int)、long預設初始值都為：0 　　　　2.浮點數型別(單精度float和雙精度double)