2. 程式人生 > >BP神經網路，BP推導過程，反向傳播演算法，誤差反向傳播，梯度下降，權值閾值更新推導，隱含層權重更新公式

BP神經網路，BP推導過程，反向傳播演算法，誤差反向傳播，梯度下降，權值閾值更新推導，隱含層權重更新公式

阿新 • • 發佈：2019-02-20
  1. %% BP的主函式  
  2. % 清空  
  3. clear all;  
  4. clc;  
  5. % 匯入資料  
  6. load data;  
  7. %從1到2000間隨機排序  
  8. k=rand(1,2000);  
  9. [m,n]=sort(k);  
  10. %輸入輸出資料  
  11. input=data(:,2:25);  
  12. output1 =data(:,1);  
  13. %把輸出從1維變成4維  
  14. for i=1:2000  
  15.     switch output1(i)  
  16.         case 1  
  17.             output(i,:)=[1 0 0 0];  
  18.         case 2  
  19.             output(i,:)=[0 1 0 0];  
  20.         case 3  
  21.             output(i,:)=[0 0 1 0];  
  22.         case 4  
  23.             output(i,:)=[0 0 0 1];  
  24.     end  
  25. end  
  26. %隨機提取1500個樣本為訓練樣本，500個樣本為預測樣本  
  27. trainCharacter=input(n(1:1600),:);  
  28. trainOutput=output(n(1:1600),:);  
  29. testCharacter=input(n(1601:2000),:);  
  30. testOutput=output(n(1601:2000),:);  
  31. % 對訓練的特徵進行歸一化  
  32. [trainInput,inputps]=mapminmax(trainCharacter‘);  
  33. %% 引數的初始化  
  34. % 引數的初始化  
  35. inputNum = 24;%輸入層的節點數  
  36. hiddenNum = 50;%隱含層的節點數  
  37. outputNum = 4;%輸出層的節點數  
  38. % 權重和偏置的初始化  
  39. w1 = rands(inputNum,hiddenNum);  
  40. b1 = rands(hiddenNum,1);  
  41. w2 = rands(hiddenNum,outputNum);  
  42. b2 = rands(outputNum,1);  
  43. % 學習率  
  44. yita = 0.1;  
  45. %% 網路的訓練  
  46. for r = 1:30  
  47.     E(r) = 0;% 統計誤差  
  48.     for m = 1:1600  
  49.         % 資訊的正向流動  
  50.         x = trainInput(:,m);  
  51.         % 隱含層的輸出  
  52.         for j = 1:hiddenNum  
  53.             hidden(j,:) = w1(:,j)‘*x+b1(j,:);  
  54.             hiddenOutput(j,:) = g(hidden(j,:));  
  55.         end  
  56.         % 輸出層的輸出  
  57.         outputOutput = w2‘*hiddenOutput+b2;  
  58.         % 計算誤差  
  59.         e = trainOutput(m,:)‘-outputOutput;  
  60.         E(r) = E(r) + sum(abs(e));  
  61.         % 修改權重和偏置  
  62.         % 隱含層到輸出層的權重和偏置調整  
  63.         dw2 = hiddenOutput*e‘;  
  64.         db2 = e;  
  65.         % 輸入層到隱含層的權重和偏置調整  
  66.         for j = 1:hiddenNum  
  67.             partOne(j) = hiddenOutput(j)*(1-hiddenOutput(j));  
  68.             partTwo(j) = w2(j,:)*e;  
  69.         end  
  70.         for i = 1:inputNum  
  71.             for j = 1:hiddenNum  
  72.                 dw1(i,j) = partOne(j)*x(i,:)*partTwo(j);  
  73.                 db1(j,:) = partOne(j)*partTwo(j);  
  74.             end  
  75.         end  
  76.         w1 = w1 + yita*dw1;  
  77.         w2 = w2 + yita*dw2;  
  78.         b1 = b1 + yita*db1;  
  79.         b2 = b2 + yita*db2;    
  80.     end  
  81. end  
  82. %% 語音特徵訊號分類  
  83. testInput=mapminmax(‘apply‘,testCharacter‘,inputps);  
  84. for m = 1:400  
  85.     for j = 1:hiddenNum  
  86.         hiddenTest(j,:) = w1(:,j)‘*testInput(:,m)+b1(j,:);  
  87.         hiddenTestOutput(j,:) = g(hiddenTest(j,:));  
  88.     end  
  89.     outputOfTest(:,m) = w2‘*hiddenTestOutput+b2;  
  90. end  
  91. %% 結果分析  
  92. %根據網路輸出找出資料屬於哪類  
  93. for m=1:400  
  94.     output_fore(m)=find(outputOfTest(:,m)==max(outputOfTest(:,m)));  
  95. end  
  96. %BP網路預測誤差  
  97. error=output_fore-output1(n(1601:2000))‘;  
  98. k=zeros(1,4);    
  99. %找出判斷錯誤的分類屬於哪一類  
  100. for i=1:400  
  101.     if error(i)~=0  
  102.         [b,c]=max(testOutput(i,:));  
  103.         switch c  
  104.             case 1   
  105.                 k(1)=k(1)+1;  
  106.             case 2   
  107.                 k(2)=k(2)+1;  
  108.             case 3   
  109.                 k(3)=k(3)+1;  
  110.             case 4   
  111.                 k(4)=k(4)+1;  
  112.         end  
  113.     end  
  114. end  
  115. %找出每類的個體和  
  116. kk=zeros(1,4);  
  117. for i=1:400  
  118.     [b,c]=max(testOutput(i,:));  
  119.     switch c  
  120.         case 1  
  121.             kk(1)=kk(1)+1;  
  122.         case 2  
  123.             kk(2)=kk(2)+1;  
  124.         case 3  
  125.             kk(3)=kk(3)+1;  
  126.         case 4  
  127.             kk(4)=kk(4)+1;  
  128.     end  
  129. end  
  130. %正確率  
  131. rightridio=(kk-k)./kk  

相關推薦

BP神經網路，BP推導過程，反向傳播演算法，誤差反向傳播，梯度下降，權值閾值更新推導，隱含層權重更新公式

%% BP的主函式   % 清空   clear all;   clc;   % 匯入資料   load data;   %從1到2000間隨機排序   k=rand(1,2000);   [m,n]=sort(k);   %輸入輸出資料   input=data(:,2:25);   output1 =d

西瓜書5.5 程式設計實現BP神經網路——標準BP演算法、累積BP演算法

這裡照著書上的公式，實現了一下標準BP演算法，和累積BP演算法，BP是error Back Propagation的意思，誤差逆傳播。BP網路通常是指用BP演算法訓練的多層前饋神經網路。程式碼是照著書本公式自己寫的，沒有參考網上的其他版本。 資料和程式碼地址：https:/

BP神經網路計算過程詳解，用筆手算一遍弄懂反向傳播

手算BP神經網路 現在很多人都說，做it門檻很低，腦子靈活點，願意去熬的，培訓個幾個月就可以，無非是調調函式而已。 確實，現在一些程式設計師的工作，調調函式掌握得好的話，也是能夠勝任的。但是，想要更進一步，還得不斷提升自己，努力理解各種演算法結構。 (類)

BP神經網路，誤差反向傳播

皮一下 “我是誰，我在哪，我要去那？”，自我嗶嗶下，專案已經開始大半年了，上級一味追求效果，怎麼辦呢，涼拌吧。雖然用過caffe，用過tensorflow，用過mtcnn、knn、dnn、svm、yolo、ssd、s3fd、faceboxes，但還是個AI小白

matlab利用訓練好的BP神經網路來預測新資料（先儲存網路，再使用網路）

1，儲存網路。 　　save ('net') % net為已訓練好的網路，這裡把他從workspace儲存到工作目錄，顯示為net.mat文件。 2，使用網路。 　　load ('net')

Java實現BP神經網路，實現對空氣質量的分析和評級

使用java實現BP神經網路進行迴歸分析，並利用訓練好的神經網路實現空氣質量的評級。 本實驗的工程專案和訓練資料集可訪問以下網址下載： 實驗描述: 對指定資料集進行迴歸分析，選擇適當的迴歸演算法，編寫程式實現，提交程式和結果報告。 資料集： AirQualityU

機器學習BP神經網路，任意拓撲結構 （C++）

這次的版本更優秀了的樣子！ 按照老闆說的，每個節點是單獨的匯出節點（會導致sigmod訓練變慢，原因sigmod層數多了，梯度會下降很快導致爆炸。） 換個啟用函式就行了。 net<10>表示網咯有10個節點 然後input.txt裡的檔案格式大概是 n 0 1

BP神經網路java實現，按照演算法步驟也參考網上相關資源寫的，若君有高見，非常歡迎指教

for(int i=0;i<hidN;i++){for(int j=0;j<=inN;j++){wyh[i][j]=Math.random()-0.5;//初始化權值和閾值//System.out.println(wyh[i][j]);}}//System.out.println();wyo=ne

【轉】脈絡清晰的BP神經網路講解，贊

學習是神經網路一種最重要也最令人注目的特點。在神經網路的發展程序中，學習演算法的研究有著十分重要的地位。目前，人們所提出的神經網路模型都是和學習算 法相應的。所以，有時人們並不去祈求對模型和演算法進行嚴格的定義或區分。有的模型可以有多種演算法．而有的演算法可能可用於多種模型。不過，有時人們也稱演算法 為模型。

完美的解釋了BP神經網路，自己要通過演算法計算一下

作者：憶臻 連結：https://zhuanlan.zhihu.com/p/24801814 來源：知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。在學習深度學習相關知識，無疑都是從神經網路開始入手，在神經網路對引數的學習演算法bp演算法，接觸了很多次，每一次查詢資料學習，都有著似懂

BP神經網路的隱含層，輸入層，輸出層的節點數確定

1.輸入向量維數=輸入層節點數 2.隱含層節點數計算 一般情況下隱含層轉移函式用logsig或tansig 確定隱含層節點數應該滿足以下條件:  隱含層節點數必須小於N-1(N是訓練樣本數),否則網路模型的系統誤差與訓練樣本的特性無關而趨於0,即建立的網路模型沒有泛

matlab實現簡單BP神經網路（不使用工具箱），兩種求誤差方式

BP網路實現y=1+x+x*x函式模擬，輸入層一個節點，隱含層8個節點，輸出層1個節點 將資料分為測試集合和訓練集合兩部分 %% BP演算法模擬 y = 1 + x + x*x %作者：msl 時間：2017-10-07 clc; clear; %% step0:定義 Tr

神經網路和BP演算法推導

我的原文：www.hijerry.cn/p/53364.htm… 感知機 感知機（perceptron）於1957年由Rosenblatt提出，是一種二分類線性模型。感知機以樣本特徵向量作為輸入，輸出為預測類別，取正、負兩類。感知機最終學習到的是將輸入空間（特徵空間）劃分為正、負兩類的分離超平面，屬於判別

BP神經網路說明及推導

    學習神經網路，很多基礎知識不用就會忘了，這段時間重新進行一下整理和總結。在此留做記錄。首先從最基礎的BP神經網路開始。並進行相關演算法的推導。     人工神經網路是仿照人大腦的功能而用數學公式搭建的一種結構。現在藉助計算機語言在高效能的計算機上得

BP神經網路反向傳播演算法一步一步例項推導（Backpropagation Example）

1. loss 函式的優化 籠統來講： 設計loss函式是為了衡量網路輸出值和理想值之間的差距，儘管網路的直接輸出並不顯式的包含權重因子，但是輸出是同權重因子直接相關的，因此仍然可以將loss函式視作在權重因子空間中的一個函式。 可以將loss 記為E(w)，這裡為

深入淺出|深度學習演算法之BP神經網路 詳細公式推導

所謂神經網路，目前用得最廣泛的一個定義是“的神經網路是由具有適應性簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的互動反應”。 BP(back propagation)神經網絡一種按照誤差逆向傳播演算法訓練的多層前饋神經網路，是目前應用

【機器學習演算法推導】BP神經網路

非線性問題 對於一張汽車圖片，如何將其識別為汽車呢？我們人可能看一眼就能識別出來，但是如何讓計算機也擁有同樣的技能呢？我們知道，一張圖片在計算機中都是以畫素矩陣的形式儲存的，無論是一輛汽車，還是一輛飛機，在計算機中都是一個個矩陣，並無法直觀地感受到這個矩陣代表是汽車還是飛機。用邏輯迴

BP神經網路演算法原理推導（數學建模進階演算法/機器學習）

       BP神經網路（Back-Propagation Network）演算法原理推導 簡介        反向傳播網路（Back-Propagation Network）簡稱BP網路,基於誤差反向傳播演算法（BP演算法）的一種多層網路。      

【機器學習】神經網路及BP推導

1 前向傳播 這裡的推導都用矩陣和向量的形式，計算單個變數寫起來太麻煩。矩陣、向量求導可參見上面參考的部落格，個人覺得解釋得很直接很好。 前向傳播每一層的計算如下： z(l+1)=W(l,l+1)a(l)+b(l,l+1)(1.1) a(l+

BP神經網路原理推導

本文會完成BP神經網路的推導過程，先介紹BP神經網路的歷史，然後介紹BP神經網路的結構，然後再開始推導，最後介紹BP神經網路的優缺點以及幾個優化的方法。 目錄 1 BP神經網路的歷史 2 BP神經網路的結構 2.1 神經元 2.2 輸入層 2.3 隱含層 2.4 輸出層