完整程式碼：>>點我 歡迎star,fork,一起學習

網路用途

或者說應用場景：使用單層神經網路來識別一張圖片是否是貓咪的圖片。

數學表示

給定一張圖片X$X$ 送到網路中，判斷這張圖片是否是貓咪的照片？

網路架構

多層神經網路處理過程：

• X –> [linear+relu](L−1)$[linear+relu{]}^{(L-1)}$ —>[linear + sigmoid] —> y^$\hat{y}$

數學表示

訓練集: X=[x(1),x(2),...,x(i),....,x(m)]$X=[x^{(1)},x^{(2)},...,x^{(i)},....,x^{(m}$

)] ;對應標籤:Y=[y(1),y(2),...,y(i),...,y(m)]$Y=[y^{(1)},y^{(2)},...,y^{(i)},...,y^{(m)}]$ ;

對於訓練集中的每張照片x(i)$x^{(i)}$ 的處理過程：

repeat:

​ z(i)=wTx(i)+b$z^{(i)}=w^T{x}^{(i)}+b$

​ y^(i)=a(i)=g(z(i))${\hat{y}}^{(i)}=a^{(i)}=g(z^{(i)})$

L(a(i),y(i))=−y(i)log(a(i))−(1−y(i))log(1−a(i))$L(a^{(i)},y^{(i)})=-y^{(i)}log(a^{(i)})-(1-y^{(i)})log(1-a^{(i)})$

成本函式：

J=1m∑mi=

1L(a(i),y(i))$J=\frac{1}{m}\sum _{i=1}^{m}L(a^{(i)},y^{(i)})$

最後通過反向傳播演算法，計算引數W$W$ 和 b$b$ 。

模型定義

模型定義步驟

1. 定義模型結構（如輸入向量的特徵數目）
2. 初始化模型引數；
3. 迴圈：
   
   • 前向傳播，計算loss；
   • 反向傳播，計算梯度；
   • 梯度下降，更新引數；

程式碼實現

啟用函式

1. sigmoid 啟用函式及其反向傳播過程

def sigmoid(Z):
    """
    sigmoid啟用函式;
    :param Z:
    :return:
    - A: 啟用函式值sigmoid(z),
    - cache: (儲存Z值，方便反向傳播時直接使用)
    """
 

    A = 1.0/(1+np.exp(-Z))
    cache = Z
    return A, cache

def sigmoid_backward(dA,cache):
    """
    啟用函式的反向傳播
    :param dA: loss對A的導數
    :param cache:前向傳播中快取的sigmoid輸入Z；
    :return:dZ
    """
    Z = cache
    s = 1.0/(1 + np.exp(-Z))
    dZ = dA * s * (1-s)
    return dZ

1. relu啟用函式及其反向傳播過程

def relu(Z):
    """
    relu啟用函式；
    :param Z:
    :return:
    - A:
    - cache:
    """
    A = np.maximum(0,Z)# max適合單個數值間的比較
    cache = Z
    return A, cache

def relu_backward(dA,cache):
    """
    relu 反向傳播計算方法；relu = np.maximum(0,A)；導數值：1 or 0.----> dZ= dA or 0
    :param dA:
    :param cache:
    :return: dZ
    """
    Z = cache
    dZ = np.array(dA, copy=True)

    #當Z<=0時，dZ=0
    dZ[Z <= 0] = 0
    assert(dZ.shape == Z.shape) #確保維度相同
    return dZ

引數初始化

權重係數W$W$和b$b$ 全都初始化為0.

def initialize_parameters_deep(layer_dims,type='he'):
    """
    深度神經網路係數初始化函式
    :param layer_dims: 神經網路各層神經元列表, eg:[12288,100,10,1]
    :param type: 係數初始化方法：zeros,random,he;
    :return: parameters:係數字典
    """
    np.random.seed(10)

    parameters = {}
    L = len(layer_dims)

    if type == "zeros":
        for i in range(1, L):
            parameters['W'+str(i)] = np.zeros((layer_dims[i], layer_dims[i-1]))
            parameters['b'+str(i)] = np.zeros((layer_dims[i], 1))

            assert (parameters['W' + str(i)].shape == (layer_dims[i], layer_dims[i - 1]))
            assert (parameters['b' + str(i)].shape == (layer_dims[i], 1))
    elif type == "random":
        for i in range(1, L):
            parameters['W'+str(i)] = np.random.randn(layer_dims[i],layer_dims[i-1]) * 0.01
            parameters['b'+str(i)] = np.zeros((layer_dims[i], 1))

            assert (parameters['W' + str(i)].shape == (layer_dims[i], layer_dims[i - 1]))
            assert (parameters['b' + str(i)].shape == (layer_dims[i], 1))
    elif type == "he":
        for i in range(1, L):
            parameters['W'+str(i)] = np.random.randn(layer_dims[i], layer_dims[i-1]) / np.sqrt(layer_dims[i-1])
            parameters['b'+str(i)] = np.zeros((layer_dims[i], 1))

            assert (parameters['W' + str(i)].shape == (layer_dims[i], layer_dims[i - 1]))
            assert (parameters['b' + str(i)].shape == (layer_dims[i], 1))

    return parameters

前向傳播

前向傳播過程

訓練集:

X=[x(1),x(2),...,

相關推薦

[手把手系列之二]實現多層神經網路

完整程式碼：>>點我 歡迎star,fork,一起學習 網路用途 或者說應用場景：使用單層神經網路來識別一張圖片是否是貓咪的圖片。 數學表示 給定一張圖片XX 送到網路中，判斷這張圖片是否是貓咪的照片？ 網路架構 多層

人工智慧（4）- 實現多層神經網路

1.單層神經網路 2.多層神經網路 3.MLP的3個步驟 MLP learning procedure in three simple steps: Starting at the input layer, we forward propagate the patt

六天搞懂“深度學習”之三：多層神經網路

為了克服單層神經網路只能解決線性可分問題的侷限性，神經網路進化為多層結構。然而，花費了將近30年的時間，才將隱藏層新增到單層神經網路中。很難理解為什麼花費了這麼長時間，其中的主要問題是學習規則。 單層神經網路中的增量規則對於多層神經網路的訓練是無效的，這是因為訓練中在隱藏層產生的誤差並沒

深度學習實踐（二）——多層神經網路

#一、準備 為了更深入的理解神經網路，筆者基本採用純C++的手寫方式實現，其中矩陣方面的運算則呼叫opencv，資料集則來自公開資料集a1a。 實驗環境： Visual studio 2017 opencv3.2.0 a1a資料集 本文緊跟上篇文章深度

跟著吳恩達學深度學習：用Scala實現神經網路-第二課：用Scala實現多層神經網路

上一章我們講了如何使用Scala實現LogisticRegression，這一張跟隨著吳恩達的腳步我們用Scala實現基礎的深度神經網路。順便再提一下，吳恩達對於深度神經網路的解釋是我如今聽過的最清楚的課，感嘆一句果然越是大牛知識解釋得越清晰明瞭。 本文分為以下四個部分。

Halcon實戰之基於MLP多層神經網路的訓練學習

MLP多層感知器其實是一種人工神經網路結構，屬於非引數估計，可以用於解決分類和迴歸問題。如果使用“BP演算法”也稱為BP神經網路，是一種前向結構的人工神經網路，對映一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個的節點層所組成，每一層都全連線到下一層。除了輸入

Python20行程式碼實現多層神經網路的學習

轉載自：python小練習（062）：python20行程式碼實現多層神經網路的機器學習（一）http://bbs.fishc.com/thread-81849-1-1.html(出處: 魚C論壇)今天在魚C論壇看到一個很好的入門機器學習的小例子，分享給大家。現在神經網路、

TensorFlow實戰4：實現簡單的多層神經網路案例

這篇文章記錄一下使用TensorFlow實現卷積神經網路的過程，資料集採用的還是MNIST資料集，使用了兩層的卷積來進行計算，整個過程在jupyter notebook中完成，具體步驟和程式碼展示如下： 1.環境設定 import numpy as np

深度學習DeepLearning.ai系列課程學習總結：8. 多層神經網路程式碼實戰

轉載過程中，圖片丟失，程式碼顯示錯亂。 為了更好的學習內容，請訪問原創版本： http://www.missshi.cn/api/view/blog/59ac0136e519f50d040001a7 Ps：初次訪問由於js檔案較大，請耐心等候（8s左

【深度學習】Python實現2層神經網路的誤差反向傳播法學習

前言 基於計算圖的反向傳播詳解一篇中，我們通過計算圖的形式詳細介紹了構建神經網路需要的層，我們可以將其視為元件，接下來我們只需要將這些元件組合起來就可以實現誤差反向傳播法。 首先我們回顧下神經網路的學習步驟如下： 從訓練資料中隨機選擇一部分資料（mini-batch）

TensorFlow 高階之二 （卷積神經網路手寫字型識別）

一、資料集獲取 前言 在梯度下降和最優化部分用傳統的神經網路在MNIST資料集上得到了90%左右的準確率。結果其實並不太理想。 接下來，我們將使用卷積神經網路來得到一個準確率更高的模型，接近99%。卷積神經網路使用共享的卷積核對影象進行卷積操作，以提取影象深

TensorFlow 訓練 MNIST （2）—— 多層神經網路

　　在我的上一篇隨筆中，採用了單層神經網路來對MNIST進行訓練，在測試集中只有約90%的正確率。這次換一種神經網路（多層神經網路）來進行訓練和測試。 1、獲取MNIST資料 　　MNIST資料集只要一行程式碼就可以獲取的到，非常方便。關於MNIST的基本資訊可以參考我的上一篇隨筆。 mnist = i

深度學習-基於spark的多層神經網路

最後我們再寫3篇基於spark的深度學習，這篇是手寫識別的，用的是spark的local模式，如果想用叢集模式在submit的時候設定-useSparkLocal false，或者在程式中設定useSparkLocal=false，程式碼如下 public class M

python實現淺層神經網路預測貓狗

吳恩達深度學習第三週程式設計題匯入模組# Package imports import numpy as np import matplotlib.pyplot as plt from testCases_v2 import * import sklearn import s

tensorflow例項(7)--建立多層神經網路

本文將建立多層神經網路的函式，這個函式是一個簡單的通用函式，通過最後的測試，可以建立一些多次方程的模型，並通過matplotlib.pyplot演示模型建立過程中的資料變化情況以下三張圖片是生成的效果，每張圖的藍點都表示為樣本值，紅點表示最終預測效果，本例帶有點動畫效果，可以

Tensorlayer學習筆記——多層神經網路

一、簡單粗暴，先看程式碼 import tensorflow as tf import tensorlayer as tl sess = tf.InteractiveSession() # 匯入資料 X_train, y_train, X_val, y_val, X_t

tensorflow實現兩層神經網路 (附程式碼)

不得不說，本人真是屬於比較懶的那種，特別是在寫文章這塊，好多次想寫，但是。。一想到要寫一堆字就滿心鬱悶。 下面是正題，這篇文章將會貼出兩份用tensorflow實現兩層神經網路的程式碼，一份純手寫，一份是從騰訊雲裡提供的程式碼，複製下來，然後改動了一下而成的。貼出程式碼有兩

理解神經網路，從簡單的例子開始（2）使用python建立多層神經網路

這篇文章將講解如何使用python建立多層神經網路。在閱讀這篇文章之前，建議先閱讀上一篇文章:理解神經網路，從簡單的例子開始。講解的是單層的神經網路。如果你已經閱讀了上一篇文章，你會發現這篇文章的程式碼和上一篇基本相同，理解起來也相對容易。 上一篇文章使用了9

一個簡單的matlab專案實現三層神經網路的簡單應用

一、設計目的：進行1-100以內的質數分類 二、設計思路： 1、生成1-100以內的數和對應二進位制 2、對質數部分進行label為1，其餘為0 3、選擇前60組作為training資料，後40組testing 4、選擇三層神經網路，其中hidden和output部分使用

deeplearning系列（二）自編碼神經網路

1. Pre_training 神經網路演算法通過反向傳播（back propogation）求得目標函式關於引數的偏導數（或者稱梯度值），然後使用梯度下降法（例如SGD）或者擬牛頓法（例如L-BFGS）等優化演算法求得使目標函式最小化時的引數取值。 由於目