一、神經網路

1、神經元概述

神經網路是由一個個的被稱為“神經元”的基本單元構成，單個神經元的結構如下圖所示：

對於上述的神經元，其輸入為x1$x_1$，x2$x_2$，x3$x_3$以及截距+1$+1$，其輸出為：

hW,b(x)=f(WTx)=f(∑i=13Wixi+b)$$h_{\mathbf{W},b}\left(\mathbf{x}\right)=f\left({\mathbf{W}}^T\mathbf{x}\right)=f\left(\sum _{i=1}^3{W}_i{x}_i+b\right)$$

其中，W$\mathbf{W}$表示的是向量，代表的是權重，函式f$f$稱為啟用函式，通常啟用函式可以選擇為Sigmoid函式，或者tanh雙曲正切函式，其中，Sigmoid函式的形式為：

f(z)=11+e−z$$f\left(z\right)=\frac{1}{1+e^{-z}}$$

雙曲正切函式的形式為：

f(z)

=tanh(z)=ez−e−zez+e−z$$f\left(z\right)=tanh\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

以下分別是Sigmoid函式和tanh函式的影象，左邊為Sigmoid函式的影象，右邊為tanh函式的影象：

Sigmoid函式的區間為[0,1]$\left[0,1\right]$，而tanh函式的區間為[−1,1]$\left[-1,1\right]$。

若是使用sigmoid作為神經元的啟用函式，則當神經元的輸出為1$1$時表示該神經元被啟用，否則稱為未被啟用。同樣，對於啟用函式是tanh時，神經元的輸出為1$1$時表示該神經元被啟用，否則稱為未被啟用。

2、神經網路

2.1、神經網路的結構

神經網路是由很多的神經元聯結而成的，一個簡單的神經網路的結構如下圖所示：

其中一個神經元的輸出是另一個神經元的輸入，+1$+1$項表示的是偏置項。上圖是含有一個隱含層的神經網路模型，L1$L_1$層稱為輸入層，L2$L_2$層稱為隱含層，L3$L_3$層稱為輸出層。

2.2、神經網路中的引數說明

在神經網路中，主要有如下的一些引數標識：

• 網路的層數n1$n_1$。在上述的神經網路中nl=3$n_l=3$，將第l$l$層記為Ll$L_l$，則上述的神經網路，輸入層為L1$L_1$，輸出層為L3$L_3$。
• 網路權重和偏置(W,b)=(W(1),b(1),W(2),b(2))$\left(\mathbf{W},\mathbf{b}\right)=\left({\mathbf{W}}^{(1)},{\mathbf{b}}^{(1)},{\mathbf{W}}^{(2)},{\mathbf{b}}^{(2)}\right)$，其中W(l)ij$W_{ij}^{(l)}$表示的是第l$l$層的第j$j$個神經元和第l+1$l+1$
  層的第i$i$個神經元之間的連線引數，b(l)i$b_i^{(l)}$標識的是第l

  相關推薦

  人工智慧中卷積神經網路基本原理綜述

  人工智慧Artificial Intelligence中卷積神經網路Convolutional Neural Network基本原理綜述人工智慧（Artificial Intelligence，簡稱AI）的Deep Learning（深度學習）通過機器學習，把某一層的輸出ou

  人工神經網路基本原理

  轉載請註明出處：http://blog.csdn.net/tyhj_sf/article/details/54134210 宣告： （1）該博文為個人學習總結，部分內容（包括數學公式）是來自書籍及網上的資料。具體引用的資料請看參考文獻。具體的版本宣告也參考原

  深度學習：反向傳播與基本原理

  我們要證明得是這四個公式 有了這個四個公式，我們得反響傳播就可以遞推得到。 BP1公式： 這個是輸出層誤差方程，這個方程好像沒啥好說的 BP2公式 從這個公式我們可以通過高階層的誤差，

  [ch01-03]神經網路基本原理

  系列部落格，原文在筆者所維護的github上：https://aka.ms/beginnerAI， 點選star加星不要吝嗇，星越多筆者越努力。 前言 For things I don't know how to build, I don't understand. 如果我不能親手搭建起來一個東西，那麼我就不

  深度學習演算法原理——神經網路的基本原理

  一、神經網路 1、神經元概述 神經網路是由一個個的被稱為“神經元”的基本單元構成，單個神經元的結構如下圖所示： 對於上述的神經元，其輸入為x1x1，x2x2，x3x3以及截距+1+1，其輸出為： hW,b(x)=f(WTx)=f(∑i

  佛爺芸: 深度學習演算法原理與應用系列---深度學習介紹

  機器學習演算法已經基本學習完了，在這一系列，佛爺將開始著手學習深度學習的各種演算法和應用，由於本身難度偏大，我會不定期的更新，基本清楚和更加深入的研究深度學習。程式碼方面我基本會使用Tensorf

  深度學習演算法原理——Softmax Regression

  一、Logistic迴歸簡介 Logistic迴歸是解決二分類問題的分類演算法。假設有mm個訓練樣本{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，對

  軟件工程學習筆記——軟件工程基本原理

  基本 建議 軟件質量 數據 工具 進度 劃分 控制 項目 美國著名的軟件工程專家B.W.Boehm於1983年提出了軟件工程的7條基本原理： 用分階段的生命周期計劃嚴格管理 這條基本原理意味著：應該把軟件生命周期劃分成若幹個階段，並相應地制定出切實可行的計劃，然後嚴格按

  分享《深度學習之TensorFlow：入門、原理與進階實戰》PDF+源代碼

  image pro 源代碼 代碼 復制 進階 com nag 分享圖片 下載：https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ 更多資料：http://blog.51cto.com/3215120 《深度學習之TensorFlo

  分享《深度學習與計算機視覺算法原理框架應用》《大數據架構詳解從數據獲取到深度學習》PDF數據集

  書簽 部分 https log pdf 深入 -s 更多 實用 下載：https://pan.baidu.com/s/12-s95JrHek82tLRk3UQO_w 更多資料分享：http://blog.51cto.com/3215120 《深度學習與計算機視覺 算法原理

  【深度學習】GAN生成對抗網路原理詳解（1）

  一個 GAN 框架，最少（但不限於）擁有兩個組成部分，一個是生成模型 G，一個是判別模型 D。在訓練過程中，會把生成模型生成的樣本和真實樣本隨機地傳送一張（或者一個 batch）給判別模型 D。判別模型 D 的目標是儘可能正確地識別出真實樣本（輸出為“真”，或者1），和儘可能

  深度學習（七）U-Net原理以及keras程式碼實現醫學影象眼球血管分割

  原文作者：aircraft 原文連結：https://www.cnblogs.com/DOMLX/p/9780786.html 全卷積神經網路 醫學影象分割框架 醫學影象分割主要有兩種框架，一個是基於CNN的，另一個就是基於FCN的。這裡都是通過網路來進行語義分割。 那麼什麼是語義分割？可

  機器學習演算法-K最近鄰從原理到實現（Python）

  本來這篇文章是5月份寫的，今天修改了一下內容，就成今天發表的了，CSDN這是出BUG了還是什麼改規則了。。。 引文：決策樹和基於規則的分類器都是積極學習方法（eager learner）的例子，因為一旦訓練資料可用，他們就開始學習從輸入屬性到類標號的對映模型。

  深度學習--卷積神經網路工作原理

  萬能的知乎 從知乎上看一篇文章，問題是卷積神經網路工作原理直觀的解釋，知乎大神用各種動圖對卷積神經網路的訓練做了介紹。YJango的回答最為精彩。奉上鍊接，希望你也能從這個回答中對卷積神經網路有更為確切的認識。https://www.zhihu.com/question/

  深度學習之卷積神經網路原理詳解（一）

  初探CNN卷積神經網路 1、概述 典型的深度學習模型就是很深層的神經網路，包含多個隱含層，多隱層的神經網路很難直接使用BP演算法進行直接訓練，因為反向傳播誤差時往往會發散，很難收斂 CNN節省訓練開銷的方式是權共享weight sharing，讓一組神經元

  機器學習筆記：Fisher Vector基本原理與用法

  近期在看的動作識別相關的工作中fisher vector及其改進版本被廣泛的應用，因此打算從Fisher Vector開始入手整理相關知識。 參考的部落格內容： 完整介紹Fisher Ve

  《深度學習入門基於Python的理論與實現》PDF及代碼+《21個項目玩轉深度學習》PDF及代碼+原理到實踐總結

  python編程 douban 自動 分享 什麽 itl 神經網絡 人臉識別 info 我認為有了python編程基礎和神經網絡的基礎，應該把齋藤康毅 所講的《深度學習入門python的理論與實現》作為理論基礎入門，然後把何之源所寫的《21個項目玩轉深度學習基於Tensor

  神經網絡基本原理簡明教程-0-Python-Numpy庫的點滴

  nump master all 廣播 per .sh 繪圖 解惑 資源 Python中的Numpy的基本知識 Copyright ? Microsoft Corporation. All rights reserved. 適用於License版權許可 更多微軟人工智能學習資

  深度學習——卷積神經網絡 的經典網絡（LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet）

  足夠 論文 ogl 相關性 spa 原因 線性 pad fan 一、CNN卷積神經網絡的經典網絡綜述 下面圖片參照博客：http://blog.csdn.net/cyh_24/article/details/51440344 二、LeNet-5網絡

  【深度學習篇】--神經網絡中的調優

  flow 初始 clas 根據 叠代 pan 容易 組合 語音 一、前述 調優對於模型訓練速度，準確率方面至關重要，所以本文對神經網絡中的調優做一個總結。 二、神經網絡超參數調優 1、適當調整隱藏層數對於許多問題，你可以開始只用一個隱藏層，就可以獲得不錯的結果，比如對於復雜