深度學習 --- Hopfield神經網路詳解

阿新 • • 發佈：2018-11-17

前面幾節我們詳細探討了BP神經網路，基本上很全面深入的探討了BP，BP屬於前饋式型別，但是和BP同一時期的另外一個神經網路也很重要，那就是Hopfield神經網路，他是反饋式型別。這個網路比BP出現的還早一點，他的學習規則是基於灌輸式學習，即網路的權值不是通過訓練出來的，而是按照一定規則計算出來的， Hopfield神經網路就是採用了這種學習方式，其權值一旦確定就不在改變，而網路中各神經元的狀態在執行過程中不斷更新，網路演變到穩定時各神經元的狀態便是問題之解。在這裡簡要解釋一下為什麼要學習這個神將網路，因為深度學習演算法起源來源於這裡還有BP，從這裡開始後面會引入玻爾茲曼機、受限玻爾茲曼機、深度置信網路，徑向基逼向器、卷積神經網路、遞迴神經網路。因此從這裡一步步的深入進去是很好的開始，等到卷積你會有總體感，不會覺得太突兀。

Hopfield神經網路分為離散型和連續型兩種網路模型，分別記為DHNN（Discrete Hopfield Neural Network）和CHNN（Continues Hopfield Neural Network）,這裡主要討論離散型網路模型，下面預設都是離散型的。

1.CHNN工作原理:

如上圖是離散型網路的拓撲結構圖，這是單層全反饋網路，共有n個神經元。任一神經元的輸出 $x_i$ 均通過連線權接收所有神經元輸出的反饋回來的資訊，其目的就在於任何一個神經元都受到所有神經元輸出的控制，從而使各神經元的輸出相互制約，每個神經元均設有一個閾值 $T_j$

,目的是反映對輸入的噪聲的控制。DHNN網路可簡記為 $N = (W,T)$ .,他們是全連線的，上圖看不清楚，看下圖：

(1)網路的狀態

DHNN網路中的每個神經元都有相同的功能，其輸出稱為狀態，用 $x_j$ 表示，所有神經元狀態構成的反饋網路的狀態 $X = [x_1,x_2,....,x_n]^T$ ,反饋網路的初始狀態為輸入表示為 $X(0) = [x_1(0),x_2(0),...,x_n(0)]^T$ ,一旦初始值給定後，網路就開始進行動態演變，網路中的每個神經元的狀態在不斷的變化，變化規律如下：

$x_j = f(net_j)$

$j = 1,2,3,...,n$

式中， $f(\cdot )$ 為啟用函式（轉移函式），通常為符號函式：

$x_j = sgn(net_j) = \left\{\begin{matrix} 1, net_j\geq 0 & \\ & j = 1,2,3,..,n\\ & \\ -1,net_j< 0& \end{matrix}\right.$ $(1)$

輸入 $net_j$ 為;

$net_j = \sum_{i=1}^{n}(w_{ij}x_i - T_j)$ $j=1,2,3,...,n$

對於DHNN網路，一般有 $w_{ii}=0,w_{ij}=w_{ji}$ .

當網路的每個神經元的狀態都不在改變時，此時的轉態就是網路的輸出轉態，表示為：

$\lim_{t\rightarrow \infty }x(t)$

(2) 網路的非同步工作方式

所謂非同步是針對權值更新來說的，網路執行時每次只有一個神經元的i按照(1)式進行轉態的更新，其他神經元的狀態權值不變，即：

$x_j(t+1) = \left\{\begin{matrix} sgn[net_j(t)], j=i & \\ & \\ & \\ x_j(t), j\neq i& \end{matrix}\right.$

神經元狀態的調整可以按照預先設定順序進行調整，也可以隨機選定。

（3）網路額同步工作方式

和非同步相對應，網路的同步工作方式是一種並行方式，所有神經元同時調整狀態，即：

$x_j(t+1) = sgn[net_j(t))]$ $j = 1,2,3,,,,,n$

2、Hopfield神經網路的穩定性分析

Hopfield神經網路按神經動力學的方式進行執行，工作過程為狀態的演化過程，對於給定的初始狀態，按照能力減小的方式演化，最終達到穩定的狀態。神經動力學分為確定性神經動力學和統計性的神將動力學，前者將神經網路作為確定性行為，用非線性微分方程來描述，方程的解以概率的方式給出。

網路從初態 $x(0)$ 開始，若能經過有限次遞迴後，其狀態不在發生變化即 $x(t+1) = x(t)$ ,則稱為網路是穩定的，如果網路是穩定的，他可以從任意初態收斂到穩態，反之如果網路不穩定，但是因為每個神經元只有兩個狀態即0,1，因此在整體也不會呈現發散的狀態，可能出現限幅的自持振盪，這種網路成為有限環網路，如果網路轉態即不重複也不停止。轉態變化無情多個，則為混沌現象。如下圖所示：