1. 程式人生 > >改進的張神經網路有限時間收斂時變線性方程組求解總結

改進的張神經網路有限時間收斂時變線性方程組求解總結

本文根據《Improved Zhang neural network with finite-time convergence for time-varying linear system of equations solving 》做的總結。

該論文提出了一個改進的張神經網路(IZNN)有限時間收斂時變線性方程組求解,這種神經網路由一系列連續符號雙功率(SBP)函式啟用。

基於梯度神經網路(GNN)可以實時解決常數(靜態、時不變)線性方程組問題。GNN是為求解靜態(時不變)問題而設計的,一般不能用於求解時變問題。無限時間收斂;

原始張神經網路(OZNN)可以解決時變和時不變的矩陣問題,包括線性方程組問題。OZNN及其變體被視為第一個關於時變問題求解的系統研究。無限時間收斂;

新型別的張神經網路(NTZNN)採用一個signum啟用函式陣列,有限時間收斂;但由於signum函式是不連續函式,所以NTZNN合成的解可能在平衡點附近震盪一定程度。與之不同的是,我們提出IZNN產生的解能夠很好的收斂到理論解,不震盪。

時變線性方程組問題公式:

OZNN(無限時間收斂)

  1. 構造一個向量值誤差函式:

  2. 使e(t)向0接近:

k>0表示收斂引數,φ(·)表示啟用函式,以下是OZNN的兩種啟用函式:

  ε≥2, p≥ 3

  1. 將(2)式求導代入

對於使用上述兩個啟用函式的OZNN模型,給出以下結果以保證其收斂性.

命題1.給定時變和可逆矩陣A(t),通過採用線性啟用函式,無論初始條件x(0)∈Rn是什麼,OZNN模型的神經狀態x(t)∈Rn, 將指數(無限時間)收斂(收斂率為κ)到線性方程組(1)的理論解x *(t)= A-1(t)b(t)。 此外,如果採用power-Sigmoid啟用功能,與線性情況相比可以實現優越的收斂效能。

 

NTZNN(有限時間收斂)

SGN(·):Rn→Rn是向量值啟用函式陣列

命題2.給定時變和可逆矩陣A(t),無論初始條件x(0)∈Rn是什麼,NTZNN模型(4)的神經狀態x(t)∈Rn將收斂於理論解 x *(t)=在有限時間內的線性方程組(1)的A-1(t)b(t)。

IZNN

SBP代表向量形式的非線性啟用函式

引數q ∈ (0, 1)

 

定理1.給定時變和可逆矩陣A(t),無論初始條件x(0)∈Rn是什麼,IZNN(6)的神經狀態x(t)∈Rn將收斂到理論解x * (t)=有限時間內的線性方程組(1)的A-1(t)b(t)

其中e +(0)和e-(0)分別表示初始誤差向量e(0)= A(0)x(0) - b(0)

的最大和最小項。

證明:鑑於e(t)= A(t)x(t)-b(t),我們有e˙(t)=A˙(t)x(t)+ A(t)x˙(t) - b˙(t)。 將e(t)和e˙(t)代入(6):

這說明e(t)在時間段之後收斂為0,

e-(t) 等於0,e-(t) 等於0

 e+(t)等於0, e+(t)等於0。

t+ f 、t- f 表示e+(t)、e−(t)的收斂時間

結論:

NTZNN(4)可以寫成在不失一般性的情況下,假設ei(t)的初始值ei(0)大於零,即,ei(0) > 0.因此,上面的等式減少到:

這意味著ei(t)將以絕對速度κ向零值移動。因此,在某個時刻tc1,ei(tc1)= 0.根據sgn函式(5)的定義,ei(t)的速度(即˙ei(t))在瞬間TC1應為零。然而,考慮到˙ei(tc1 - 0)= - κ和ei(t)的慣性,這在模擬和實踐中不會立即發生,這意味著ei(t)通過零值並繼續沿著原始方向(即下降方向)持續一段時間,然後向後移回零值(鑑於此時間段內的ei(t)<0和˙ei(t)=κ> 0)。在另一時刻tc2,ei(tc2)= 0。出於同樣的原因,ei(t)通過零值並繼續移動(沿著增加的方向)。這種情況可能會持續數次,這表明NTZNN(4)產生的解決方案將在平衡點附近振盪一定程度。而對於IZNN(6),採用的sbp函式是連續的,因此不會發生上述振盪現象。