RBF神經網路的一些個人理解
阿新 • • 發佈：2018-11-02
RBF徑向基函式，取值僅依賴於離原點距離的實值函式，任何滿足這種特性的函式就叫徑向基函式。一般採用歐氏距離，也可以用其他距離。
簡介：
是單隱層的前饋神經網路，使用徑向基函式作為隱層神經元的啟用函式，輸出層則是對隱層神經元輸出的線性組合（理論上可以設定多個隱層，但一般只設計一個隱層）。所以從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。
根據Cover定理，低維空間不可分的資料到了高維空間會更有可能變得可分。換句話來說，RBF網路的隱層的功能就是將低維空間的輸入通過非線性函式對映到一個高維空間，然後再在這個高維空間進行曲線的擬合，它等價於在一個隱含的高維空間尋找一個能最佳擬合訓練資料的表面。
當RBF的中心點確定以後，這種對映關係也就確定了。而隱含層空間到輸出空間的對映是線性的，即網路的輸出是隱單元輸出的線性加權和，此處的權即為網路可調引數。由此可見，從總體上看，網路由輸入到輸出的對映是非線性的，而網路輸出對可調引數而言卻又是線性的。這樣網路的權就可由線性方程組直接解出，從而大大加快學習速度並避免區域性極小問題。
從另一個方面也可以這樣理解，多層感知器（包括BP神經網路）的隱節點基函式採用線性函式，通過啟用函式來增加非線性因素；而RBF網路的隱節點的基函式採用距離函式（如歐氏距離），並使用徑向基函式（如Gaussian函式）作為啟用函式（bp網路中輸入到隱層，隱層到輸出都是非線性的，因為都有啟用函式）。徑向基函式關於n維空間的一箇中心點具有徑向對稱性，而且神經元的輸入離該中心點越遠，神經元的啟用程度就越低（值越小）。
訓練：
- 確定神經元的中心，常用有隨機取樣，聚類（聚類中心當成徑向基函式的h箇中心）
- 確定引數和閾值，最小均方誤差LMS直接計算得到，或者通過梯度下降來對網路中的引數都進行監督訓練優化，代價函式是網路輸出和期望輸出的均方誤差
只要有足夠多的隱層單元，RBF能以任意精度逼近任意連續函式線性的非線性函式。