數據挖掘 第二章 神經網絡基礎

　　§2.1 生物神經元模型

　　§2.2 人工神經元模型

　　§2.3 網絡拓撲結構類型

　　§2.4 人工神經網絡模型

　　§2.5 神經網絡的學習

§2.1 生物神經元模型

　　神經元是腦組織的基本單元，是神經系統結構與功能的單元。據統計大腦大約包含1.4*10¹¹個神經元，每個神經元於大約10^3*~10⁵個其他的神經元相連接，構成一個極為龐大而復雜的網絡，即生物神經元網絡。生物神經元網絡中各神經元之間連接的強弱，按照外部的刺激信號做自適應變化，而每個神經元又隨著所接受的的多個激勵信號的綜合結果呈現出興奮與抑制狀態。大腦的學習過程就是神經元之間連接強度隨外部刺激信息做自適應變化的過程，大腦處理星系的結果有個聖經元狀態的整體效果確定。

　　生物神經元基本結構：細胞體（Cell body）、樹突 (Dendrite) 、軸突、（Axon）、 突觸（Synapse） 每一個神經元都通過突觸與其他神經元聯系，突觸的“連接強度”可隨系統受到訓練的強度而改變。

　　生物神經元功能：

　　　　興奮與抑制——傳入神經元的沖動經整和後使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態，產生神經沖動，由軸突經神經末梢傳出。傳入神經元的沖動經整和後使細胞膜電位降低，低於閾值時即為抑制狀態，不產生神經沖動。

　　　　學習與遺忘——由於神經元結構的可塑性，突觸的傳遞作用可增強與減弱，因此神經元具有學習和遺忘的功能。

§2.2 人工神經元模型

　　人工神經網絡是在現代神經生物學研究基礎上提出的模擬生物過程以反應人腦某些特性的計算結構。它不是人腦神經系統的真實描寫，只是特的某種抽象、簡化和模擬。

　　1943年，McCulloch-Pitts(麥克洛奇－皮茲) 根據生物神經元的動作原理提出了神經元模型，即M-P模型，經過不斷改進，形成目前廣泛應用的形式神經元模型，對於神經元的處理機制，該模型在簡化的基礎上提出 以下6點 假設進行描述：

　　　　1. 每個神經元都是一個多輸入單輸出的信息處理單元

　　　　2. 突觸分興奮性和抑制性兩種類型

　　　　3. 神經元具有空間整合特性和閾值特性

　　　　4. 神經元輸入與輸出間有固定的時滯，主要取決於突 觸的延遲

　　　　5. 忽略時間整合作用和不應期

　　　　6. 神經元本身是非時變的，即其突觸時延和突觸強度 均為常數

　　人工神經元輸入輸出關系可描述為

　　　　其中xj (j = 1,2,…, n)是從其它神經元傳來的輸入信號，wji表示從神經元j到神經元i的連接權值，θi 為閾值，f(?)稱為激發函數或作用函數

　　　　輸出激發函數f(·)又稱為變換函數，它決定神經元(節點)的輸出。該輸出為1或0，取決於其輸入之和大於或小於內部閾值。函數一般具有非線性特征。幾種常見的激發函數包括：閾值函數、飽和型函數、雙曲函數、S型函數、高斯型函數

§2.3 網絡拓撲結構類型

　　以下分別是層次型結構和互聯型結構

§2.4 人工神經網絡模型

　　人工神經網絡是以工程技術手段來模擬人腦神經網絡的結構與特征的系統。利用人工神經元，可以構成各種不同拓撲結構的神經網絡。就神經網絡的主要連接形式而言，目前已有數十種不同的神經網絡模型，其中前饋網絡和反饋網絡是兩種典型的結構模型。

　　　　（1）前饋神經網絡，又稱前向網絡。如下圖所示，神經元分層排列，有輸入層、隱層(亦稱中間層，可有若幹層)和輸出層，每一層的神經元只接受前一層神經元的輸入。

　　　　目前，大部分前饋網絡都是學習網絡，它們的分類能力和模式識別能力一般都強於反饋網絡，典型的前饋網絡有感知器網絡、誤差反向傳播(BP)網絡等。

　　　　（2）反饋神經網絡的結構如下圖所示。若總節點（神經元）數為N，則每個節點有N個輸入和一個輸出，即所有節點都是一樣的，它們之間都可相互連接。

　　　　Hopfield神經網絡是反饋網絡中最簡單且應用廣泛的模型，它具有聯想記憶的功能，如果將Lyapunov函數定義為尋優函數，Hopfield神經網絡還可以用來解決快速尋優問題。

§2.5 神經網絡的學習

　　人工神經網絡最有吸引力的特點就是它的學習能力。學習方法是體現人工神經網絡智能特征的主要指標，離開了學習算法，人工神經網絡就失去了自適應、自組織和自學習的能力。人工神經網絡的學習過程就是對它的訓練過程。所謂訓練，就是在將由樣本向量構成的樣本集合輸入到人工神經網路的過程中，按照一定方式去調整神經元之間的連接權。使網絡能將樣本集的內涵以連接權矩陣的方式存儲起來，從而使網絡在數據輸入時可以給出適當的輸出。

　　目前神經網絡的學習方法有多種，按有無教師信號來分類，可分為有教師學習、無教師學習和再勵學習等幾大類。在有教師的學習方式中，網絡的輸出和期望的輸出（即教師信號）進行比較，然後根據兩者之間的差異調整網絡的權值，最終使差異變小。在無教師的學習方式中，輸入模式進入網絡後，網絡按照預先設定的規則（如競爭規則）自動調整權值，使網絡最終具有模式分類等功能。再勵學習是介於上述兩者之間的一種學習方式。

　　　　（1）有教師學習，也稱有監督學習

　　　　假設教師和神經網絡同時要對從周圍環境中抽取出來的訓練向量（即例子）做出判斷，教師可以根據自身掌握的一些知識為神經網絡提供期望響應。

　　　　期望響應一般都代表著神經網絡完成的最優動作。神經網絡的參數可以在訓練向量和誤差信號的綜合影響下進行調整。誤差信號可以定義為神經網絡實際響應與預期響應之差。這種調整可以逐步而又反復地進行，其最終目的就是要讓神經網絡模擬教師信號。

　　　　（2）無教師學習

　　　　在無教師學習範例中，沒有教師監視學習過程，即神經網絡沒有任何例子可以學習。

　　　　無教師學習又可分為兩類：自組織學習、無監督競爭學習

　　　　　　a）自組織學習：即網絡的學習過程完全是一種自我學習的過程，不存在外部教師的示教，也不存在來自外部環境的反饋指示網絡應該輸出什麽或者是否正確。自組織學習過程中，網絡根據某種規則反復地調整連接權以響應輸入模式的激勵，直到網絡最後形成某種有序狀態。也就是說，自組織學習是靠神經元本身對輸入模式的不斷適應，抽取輸入信號的規律(如統計規律)。一旦網絡顯現出輸入數據的統計特征，則網絡就實現了對輸入特征的編碼，即把輸入特征“記憶”下來。而且在記憶之後，當它再出現時，能把它識別出來。自組織學習能對網絡的學習過程進行度量，並優化其中的自由參數。可以認為，這種學習的評價準則隱含於網絡內部。神經網絡的這種自組織特性來源於其結構的可塑性。

　　　　　　b）無監督競爭學習：在無監督競爭學習系統中，沒有外部的教師或則評價來監督學習的過程。要求網絡學習該度量而且自由參數將根據這個度量來逐步優化。 為了完成無監督競爭學習規則，神經網絡包括兩層：輸入層和競爭層。輸入層接受有用的數據。競爭層由相互競爭的神經元組成，采用“勝者全得”的策略，具有最大總輸入的神經元的輸出置1，贏得競爭而被激活，其它神經元置0，連接權的調整僅在獲勝神經元與輸入之間進行，其他皆不變。

　　　　（3）再勵學習

　　　　把學習看作試探評價（獎或懲）過程，學習機選擇一個動作（輸出）作用於環境之後，使環境的狀態改變，並產生一個再勵信號（獎或懲）反饋至學習機。學習機依據再勵信號與環境當前的狀態選擇下一動作作用於環境，選擇的原則是使受到獎勵的可能性增大。

　　常用學習規則：Hebb規則、Delta規則（最小均方差規則）、概率式學習規則、競爭式學習規則、梯度下降規則、Kohonen(克豪南)學習規則、逆誤差傳播規則

數據挖掘R 神經網絡基礎