專家系統/模糊理論/神經網絡/遺傳算法相關基礎知識
整理於大學時代的一篇筆記，對重新再研究AI及其關聯的技術有一定概念參照意義。畢竟比較古老，可能僅在基礎概念入門方面有一些提示。
常用縮寫
| 縮寫 | 全稱 | 解釋 |
|---|---|---|
| AI | Artificial Intelligence | 人工智能 |
| ES | Expert System | 專家系統 |
| SC | Soft Computing | 軟計算 |
| NN | Neural Network | 神經網絡 |
| ANN | Artificial Neural Network | 人工神經網絡 |
| BNN | Biological Neural Network | 生物神經網絡 |
| FS | Fuzzy System | 模糊系統 |
| FL | Fuzzy Logic | 模糊邏輯 |
| GA | Genetic Algorithm | 遺傳算法 |
專家系統
什麽是專家系統
專家系統是早期人工智能的活躍領域，在某一特定領域，建立以知識為基礎，通過推理機制在特定領域對復雜問題進行求解的系統。一般主要來說專家系統基本上由知識庫和推理機構成。如果再進行細化和擴展，可以涵括如下部分
| 項番 | 詳細 |
|---|---|
| No.1 | 交互界面 |
| No.2 | 知識庫 |
| No.3 | 知識獲取 |
| No.4 | 解釋器 |
| No.5 | 推理機 |
| No.6 | 綜合數據庫 |
知識及其表示
相比其他，專家系統更加強調的是知識，ES也被稱為基於知識的系統（Knowledge-Based Systems）。利用人類專家所掌握的知識對專家系統來說無比重要。人類專家的知識以易於處理的方式表示並不是一件容易的事情，常見的形式之一則是利用規則的形式來表示（比如IF…THEN…規則的形式).
專家系統的瓶頸
| 項目 | 詳細 |
|---|---|
| 知識難於獲取 | 基於知識的ES，所需要的專家知識不容易獲得 |
| 知識難於抽出 | 獲得後的知識難以抽出，需要從人類思維方式的知識中去除形象思維只留邏輯思維這樣適合數值計算和符號推理而進行精確求解的知識數據模型 |
| 知識難以表示 | 利用規則等可以表示知識，但是不是很方便，效果也不是很理想 |
| 思維方式難以模擬 | 人類在知識和經驗的基礎上學習，需要高度的推理/思索/判斷等才能得出結論 |
模糊理論
發展背景
| 年份 | 詳細 |
|---|---|
| 1965 | 美國加利福尼亞大學L.A.Zadeh在那篇著名論文Fuzzy Sets中首次提出了模糊的概念 |
| 1974 | 英國工程師Madani把模糊理論首次應用於小型蒸汽機的自動控制領域，實現了自適應子學習功能 |
| 1980 | 丹麥的L.P.Holmblad和Ostergard在水泥窯爐 采用模糊控制並取得了成功,這是第一個商業化的有實際意義的模糊控制器 |
模糊理論特點
模糊理論簡言之就是這樣一種方法，利用它可以較為自然地處理和人類思考類似的處理。用比較繞一點的方法可以將其特點總結如下：
| 項番 | 詳細方法 |
|---|---|
| No.1 | 模糊理論本身並不模糊 |
| No.2 | 模糊邏輯是用來對“模糊”進行處理以消除模糊的邏輯 |
| No.3 | 模糊邏輯是一種用精確的方法解決不精確或者不完全信息的方法，接近於人類的思考方式 |
使用範圍
根據紮德教授的觀點，模糊邏輯對於下列類似的系統進行建模和控制是較為自然的。
| 項番 | 詳細方法 |
|---|---|
| No.1 | 大的自然系統，比如天氣/海洋等 |
| No.2 | 大的人造系統，比如經濟/股票市場/國家選舉等 |
綜合各方觀點，模糊邏輯最適用的為以下的幾類系統
| 項番 | 詳細方法 |
|---|---|
| No.1 | 太過復雜，無法精確建模的系統 |
| No.2 | 明顯非線性的復雜系統 |
| No.3 | 輸入或者定義具有結構不確定的系統 |
系統建模
系統建模一般分為線性建模和非線性建模。傳統方式下的很多系統采用線性建模的方法，即滿足線性疊加，簡單的說一般有如下兩種原理。
| 項番 | 原理 |
|---|---|
| No.1 | f(x+y) = f(x) + f(y) |
| No.2 | f(ax) = af(x) |
非線性系統一般並非所有部分均為非線性，此時線性部分依然可以使用線性方式處理，可采取分段線性的方法。但是對於不可線性分段的非線性處理，沒有具體的處理方法，比如經濟預測/人類行為/圖象和聲音的識別等等。
復雜非線性系統
復雜的非線性系統，因為目前對其的處理，只能給出解的存在證明二不能給出具體方法，所以使用普通方法難以處理。紮德在1973年就提出了不相容原理。
| 項目 | 詳細 |
|---|---|
| 不相容原理 | 當系統的復雜度超過某一限度，對系統的舉動進行正確且有意義的描述是不可能的 |
但是，即使這種情況下，也可以通過如下的方法對復雜的非線性系統進行了解
| 項番 | 詳細方法 |
|---|---|
| No.1 | 建立描述系統行為的規則 |
| No.2 | 將系統的一些有意義的狀態表現成簡單的內部符號，在這些狀態在以後再次產生時能夠被識別 |
| No.3 | 通過例子或者ANN等進行訓練，使用大量的數據餵出聰明的系統 |
紮德的方法
| 項番 | 詳細方法 |
|---|---|
| No.1 | 不用數學方程，用語言為代表的模糊變量來記錄和描述系統 |
| No.2 | 通過條件命題，記述模糊變量之間的關系。比如如果溫度低就加強加溫器的熱度 |
| No.3 | 利用模糊推理算法記述系統 |
遺傳算法
Why 遺傳算法
如果說NN是模擬人腦以個體的生物為對象而衍生出的算法的話，GA就是模擬生物的進化過程而產生的算法。人類及其他生物本身就包含著尚未掌握的知識寶藏，GA以及各時代的多數生物為對象，在復雜的大規模系統的建模方面正在探索的一條新的途徑。
算法機制
| 項目 | 詳細 |
|---|---|
| 對象 | 以幾個世代的復數個生物為對象 |
| 轉換 | 將問題的求解轉化為將一群染色體置於問題的環境中 |
| 求解 | 根據適者生存的原則，為適應環境進行復制/再生/交叉/變異 |
| 優勢 | 設計簡單，對所求解的問題不需要知道更多信息，而這也是大規模復雜非線性系統的困境，其無法提供更加充足的信息。 |
算法原理
| 項目 | 詳細 |
|---|---|
| 基本原理 | 自然淘汰原理：優勝劣汰 |
| 基本操作：淘汰 | 對環境適應度低的進行淘汰，模擬自然劣汰原則 |
| 基本操作：增殖 | 對環境適應度高的進行增殖，模擬自然優勝原則 |
| 基本操作：交叉 | 模擬染色體的交叉，進行性質的混合 |
| 基本操作：變異 | 強制性的稍有變換的個體生成 |
| 模擬 | 將對象系統的各種參數的集合用一個染色體表示 |
| 計算 | 對染色體按照基本原理和基本操作進行運算 |
| 串行求解 | 普通方式是通過牛頓法/下降法等進行串行求解 |
| 並行求解 | GA通過多個體並行探索求解，通過個體間的選擇/交叉等相互作用，提高探索效率 |
應用領域
一般應用於並不局限於如下領域
| 項番 | 詳細 |
|---|---|
| No.1 | 系統設計 |
| No.2 | 系統優化 |
| No.3 | 遺傳程序設計 |
| No.4 | 人工生命 |
| No.5 | …… |
神經網絡
發展背景
| 年份 | 詳細 |
|---|---|
| 1943 | 美國心理學家W.S.McCulloch和數學家 W.A.Pitis提出的最初的M-P神經元模型 |
| 1949 | 加拿大心理學家Hebb提出了著名的Hebb學習規則，為神經網絡的學習算法奠定了基礎 |
| 1958 | Frank Rosenblatt在1957年就職於Cornell航空實驗室時發明的一種人工神經網絡Perceptron（感知器） |
| 1969 | M.Minsky.Papert 指出Perceptron的局限性 |
| 1972 | 芬蘭學者Kohonen提出了一個與感知機等神經網絡不同的自組織映射理論(SOM) |
| 1972 | 中野提出了聯想記憶模型(Association) |
| 1975 | 福島提出了一個自組織識別神經網絡模型 |
| 1982 | 生物物理學家J.Hopfield引入了能量函數提出了一種新的人工神經網絡模型:Hopfield network |
| 1983 | Boltzmann Machine引入模擬退火概念,更好地解決了組合優化 |
| 1986 | Rumelhart和McCelland為首的科學家小組提出一種按誤差逆傳播算法訓練的多層前饋網絡BP(Back Propagation)網絡 |
分類
按照方式
| 項番 | 詳細 |
|---|---|
| ANN | 人工神經網絡 |
| BNN | 生物神經網絡 |
結合方式
| 項番 | 詳細 |
|---|---|
| 階層型 | 信息的流動為單向，輸入數據向輸出層傳遞 |
| 相互結合型 | 所有的神經元間都結合，信息的流動是雙向的。某一神經原若向另一神經元輸出，同時也接受該神經元的輸出 |
學習方式
| 項番 | 詳細 |
|---|---|
| 有教師學習(Supervised learning) | 輸出和期待結果可進行調解 |
| 無教師學習(Unsupervised learning) | 只有輸出無期待結果可進行比較 |
信號流向
| 項番 | 詳細 |
|---|---|
| 前饋型 | 信號只向輸出層方向傳播 |
| 反饋型 | 信號有向輸入層返回 |
NN/FS/GA的相似點
| 項目 | 特點 |
|---|---|
| NN | 微觀層次上模仿腦神經網絡的功能 |
| FS | 模擬人類的主觀信息處理方式 |
| GA | 模擬生物進化方式 |
三者的融合，取長補短，也能產生很多優秀的算法
再分享一下我老師大神的人工智能教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智能的隊伍中來！https://blog.csdn.net/jiangjunshow
專家系統/模糊理論/神經網絡/遺傳算法相關基礎知識