早前已經學習了感知器學習演算法，主要通過對那些錯分類的樣本進行求和來表示對錯分樣本的懲罰，但明顯的它是一個線性的判別函式；而且上節學到了感知器神經元（閾值邏輯單元），對於單個的感知器神經元來說，儘管它能夠實現線性可分資料的分類問題（如與、或問題），但是卻無法解決非線性問題，如邏輯學裡的異或（XOR）問題甚至是高階，那麼這樣的問題該如何利用簡單學習機器來解決呢？

       回想下前面在非線性分類器中提到的分段線性判別，它的目的是為了將非線性函式擬合成多段線性函式的組合，同樣，關於上述問題，我們也可以採用這一思想，對於任意複雜形狀的分類區域，總可以用多個神經元組成一定的層次結構來實現，如圖，也即多個感知器神經元的組合：

                     （1）             (這裡依然指的是階躍函式，用作傳遞函式)

       上圖中的模型其實就是：前一層神經元的輸出是後一層神經元的輸入，最後一層只有一個神經元，它接收來自前一層的n個輸入，給出作為決策的一個輸出。

       儘管我們有了這種多層學習模型的驚喜發現，但是遺憾的是，之前線上性判別裡學到的感知器學習演算法並不能直接應用在這種多層學習模型的引數學習上（為什麼呢，因為要使用梯度下降法訓練更新權值，而在該模型，看公式（1），神經元的傳遞函式為階躍函式，輸出端的誤差只能對最後一個神經元的權係數求梯度，無法對其他神經元的權係數求梯度，所以無法使用這種梯度下降演算法學習其他神經元的權值；

），因此上世紀60年代，多層學習模型的提出者Rosenblatt隨即給出瞭解決方案：除了最後一個神經元外，預先固定其他所有神經元的權重，學習過程就變成只是用感知器學習演算法來尋找最後一個神經元的權係數。事實上，這樣做相當於通過第一層神經元把原始的特徵空間變換到一個新的空間，且第一層的每個神經元構成這個新空間的每一維，其中每一維取值為二值，然後再在這個新空間裡用感知器學習演算法構造一個線性分類器；顯然，由於第一層神經元的權重值由人為確定，因此該模型的效能好壞很大程度上直接取決於第一層神經元權重值的是否選取適當，即第一層怎樣設計才最恰當，而這些又直接取決於輸入的資料性質，但是不幸的是，在當時還沒有人能給出針對任意問題求解第一層引數的方法，於是就這樣僅僅因為無法對引數進行學習的瓶頸，導致了人們對感知器的研究就這樣停滯了大約有25年之久，直道25年後一種全新且至今廣為傳用的學習演算法‘BP’的出現（作為後續的學習），才打破了僵局。

       但是，不管神經網路模型的研究停滯不前了多久，多層感知器模型都是NN研究上的一個火光性的亮點，後續的一系列模型及學習演算法（如當今火熱的深度學習，還有經典的BP學習演算法）都是基於此的，這麼多年過去人們一提到NN，仍然會首先想到感知機模型，不僅是因為它簡單，更因為它的歷史貢獻性無可替代。