這篇文章主要介紹神經網路中兩個基本單元，感知器和線性單元，以及他們的訓練法則。
所謂訓練法則就是定義一個或一組規則，通過這些規則能讓我們的到一組合適的權向量。
神經網路包括集中主要的基本單元，主要是感知器（preceptron）、線性單元（liner unit）和sigmoid單元（sigmod unit）。下面主要介紹感知器和線性單元以及他們的訓練法則。
感知器，感知器法則：
構成一種ANN系統的基本單元。可以接受多個輸入，通過權向量與輸入向量相乘後累加，根據累加後結果判斷輸出是0或1.
1. 定義輸出：

2. 決策超平面方程：

3. 感知器的表徵能力:
感知器可以看做n維空間的一個超平面，可以用這個超平面分割的稱為線性可分樣例集合。單獨的感知器可以表徵布林函式。可以表徵的布林運算有與，或，與非，或非。

從上可以看出，僅用兩層深度的神經網路就可以表示出所有的邏輯組合。
4. 訓練：
感知器訓練法則：
從隨機的權值開始到每個樣例，只要錯誤分類就修改感知器權值。
核心迭代公式為：

其中，
t是訓練樣例目標輸出，o是感知器輸出（輸出為0或者1）， 稱為學習速率
帶入感知器判別函式中可以直觀看出，

t-o與 增減性保持一致。
線性單元（linear unit），delta法則：
為了解決樣例不是線性可分的問題，核心為梯度下降法來搜尋可能的權向量的假設空間。
理解為訓練一個無閾值的感知器，也就是一個線性單元（linear unit）。
定義輸出：
輸出o為：

對應於不帶閾值的感知器。
訓練：
對線性單元的訓練主要目的是尋求一組權向量來是定義的誤差有極小值。
定義誤差：

核心訓練法則與感知器法則一樣，仍然是：


梯度下降準則為反向傳播演算法提供了基礎。