4.1 引言

現在要研究的是這樣一種過程：

表示在時刻的值（或者狀態），想對一串連續時刻的值，比如：，， ... 建立一個概率模型。

最簡單的模型就是：假設都是獨立的隨機變量，但是通常這種假設都是沒什麽根據的，也缺乏研究的意義。

舉例來說的話，如果用來代替某個公司，比如Google，在個交易日之後的股票價格。

那麽說第天的股票價格和之前第天，第天，第乃至第天的股票價格一點關系都沒有，這樣是說不過去的。

但是說第天股票的收盤價格依賴於第天的收盤價格還是有點道理的。

同樣還可以做出這樣的合理假設：在給定了所有過去的收盤價，，...，，那麽第天的收盤價格僅僅依賴於第天的收盤價格。這種假設就定義了一個中隨機過程，即Markov Chain（馬爾科夫鏈）。

下面給出馬爾科夫鏈的正式定義：

令是一個取有限或者可數個可能值的隨機過程。

除非明確提到過，這個過程可能的取值將會用非負整數來表示。

如果，那麽該過程就是在時刻的狀態為。

這裏假設只要過程是處於狀態，那麽下一步過程狀態轉為的概率是固定的。

（4.1）

對所有的狀態，，...，和，，和所有的都成立。

上面定義的過程就被稱之為馬爾科夫鏈。

方程（4.1）可以解釋為：對於馬爾科夫鏈，在給定了過去時刻的狀態，，...，和當前的狀態，任何未來狀態和過去的狀態無關，只和當前的狀態有關。

代表了過程從狀態通過下一步轉變到狀態

令表示一步轉移概率的矩陣，那麽可以得到

例4.1 天氣預報

假設明天是否下雨的依賴於過去的天氣條件，但僅限於今天是否下雨，而和之前的天氣狀態無關。

假設今天下雨，明天也下雨的概率是；今天不下雨，明天下雨的概率是。

令下雨時，過程的狀態為，不下雨的時過程的狀態為。

那麽上述過程就是一個兩狀態的馬爾科夫鏈，其轉移概率矩陣為：

4.2 Chapman-Kolmogorov等式

之前我們已經定義了一步轉移概率，現在來定義轉移概率，即處於狀態的過程經過了步狀態改變之後處於狀態的概率。

用公式來闡述就是：

顯而易見的是。

Chapman-Kolmogorov等式提供了計算

（4.2）

對於比較通俗的解釋就是過程從狀態開始經過了步轉移之後到達狀態，然後從狀態經過步轉移之後到達了狀態。把中間狀態的所有可能的概率加起來就是過程從狀態經過了步之後轉移到狀態的概率了。

Chapter 4 馬爾科夫鏈