馬爾可夫過程：

馬爾可夫過程按照其狀態和時間引數是否連續或者離散分為三種：1.時間和狀態都離散的叫做馬爾科夫鏈，2.時間和狀態都是連續的叫做馬爾科夫過程，3.時間連續，狀態離散的叫做連續時間的馬爾科夫鏈。

馬爾可夫過程，其特點是，當過程在時刻 T0所處的狀態為已知的條件下，過程在 T 時刻（T>T0）所處的狀態僅與時刻T0 有關，而與過程在T0之前的時刻無關係。

首先宣告的是公式 P(n)=P(1)^n 表示計算的事n步轉移概率矩陣，而不是某一點到另一點的n步轉移概率。

以下不成立：Pij (n) != Pij(1)^n

馬爾可夫鏈（Markov Chain）

例子：一個質點在[1,5]上隨機遊動，只能在時刻n為自然數發生移動且停留在1,2,3,4,5 五個點，在2,3，4點是以1/3的概率向左，2/3的概率向右，在5點上以概率1停留，在1點上以概率1移動到2.

一步轉移概率矩陣：Pij(1) 從狀態i 經過一步到達j狀態的概率如下：

N步轉移矩陣：Pij(n)從狀態i 經過n步到達j狀態的概率 Pij(n)=P(1)^n

理論基礎:Chapman-Kolmogorov方程（c-k公式）

根據C-K方程，可知前面的例子的二步概率矩陣為a*a：矩陣乘法（MatLab 檢驗）

同理，N步轉移概率矩陣

P(n) = P(n-1)P(1) = P(n-2)P(1)P(1) = ..... = P(1)^n