1. 程式人生 > >吸收馬爾科夫鏈

吸收馬爾科夫鏈

一、 吸收態馬爾可夫鏈
        馬爾可夫鏈是一種比較常用、 比較熟悉的隨機過程, 它描述的是這樣的情形 一個系統具有有限個狀態, 系統在下一時刻的狀態取決於 系統現在所處的狀態, 而與以前的狀態無關
, 即系統具有無後效性 系統由一種狀態轉移至 另一種 狀態的過程稱為馬爾可夫過程 馬爾可夫 過程按照其狀態是離散的或是連續的, 分別稱為狀態離散的馬爾可夫過程或狀態連續的馬 爾可夫過程 時間和狀態均離散的一系列馬爾可夫 過程的全體稱為馬爾可夫鏈 
       馬爾可夫過程分析是利用狀態間的狀態轉移概率 pij來反映系統狀態的動態變化, 表示 從第i個狀態經過一步轉移到第 」狀態的概率 以狀態轉移概率為元素的矩陣稱為馬爾可夫鏈的一步狀態轉移概率矩陣,簡稱轉移矩陣。

        如果馬爾可夫鏈上的 兩狀 態 可 以相互轉移,則稱兩狀態是連通的 。如果狀態空 間 中的任意 兩狀態都是連通的, 則稱此狀態空間是連通狀態空間。 根據連通的概念, 馬爾可夫鏈 的狀態空間可以分為過渡類和封閉類兩類, 每個狀 態唯一地屬於其中一類 ,若連通狀態空間 的任意狀 態 可 以到達連通空間以外的狀態, 而外面的 狀態 不 可轉人其內, 此狀態空間稱為過渡類 ,若連通狀態空間內的任意狀態都不可能到達狀態空 間外的任一狀態, 而外面的狀態可以轉人其內, 此狀態空間稱為封閉類 如果封閉類僅為一狀態, 則稱之 為吸收態。,含有吸收態的馬爾可夫鏈稱 為吸收態 馬爾可夫鏈。

二、 吸收態馬爾可夫鏈的分析模型
    將系統的狀態空間分為封閉類和過渡類兩類,馬爾可夫鏈的狀態轉移矩陣可以表示為如下形式: