概率分布與馬爾科夫鏈的關系討論2018年6月24日
22:38Copyright ? 2018 Lucas Yu
小編原創，任何形式傳播（轉載或復制），請註明出處，謝謝！

摘要：

本文主要討論使用一個簡單的例子，采用實證的方式來討論一般概率分布與馬爾科夫鏈的關系，將二者聯系起來。讀者有一定概率論和隨機過程基礎會對理解有幫助。涉及內容包括：伯努利分布、伯努利過程以及馬爾科夫鏈等。

本文的研究方法步驟：先確定研究單元（研究對象，它決定了研究的粒度和層級），然後才去討論其相關性質。對象域確定很重要，以便明確目標，就像物體運動的研究不會去討論物體的化學性質一樣；論證方式采用層層遞進論證（由粒度決定），並爭取從多角度討論。

素材：先上一段代碼，供後面使用，使用時解釋。

基本概念
伯努利分布：又名兩點分布或者0-1分布，是一個離散型概率分布。若伯努利試驗成功，則伯努利隨機變量取值為1；若伯努利試驗失敗，則伯努利隨機變量取值為0。記其成功概率為p，則失敗概率為
1 ? p。
（baidu 2018）

伯努利過程：是一個由有限個或無限個的獨立隨機變量 X1, X2, X3 ,..., 所組成的離散時間隨機過程，其中 X1, X2, X3 ,...,
滿足如下條件：
對每個 i, Xi 等於 0 或 1;
對每個 i, Xi = 1 的概率等於 p.
換言之，伯努利過程是一列獨立同分布的伯努利試驗。每個Xi 的2個結果也被稱為“成功”或“失敗”。所以當用數字 0 或 1
來表示的時候，這個數字被稱為第i個試驗的成功次數。
與伯努利過程相關的隨機變量有：
前 n 個試驗的成功次數服從二項分布。
要得到 r 次成功所需要的試驗次數服從負二項分布。
要得到 1 次成功所需要的試驗次數服從幾何分布，這是負二項分布的一個特例
（zh.wikipedia 2018）

伯努利分布及過程研究
首先確定一次拋擲硬幣試驗為基本研究對象，該試驗涉及到的隨機變量包括伯努利隨機變量（隨機變量是個映射）：

遂獲取多個研究單元，即重復多次拋擲試驗，統計多次試驗結果，通過試驗的方式研究隨機變量的統計性質。

實證試驗：
<1> 假設我們對硬幣一無所知，只是不停的拋擲硬幣；根據試驗結果記錄隨機變量的值； 計算統計量。
<2> 繪制隨機變量的分布圖，並由分布計算一些統計量。
具體試驗：

試驗結果：
下圖示展示了試驗的基本過程，就是連續的產生伯努利隨機數。

<1>對試驗過程進行分解研究，分解成下圖：

研究單元為一次試驗，研究如下一個隨機變量：

獲取了伯努利隨機變量的經驗分布，經分布得知 X="1"的出現頻率Fq~=0.2，獲得了正面向上的概率的估計。

<2> 對試驗過程進行分解研究，以轉換為研究對象，分解成下圖：

研究單元為一個轉換，研究如下一個隨機變量：

對隨機變量X的統計，如下表：

“no”是對轉換，即隨機變量各取值的頻度統計，“prob"是一個取值在所有取值的占比，如從一個0轉到1的變化占所有變化的比例；"tran_prob"是從特定狀態轉移到另一個狀態的條件概率，即所謂的轉移概率；最後的"distribution"就是一個穩態概率，即如下圖的概率分布。不難看出狀態0和狀態1之間是獨立的。

如下圖隨機變量X (取值為不同轉換狀態)的經驗分布。

需要說明的是，我們若將整個過程當成研究單元的話，本部分相當於研究個體內部性質。

隨機過程狀態獨立性
伯努利過程：狀態之間的變換是獨立的

一階馬爾科夫過程：狀態之間變換是不獨立的

二階馬爾科夫過程 狀態之間變換是不獨立的

從上面的圖可以看出完全不同的過程最終都可以達到相同的穩態概率分布，馬爾科夫鏈階不同，參數不同 ，最終都有可達到相同的穩態分布 distribution:
{‘P(0)‘: 0.7, ‘P(1)‘: 0.3}
。而且不同階的馬爾科夫鏈，都可以統計出，相同的一階轉移矩陣，這也就是說從轉移矩陣看不能分辨出階數目這種隱含信息。馬爾科夫鏈中不同轉移之間確實不獨立。伯努利過程狀態之間獨立。
根據以上過程可以繪制出如下圖，看到這種圖不要想當然的認為就是馬爾科夫過程，這只是一個概率圖表示而已：

馬爾科夫性驗證
馬爾科夫性的最終驗證主要是仰賴定義。本次研究的基本對象就是一個個馬爾科夫鏈的實例化對象；一條定義好的馬爾科夫鏈可以產生許多鏈的實例，正如從一個確定的概率分布中可以抽取許多個樣本實例一樣，如運行多次
generate_chain(p1=0.25,p2=0.43,chain_len=100000)，就可以產生多個鏈的實例，這與面向對象類與實例的關系相似，類可以實例化產生許多實例對象一樣。通過分析實例對象達到對類的認識。

<1> 對於給定的研究單位，可研究其上的隨機變量，本處以成功的次數為隨機變量，很顯然它符合一個二項分布。
本例選擇長度為n=4的馬爾科夫鏈來研究。

<2> 根據定義對以上三個過程的馬爾科夫性進行驗證。
馬爾科夫鏈的核心假設是只要時刻n的狀態為i，不論過去發生了什麽，也不論鏈是如何到達狀態i的，下一個時刻轉移到狀態j的概率就一定是轉移概率 p_ij
。數學上，馬爾科夫鏈的特征稱為馬爾科夫性質，即滿足：對於任意時間n,對於任意的狀態 i,j∈S,以及任意之前可能的狀態序列 i_0，...，i_n-1,均有

P{X_n+1=j|X_n=i,X_n-1=i_n-1,...,X_0=i_0} = P{X_x+1=j|X_n=i} = p_ij

所以，下一個狀態X_n+1的概率分布只依賴於前一個狀態X_n

對於每個確定的狀態i，有 sum(p_i1,p_i2,p_i3,...，p_im)=1

(2ed,Dimitri Bertsekas,2008)

以上性質就是下一個時間點的狀態的取值只與當前時間點的狀態的取值有關，與其他時間點無關；對象A,B無關，白話：就是不管你B怎麽變，A不會受B影響而發生改變！

使用一個特定的馬爾科夫鏈類，產生多個實例，並通過對實例的分析，來證實某個馬爾科夫鏈是否具有某種性質(即某種不變形或共性或特征)

a.伯努利過程馬爾科夫性驗證

b.一階馬爾科夫過程馬爾科夫性驗證

c.二階馬爾科夫過程馬爾科夫性驗證

通過以上實證分析，根據定義伯努利過程具有馬爾科夫性，可以說伯努利過程是馬爾科夫鏈的特例，只是相關性為0的情形，也就是說伯努利過程具有馬爾科夫鏈的性質，由於其特殊性，還具有馬爾科夫鏈不具有的性質，它的性質條件更嚴格而已。可以通過定義來對不同馬爾科夫鏈鏈進行分析，據此可知馬爾科夫鏈的具體類型，一階還是二階，或者根本就不符簡單的合馬爾科夫模型。

概率分布與馬爾科夫鏈的關系討論