2. 程式人生 > >隨機過程--Metropolis-Hastings演算法

隨機過程--Metropolis-Hastings演算法

阿新 • • 發佈：2019-02-08

隨機過程–Metropolis-Hastings演算法

蒙特卡羅方法

  蒙特卡羅(Monte Carlo)方法又稱隨機抽樣或統計試驗方法，簡單地理解就是利用隨機數去解決許多計算問題，通過實驗去求解一些數學問題。通常是通過一些隨機模擬實驗去求解一些概率或者期望的問題。

生成隨機數


  我們知道，其實計算機只能產生均勻分佈的偽隨機數，但很多時候，我們希望得到一連串服從一定分佈（如高斯分佈，泊松分佈）的隨機數。我們就要想辦法把均勻分佈的數對映到服從一定分佈的數，這樣就通過模擬生成一些服從一定分佈的隨機數來解決一些複雜的數學問題。

求解概率和期望問題

  1. 求解概率問題
      貝葉斯先驗轉後驗：
    p
    (θ|D)=p(D|θ)p(θ)D
       概率歸一化問題：
    p(θ)=p˜(θ)Z
       通常，我們需要從貝葉斯後驗和歸一化後的概率中抽樣，但是通常這兩個概率很難求，主要是因為分母很難求，分母可能涉及到複雜的積分計算。因此，我們無法通過簡單的數學公式將均勻分佈的隨機數對映到服從該分佈的隨機數。
  2. 求解期望問題
      如上所述，如果一個概率的表示式沒法求出，我們無法求得期望。但是如果我們能生成許多連續的服從該分佈的隨機數，根據切比雪夫大數定理就能通過簡單地加和近似地求得概率。
    切比雪夫大數定理：
    limn→∞p(|1S∑s=1Sf(xs)−1S∑s=1SE[f（X）]|<ϵ)=1
    計算期望：
    E
    [f（X）]=∫f（x）p（x）dx≃1S∑s=1Sf(xs)
    xs∼p(X)

栗子

估計圓周率：我們可以在一個包含圓的正方形中隨機生成資料點，然後統計一下落在圓內的點的個數與總個數的比例，就可以大約估算出圓周率的值。


還有一個比較出名的求圓周率的實驗就是蒲豐投針，這是1777年法國科學家布豐提出的一種計算圓周率的方法：
  1. 取一張白紙，在上面畫上許多條間距為a的平行線。
  2. 取一根長度為l（l=a/2） 的針，隨機地向畫有平行直線的紙上擲n次，觀察針與直線相交的次數，記為m。
  3. 計算針與直線相交的概率：p=2lπa。
  4. 可以計算得到π=2lap

馬爾可夫鏈

  馬爾可夫鏈(Markov Chain )簡單地來說就是狀態機，能實現狀態之間的轉移，下一個狀態只與當前的狀態有關，與之前的狀態沒有關係。

p(xN|x1,…,xN−1)=p(xN|xN−1)

現實生活中也有很多事情的變化規律是形成一個馬爾可夫鏈的：
這裡寫圖片描述

  1. 蛋白質分子的變化過程：蛋白質的下一個狀態只與它現在的結構有關。
  2. 股市行情：下一段時間股市的行情只與當前的股價有關。
  3. 賭徒賭資：一個賭徒經過下一個賭局後的資金只與他現在所擁有的資金有關。
  4. 交通擁堵狀態：一個路口下一個時間點的擁堵狀況只與當前的交通狀態有關。

現在讓我們來舉一個栗子：
  假設現在社會根據人民所擁有的資產分為上層，中層，下層，且它們之間可以轉換，也就是每一層的人民都有一定的機率變成其他層，它們之間的跳轉概率為：

- 下層 中層 上層
下層 0.65 0.28 0.17
中層 0.15 0.67 0.18
下層 0.12 0.36 0.52

它們之間的狀態轉移圖為：

現在，我們要計算第N代後，整個社會中各階層人數的比例：

  1. 計算概率轉移矩陣P=⎡⎣⎢0.650.150.120.280.670.360.170.180.52⎤⎦⎥
  2. 初始化第0代各階層的人數比例：
    π0=[a,b,c],a+b+c=1
  3. 不斷地迭代更新知道收斂：
    πN=πN−1∗P=πN−2∗P2=...π0∗PN

我們隨機初始化，且做了A與B兩組實驗，實驗結果分別如下：
A組

代數 下層 中層 上層
0 0.210 0.680 0.110
1 0.252 0.554 0.194
2 0.270 0.512 0.218
3 0.278 0.497 0.225
4 0.282 0.490 0.226
5 0.285 0.489 0.225
6 0.286 0.489 0.225
7 0.289 0.489 0.225
8 0.286 0.488 0.225
9 0.286 0.489 0.225

B組

代數 下層 中層 上層
0 0.750 0.150 0.100
1 0.522 0.347 0.132
2 0.407 0.426 0.167
3 0.349 0.459 0.192
4 0.318 0.475 0.207
5 0.303 0.482 0.215
6 0.295 0.485 0.220
7 0.291 0.487 0.222
8 0.289 0.488 0.225
9 0.286 0.489 0.225

  根據實驗結果，我們可以發現，就算給予不同的初始化，最終收斂後的結果都是相同的。當馬爾科夫鏈滿足細緻平穩性就會有這樣的結果。

細緻平穩性（detail balance condition）：當非週期性的馬爾可夫鏈的概率轉移矩陣和每一個狀態的概率滿足：

π(i)p(j|i)=π(j)p(i|j)
最終得到的狀態π是該馬爾可夫鏈的平穩分佈。

證明:

∑i=1∞π(i)p(j|i)=∑i=1∞π(j)p(i|j)=π(j)∑i=1∞p(i|j)=π(j)

Metropolis演算法

我們先介紹提議分佈，其實提議分佈可以隨意給，通常我們可以假設提議分佈服從高斯分佈：

q(j|i)=N(j|i,σ)
但是這樣的話，通常不能滿足細緻平穩性，即：
π(i)q(j|i)≠π(

相關推薦

隨機過程--Metropolis-Hastings演算法

隨機過程–Metropolis-Hastings演算法 蒙特卡羅方法   蒙特卡羅(Monte Carlo)方法又稱隨機抽樣或統計試驗方法，簡單地理解就是利用隨機數去解決許多計算問題，通過實驗去求解一些數學問題。通常是通過一些隨機模擬實驗去求解一些

隨機過程(方兆本,繆伯其)讀書筆記-第一章-引論

重要 聯合 時間差 給定 函數 完全 tro markdown 狀態 第一章 引論 1.1 引言 1.1.1 基本概念和例子 定義1.1: 隨機過程就是一族隨機變量${X(t), t \in T}$, 其中$t$ 是參數, 屬於某個指標集$T$, $T$ 稱為參數集. $t

[定理證明]正態隨機過程又是馬爾科夫過程的充要條件

lin 百度 com .com erl .cn ear 模型 ont 必要性的證明 充分性的證明 參考 參考1：《概率論與數理統計教材》（茆詩松，第二版） 參考2：[公式推導]用最簡潔的方法證明多元正態分布的條件分布 參考3：《

隨機過程初步

隨機過程的定義 　　設Sk(k=1,2,...)是隨機試驗。每一次試驗都有一條時間波形（稱為樣本函式或實現），記作xi(t)，所有可能出現的結果的總體{x1(t),x2(t),...,xn(t),...}就構成一隨機過程，記作X(t)。簡言之，無窮多個樣本函式的總體叫做隨機過程。它兼有隨機變數和時間函式的特

LeetCode382. 連結串列隨機節點————蓄水池抽樣演算法

//蓄水池抽樣 class Solution { private: ListNode * HEAD; public: //初始化 Solution(ListNode* head) { srand((unsigned)time(nullptr)); HEAD = hea

通過使用各種演算法（線性迴歸，邏輯迴歸，隨機森林，繼承演算法）預測泰坦尼克號上的某個人是否獲救

Python原始碼: #!/usr/bin/env python # encoding: utf-8 """ @Company：華中科技大學電氣學院聚變與等離子研究所 @version: V1.0 @author: Victor @contact: [email protected]

訓練過程--梯度下降演算法（SGD、adam等）

SGD系列 1）Batch gradient descent(批量梯度下降)   在整個資料集上   每更新一次權重，要遍歷所有的樣本，由於樣本集過大，無法儲存在記憶體中，無法線上更新模型。對於損失函式的凸曲面，可以收斂到全域性最小值，對於非凸曲面，收斂到區域性最小值。   隨機梯度

隨機行走(資訊保安演算法設計實驗)

資訊保安演算法設計實驗之一 //#include "stdafx.h" #include<iostream> #include<time.h> #include<stdlib.h> #include<cstring> using

python3 成為錦鯉的第一步！瞭解隨機抽樣之蓄水池演算法

python3 錦鯉第一步！瞭解隨機抽樣之蓄水池演算法 蓄水池演算法 問題背景： 樣本空間為N，從N個樣本中隨機不重複地抽取K個樣本，其中N是未知且非常巨大的數，如何保證每個樣本是等概率被抽取才是關鍵。 演算法邏輯： （1）先選取前k個數據（0,1,

【機器學習】資料探勘演算法——關聯規則（二），挖掘過程，Aprioir演算法

關聯規則挖掘的原理和過程 從關聯規則（一）的分析中可知，關聯規則挖掘是從事務集合中挖掘出這樣的關聯規則：它的支援度和置信度大於最低閾值（minsup,minconf），這個閾值是由使用者指定的。根據 support=(X,Y).count/T.countsupp

JAVA隨機排序洗牌演算法

public class Card {     public String num;     public String suit;     Card(String n,String s)     {         this.num=n;         this.su

將1到100隨機排列實現 -shuffle演算法

以前遇到這個題，當時處理方法是，隨機生成1-100個數字，效率很低，當時覺得不好，但又不知該用什麼方法解決。 後來發現使用洗牌演算法（shuffle）可以很好解決這個問題 原理是，一個數A，隨機選一個在這個數A之前的下標，將這個下標對應數字與A對換 function s

概率論中基於MATLAB的隨機過程模擬

概率論中基於MATLAB的隨機過程模擬      幫同學做的概率論和數學實驗大作業，主要包含了三個部分：1、離散的馬爾可夫鏈的模擬；2、泊松過程的模擬；3、布朗運動的模擬。 1.離散時間馬爾科夫鏈 定義： 設在任意時刻n，隨機序列Xn可以處在狀態{1,2…N

《隨機過程》學習筆記--高斯過程()

高斯過程之條件分佈(Conditional Distribution) 設X=(X1,X2)∈Rm×n∼N(μ,Σ)，其中X1∈Rm,X2∈Rn,μ=(μ1,μ2),μ1=E(X1),μ2=E(X2)

【matlab】MarkDown Letex 編碼 之 隨機過程及應用（三）

**Provement of Gaussian Distribution：** 設正態分佈概率密度函式是 $$f(x)=\frac{1}{\sqrt{2π}\sigma}*e^{\

從隨機過程到馬爾科夫鏈蒙特卡洛方法

1. Introduction 第一次接觸到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 裡面講解到的 RBM 用到了 Gibbs sampling，當時因為要趕著做專案，雖然一頭霧水，但是也沒沒有時間仔細

【Derivation】隨機過程及應用（三）

Provement of Gaussian Distribution： 設正態分佈概率密度函式是 f(x)=12π−−√σ∗e−(x−u)22σ2 於是： ∫+∞−∞e−(x−u)22σ

設隨機過程{X（t)=Acos（ωt+Θ),t∈（一∞，+∞)},其中A，ω，Θ為相互獨立的實隨機變數，其中A的均值為2，方差為4,且Θ～U（-π，π)，ω～U（-5,5)，試問X（t)是否為平穩過程

設隨機過程{X（t)=Acos（ωt+Θ),t∈（一∞，+∞)},其中A，ω，Θ為相互獨立的實隨機變數，其中A的均值為2，方差為4,且Θ～U（-π，π)，ω～U（-5,5)， 試問X（t)是否為平穩過

hjr-通訊原理（五）：隨機過程

先說一個概念隨機過程：首先想象一個2維座標系，x表示 時間，y表示一個數，當x取一個值時，其對應的Y值是一個隨機的值（叫做隨機變數）x軸的每個時刻對應的y值連成一條線，這個集合就叫做隨機過程分佈函式和概率密度：，可以用分佈函式或概率密度來描述每一個x值對應的y值的統計特性，分

《隨機過程》學習筆記--高斯過程(1)

高斯過程(1)(Gauss Processes) n-Dimensional Joint Gauss Distribution n隨機變數X(t)，對∀n,∀t1,t2,⋯,tn，記(X(t1)