第一章 引論

1.1 引言

1.1.1 基本概念和例子

定義1.1: 隨機過程就是一族隨機變量${X(t), t \in T}$, 其中$t$ 是參數, 屬於某個指標集$T$, $T$ 稱為參數集.

$t$ 一般代表時間. 當$T={0, 1, 2, ,...}$ 也稱隨機過程為隨機序列.

隨機變量定義在空間$\Omega$ 上, 所以是隨$t$ 與$\omega \in \Omega$ 而變化的, 可以記作$X(t , \omega)$ .

• 固定一次隨機實驗, 即取定$\omega_0 \in \Omega$ 時, $X(t , \omega_0)$ 就是一條樣本路徑. 它是$t$ 的函數.
• 固定時間$t = t_0$ , $X(t_0 , \omega)$ 就是一個隨機變量, 其取值隨著隨機試驗的結果而變化, 變化的規律叫做概率分布.

隨機過程在$t$ 所處的值稱作是過程所處的狀態, 狀態的全體稱為狀態空間.

1.1.2 有限維分布和數學特征

隨機過程${X(t), t \in T}$ 的一維分布: $F_t(x) = P {X(t) \le x}$ .

隨機過程$X(t)$ 的均值函數: 期望$E[X(t)]$ , 記作$\mu_X (t)$ .

隨機過程$X(t)$ 的方差函數: 方差$Var[X(t)]$ .

隨機過程$X(t)$ 的聯合二維分布: $F_{t_1, t_2} (x_1, x_2) = P{X(t_1) \le x_1, X(t_2) \le x_2}$ .

隨機過程$X(t)$ 的自相關函數: $r_X(t_1, t_2) = E[X(t_1) X(t_2)]$ .

隨機過程$X(t)$ 的協方差函數: $R_X(t_1, t_2) = Cov(X(t_1), X(t_2)) = E{(X(t_1) - \mu_X (t_1))(X(t_2) - \mu_X (t_2))}$ .

自相關函數和協方差函數都具有對稱性, 且都是非負定的.

隨機過程$X(t)$ 的有限維分布族: $F_{t_1,...,t_n} (x_1,...,x_n) = P{X(t_1) \le x_1, ..., X(t_n) \le x_n}, t_1,...,t_n \in T$ .

知道了隨機過程的有限維分布族就知道了過程${X(t), t \in T}$ 中任意n個隨機變量的聯合分布, 也就完全了解了這些變量之間的相互依賴關系.

有限維分布有對稱性, 與變量$X(t_1), ..., X(t_n)$ 的排序無關.

有限維分布有相容性: $F_{t_1, ..., t_m, t_{m+1}, ..., t_n}(x_1, ..., x_m, \infty, ..., \infty) = F_{t_1, ..., t_m}(x_1, ..., x_m), m \lt n$.

相容性基本定理: 若一族給定的分布函數上有對稱性和相容性, 則存在一個隨機過程${X(t), t \in T}$ , 使它的有限維分布族正好就是給定的分布函數族.

1.1.3 平穩過程和獨立增量過程

同分布: 若兩個隨機變量$X_1, X_2$ 的分布函數$與F_{X_1}(x) 與 F_{X_2}(x)$ 對任何$x$ 都是相等的, 則稱它們是同分布的, 記作$X_1 =^d X_2$ ; 類似地, 若兩個隨機向量有相同的聯合分布, 也稱它們是同分布的.

定義1.2 : 如果隨機過程$X(t)$ 對任意的$t_1, ..., t_n \in T$ 和任何$h$ 有$(X(t_1+h), ..., X(t_n+h))=^d (X(t_1), ..., X(t_n))$ , 則稱為嚴格平穩的.

嚴格平穩的含義是, 處於某種概率平衡狀態, 主要性質只與變化量$X(t)$ 之間的時間間隔有關, 而與考察的起始點無關.

定義1.3 : 如果隨機過程的所有二階矩存在, 且有

• $EX(t) = m$
• $R_X(t,s)$ 只與時間差$t - s$ 有關.

則稱該隨機過程為寬平穩的或二階矩平穩的.

對於寬平穩過程, 由於$R_X(s, t) = R_X(0, t-s)$ , 可以記為$R_X(t-s)$ .

對寬平穩過程, $R_X(t)$ 是偶函數, 且$R_X(0) = VarX(t)$ .

定義1.4 : 如果對任意$t_1 \lt t_2 \lt ... \lt t_n, t_1, ..., t_n \in T$ , 隨機變量$X(t_2) - X(t_1), X(t_3) - X(t_2), ..., X(t_n) -X(t_{n-1})$ 是相互獨立的, 則$X(t)$ 稱為獨立增量過程.

如果進一步有對任意$t_1, t_2, X(t_1+h) - X(t_1) =^d X(t_2+h) - X(t_2)$ , 則過程稱為有平穩獨立增量的過程.

平穩獨立增量過程的均值函數一定是$t$ 的線性函數.

1.2 條件期望和矩母函數

1.2.1 條件期望

離散型隨機變量$X,Y$ , 對所有使$P{Y=y}\gt0$ 的$y$ , 定義:

• 給定$Y=y$ 時, $X$ 取$x$ 的條件概率為$P{X=x|Y=y} = \frac{P(X=x,Y=y)}{P(Y=y)}$
  
• 給定$Y=y$ 時, $X$ 的條件分布函數為$F(x|y) = P{X \le x | Y = y}$

連續型隨機變量$X, Y$ , 定義:

• 給定$Y=y$ 時, $X$ 的條件分布函數為$F(x|y) = P{X \le x | Y = y} = \lim_{\Delta y \to 0} P(X \le x | Y \in \Delta y)$
• 如果存在一個非負函數$f(x|y)$ , 使得對任何集合$A$ 恒有$P(X \in A | Y = y) = \int_{A}f(x|y)dx$ , 且$\int f(x|y)dx = 1$ , 則$f(x|y)$ 稱為在給定$Y=y$ 時$X$ 的條件密度.

條件密度與聯合密度的關系: $f(x,y) = f(x|y)f(y)$ , 其中$f(y)$ 稱為隨機變量$Y$ 的邊緣密度.

給定$Y=y$ , $X$ 的條件期望定義為: $E(X|Y=y) = \int x f(x|y)dx = \int xdF(x|y)$ .

命題1.1 : 條件期望的重要性質:

• 若$X$ 與$Y$ 獨立, 則$E(X|Y=y) = EX$ .
• 平滑性: $EX = \int E(X|Y=y)dF_Y(y) = E[E(X|Y)]$ .
• 對隨機變量$X,Y$ 的函數$\phi(X,Y)$ 恒有$E[\phi(X,Y) | Y=y] = E[\phi(X,y) | Y=y]$ .

1.2.2 矩母函數及生成函數

定義1.5 : 隨機變量$X$ 的矩母函數定義為隨機變量$exp(tX)$ 的期望, 記作$g(t) = E(exp(tX)) = \int exp{tx} dF(x)$ .

矩母函數存在時, 它唯一確定了$X$ 的分布.

通過矩母函數易求出$X$ 的各階矩$E[X^n] = g^{(n)}(0), n \ge 1$ .

定義1.6 : 若$X$ 為離散隨機變量, 則期望$E(s^X)$ 為其概率生成函數, 記作$\phi_X(s)$ . 特別地, 若$P(X=k)=p_k, k=0,1,2,...$ , 則$\phi_X(s)=\sum_{k=0}^{\infty}{p_k s^k}$ .

概率生成函數時以概率$p_k$ 為系數的冪級數, 其與$X$ 的概率分布也是一一對應的, 且有$p_0 = \phi_X(0), p_k = \frac{1}{k!}\frac{d^k}{ds^k} \phi_X(s)|_{s=1}, k=1,2,...$ .

通過概論生成函數易求出$X$ 的期望和有關高階矩$E{X(X-1)...(X-r+1)} = \frac{d^r}{ds^r}\phi_X(s)|_{s=1}$ .

對互相獨立的隨機變量$X, Y$ , $g_{X+Y}(t) = g_X(t) g_Y(t)$ , $\phi_{X+Y}(s) = \phi_X(s) \phi_Y(s)$ .

1.3 收斂性

三種收斂:

• 設${X_n, n \ge 1}$ 是一列隨機變量, 若存在隨機變量$X$ , 使得$\forall \epsilon \gt 0, \lim_{n \to \infty}{P(|X_n - X| \ge \epsilon)} = 0$ , 則稱隨機變量序列${X_n, n \ge 1}$ 依概率收斂於$X$, 記為$X_n \to^p X$ .
• 若事件 ${\omega: \lim_{n \to \infty}{(X_n(\omega) - X(\omega))} = 0}$ 的概率為1, 即$P(\lim_{n \to \infty}{(X_n = X)} = 0) = 1$ , 則稱隨機變量序列${X_n, n \ge 1}$ 幾乎必然收斂於$X$ , 記為$X_n \to X, a.s.$ , 也稱隨機變量序列以概率1收斂於$X$.
• 設隨機變量$X$ 和$X_n, n \ge 1$ , 都有有限的二階矩, 如果$\lim_{n \to \infty}{E(X_n - X)^2} = 0$ , 則稱$X_n$ 均方收斂於$X$ , 記為$X_n \to^{L_2} X$ .

以上三種收斂的關系:

• 均方收斂和幾乎必然收斂都蘊涵依概率收斂, 反之不成立.
• 均方收斂和幾乎必然收斂互不包含.

隨機過程(方兆本,繆伯其)讀書筆記-第一章-引論