6.4 状态空间的分解

定义：设 \(A\subsetS\)，若对任意 \(i\in A\) 及\(j\notin A\)，都有 \(p_{ij}=0\)，称 \(A\) 为闭集。若 \(A\) 的状态是相通的，则 \(A\) 为不可约的。

引理 6.1：\(A\)为闭集的充要条件为：任意 \(i\in A\) 及\(j\notin A\) 都有 \(p_{ij}^{(n)}=0,n\ge1\)。

推论：若 \(A\)是闭集，对任意状态 \(i\in A\) 恒有\(\sum_{j\in A}p_{ij}^{(n)}=1\)。

定理 6.5：所有常返态构成一个闭集。

推论：不可约马尔科夫链，所有状态都是常返的，或者所有状态都是非常返的。

定理 6.6：状态空间 \(S\) 可以分解为 \(S = T\cup C = T\cup C_1 \cdots \cup C_h\cdots\)，其中 \(T\)表示非常返状态的集合，\(C_i\)为基本的常返闭集，且有

1. 对任一确定的 \(k,C_k\)中任意两个状态互通；
2. \(C_k\cap C_l = \varnothing,\forall h\nel\)。

定理 6.7：有限状态马尔科夫链具有如下性质：

1. 状态空间 \(S\) 可分解为 \(S = T\cup C = T\cup C_1 \cdots \cupC_h\)，其中 \(T\)表示非常返状态的集合，\(C_i\)为基本的常返闭集；
2. 非常返状态集合 \(T\)一定不是闭集；
3. 没有零常返状态；
4. 必有正常返状态；
5. 不可约马氏链的的状态都是正常返态；
6. 任意闭集 \(C_i\) 上的 \(n\) 步转移矩阵为随机矩阵。

6.5 极限特性与平稳分布

6.5.1 极限特性

定理 6.7：若状态 \(j\) 为非常返态或零常返态，则对任意 \(i \in S\)，有 \(\lim_{n\to\infty}p_{ij}^{(n)}=0\)。

推论6.7.1：若马尔科夫链有一个零常返态，则必有无穷多个零常返态。

6.5.2 平稳分布

定义：一个定义在 \(S\) 上的概率分布 \(\pi=(\pi_1,\pi_2,...,\pi_i,...)\)称为马尔科夫链的平稳分布，如果有 \(\pi=\piP\)。

定理 6.9：若马尔科夫链是不可约的遍历链，则 \(\{\pi_i = 1 / \mu_i\}\) 是 \(\pi=\pi P(\pi_i\ge0,\sum_{i\in S}\pi_i=1)\)的唯一解。

推论 6.9.1：不可约遍历链恒有唯一的平稳分布，且 \(\pi_j=\lim_{n\to\infty}p_{ij}^{(n)}\)。

定理 6.10：令 \(C_+\)为马尔科夫链中全体正常返状态构成的集合，则有

1. 平稳分布不存在的充要条件为 \(C_+=\varnothing\)；
2. 平稳分布唯一存在的充要条件为只有一个基本正常返闭集；
3. 若马尔科夫链有多于一个基本正常返闭集，则其平稳分布有无穷多个。

定理 6.11：关于有限状态的马尔科夫链

1. 有限状态马尔科夫链的平稳分布总存在；
2. 有限不可约非周期的马尔科夫链存在唯一的平稳分布；
3. 若有多于一个基本正常返闭集，则其平稳分布有无穷多个；

栗子（平衡方程及其应用）：对非周期正常返的离散马氏链，平稳分布存在且满足\(\pi P=\pi\)，可以写成 \(\pi_j(1-P_{jj}) = \sum_{i\ne j,i\in S} \pi_iP_{ij}\)，这被称为离散马氏链的平衡方程。左边表示从状态 \(j\) 流出的量，右边表示从其他状态流入状态\(j\)的量，在讨论一些实际工程问题时，可以借助平衡方程求解系统平稳分布。

6.6 转移矩阵的平均极限

一般情况下，\(n\to\infty\) 时 \(P^n\) 的极限未必存在，主要是因为 \(P^n\)可能有周期性。为了消除周期性，最直接的方法就是取平均。...