7.1 定义与基本概念

定义：设随机过程 \(X=\{X(t),t\ge0\}\)，状态空间 \(S\)，对任意 \(0\le t_0 < t_1 < \cdots < t_n <t_{n+1}\)，\(i_k\in S\)，若\(P(X(T_k)=i_k,0\le k\le n) > 0\) 有\[P(X(t_{n+1})=i_{n+1} | X(t_k)=i_k,0\le k\le n) = P(X(t_{n+1})=i_{n+1} |X(t_n)=i_n)\] 则称 \(X\)为连续参数的马氏链。若对任意的 \(s,t\ge0\)，\(i,j\in S\) 有 \[P(X(s+t)=j | X(s)=i) = P(X(t)=j|X(0)=i) = P_{ij}(t)\] 称 \(X\)为齐次马氏链。

对于连续参数马氏链，在原点处有 \(P_{ij}(0)=\delta_{ij}\)，因此 \(P(0)=I\)。除此之外假设其在原点处连续，即\(\lim_{t\to 0}P_{ij}(t)=\delta_{ij},\lim_{t\to0}P(t)=I\)。类比离散参数的马氏链，可以得到类似的C-K 方程 \(P(s+t)=P(s)P(t)\)。

7.2 转移概率矩阵

根据 C-K 方程可以猜测 \(P(t)=e^{tQ}\)，泰勒展开表示为 \(P(t)=I + \sum_{n=1}^{\infty}\frac{t^n}{n!}Q^n\)，\(P(t)\)完全由 \(Q\) 确定，并且有 \(P'(0)=\lim_{t\to0}\frac{P(t)-I}{t}=Q\)。

上面只是猜测，那么是否真的存在这样一个 \(Q\) 呢？下面两个定理给出结论。

定理 7.1：对 \(i\inS\)，极限 \(-q_{ii}=\lim_{t\to0}\frac{1-P_{ii}(t)}{t}\)存在，但可能是无穷。

定理 7.2：对 \(i\inS\)，极限 \(q_{ij}=\lim_{t\to0}\frac{P_{ij}(t)}{t}\)存在且有限。

证明：略。

Remark：实际应用中，\(P(t)\) 很难获得，一般可以求得 \(Q\)，此时 \(e^{tQ} = \lim_{n\to\infty}(I +Qt/n)^n\)。如果取 \(n=2^k\)的形式，只需要 \(k\)次矩阵乘法即可。

推论 7.1：对任意 \(i\inS\)，\(0\le \sum_{i\ne j}q_{ij}\leq_{ii}\)。

证明： \[q_{ii}=\varliminf_{t\to0} \frac{1-P_{ii}(t)}{t} = \varliminf_{t\to0}\sum_{j\ne i}\frac{P_{ij}(t)}{t} \ge \sum_{j\nei}\varliminf_{t\to0}\frac{P_{ij}(t)}{t} = \sum_{j\ne i}q_{ij}\] 推论 7.2：当 \(S\) 为有限状态空间时，\(\sum_{i\ne j}q_{ij}= q_{ii} <\infty\)。

7.3 Kolmogorov前向后向微分方程

定义：如果 \(Q\)满足 \(\forall i\in S\)，\(\sum_{j\ne i}q_{ij} = q_{ii} <\infty\)，则称 \(Q\)为保守矩阵。

定理 7.3：设马氏链 \(X=\{X(t),t\ge0\}\)，\(Q=P'(0)\)，当 \(S\) 为有限集时，\(P'(t)=P(t)Q=QP(t)\)。

Remark：当 \(S\)为可数状态时，前向方程与后向方程不一定成立，根据 Fatu 引理有 \(P'(t)\ge P(t)Q,P'(t)\ge QP(t)\)

定理 7.4：当 \(S\)为可列个状态，\(Q\)为保守矩阵时，后向方程 \(P'(t)=QP(t)\) 成立。

7.4平稳分布与极限分布及其矩阵计算...