马尔可夫链：离散与连续状态的平稳转移与实例解析

马尔可夫链是概率论和统计学中的一个重要概念，它主要研究的是随机过程的一种特殊形式，其中未来状态仅依赖于当前状态，而与过去的历史无关。在本章第一节中，我们首先对马尔可夫链进行了分类，分为离散和连续两种类型，前者如离散状态马尔可夫链和马尔可夫序列，后者则指连续状态马尔可夫过程。 1. 马尔可夫链的定义： 一个随机过程被称为马尔可夫链，如果它的状态是有限或可数的，并且满足马尔可夫性质，即对于任意两个状态 \( i \) 和 \( j \)，以及任意时间 \( n \)，未来状态 \( X_{n+1} \) 只依赖于当前状态 \( X_n \)，而不受之前状态的影响。具体地，一步转移概率 \( P(X_{n+1}=j|X_n=i) \) 只取决于 \( i \) 和 \( j \)，记为 \( p_{ij} \)。如果转移概率 \( p_{ij} \) 不随时间 \( n \) 变化，即具有平稳性，那么这个过程就被称为齐次或时齐的马尔可夫链，其转移概率矩阵 \( P \) 由 \( p_{ij} \) 组成。 2. 转移概率： 转移概率矩阵 \( P \) 描述了从一个状态到另一个状态的概率，它的元素 \( p_{ij} \) 表示从状态 \( i \) 到状态 \( j \) 的概率。如果所有状态的转移概率矩阵都相同，那么就是同态马尔可夫链；反之，异构马尔可夫链的转移概率会根据时间变化。 3. 马尔可夫链的例子： - 例1：独立随机变量序列的和。如果一个随机序列 {Yn} 由独立且同分布的非负整数随机变量构成，且每个 \( Y_n \) 的概率分布为 \( P(Y_n=i)=a_i \)，则将这些随机变量的和构成的序列 {Xn} 是马尔可夫链，其转移概率基于 \( a_i \)。 - 例2：M/G/1排队系统：这是一种描述顾客到达和服务模型的马尔可夫链。顾客按照泊松过程到达，服务时间 \( T_i \) 相互独立且服从分布 \( G \)。顾客的到达和服务时间相互独立，使得这个系统的状态（例如，当前在队列中的顾客数量）满足马尔可夫链的性质。 这些例子展示了马尔可夫链在实际问题中的应用，它们广泛用于预测、控制系统、通信理论、生物统计学等领域，因为马尔可夫性质简化了复杂系统的分析，使其易于处理和理解。理解马尔可夫链的基本概念和特性是深入学习更高级概率论和统计技术的基础。