离散时间Markov链：定义、性质与一维随机游动

"Markov链的定义和例子" Markov链是一种重要的数学工具，主要用于建模具有马尔可夫性质的随机过程。这种过程的特点是系统未来状态的概率分布仅依赖于当前状态，而不受其历史状态的影响，这被称为“无后效性”或“记忆lessness”。 **定义3.1** 马尔可夫链（Markov Chain）是离散时间随机过程的一种，其中任意时刻的状态只依赖于前一时刻的状态，不依赖于更早的时间点。用数学语言表述，如果对于一个随机过程Xn，对于所有的状态i和j，以及所有的时间差n，都有以下关系： \[ P(X_{n+1}=j|X_0,X_1,X_2,...,X_n) = P(X_{n+1}=j|X_n=i) \] 这意味着未来的概率只由当前状态决定。 **定义3.2** 在离散时间Markov链中，一步转移概率Pij是从状态i转移到状态j的概率。如果这个概率不随时间n变化，即对于所有n，Pij保持不变，那么称此链有平稳转移概率。这种链被称为时齐（Time-homogeneous）Markov链。记为P，是一个n×n的矩阵，其中每个元素Pij表示从状态i到状态j的一步转移概率。 **定理3.1** Markov链的n步转移概率矩阵Pm,n（从状态i到状态j经过m步的概率）满足以下关系： \[ P_{ij}^{(m+n)} = \sum_{k=1}^n P_{ik}^{(m)} P_{kj}^{(n)} \] 这个定理表明多步转移概率可以由一步转移概率通过乘法计算得出。 **例3.1** 一维随机游动是一个简单的Markov链例子。假设有一个质点在整数点集{0, 1, 2, ...}上移动，每秒移动一次。如果质点位于点2、3或4，那么下一秒它向左移动的概率是p，向右移动的概率是1-p。这样的过程形成一个Markov链，因为质点在任何时刻的移动只取决于它当前所在的位置，而与它如何到达这个位置无关。 总结来说，Markov链是描述离散时间随机系统的一种模型，广泛应用于许多领域，如统计物理、生物学、计算机科学（如网页排名算法PageRank）、经济和金融等。了解和掌握Markov链的原理和应用是理解复杂系统动态行为的关键。