python求n步之后马 尔科夫链的转移概率矩阵

马尔科夫链的转移概率矩阵可以通过以下代码实现：

import numpy as np

def transition_matrix(n, p):
    matrix = np.zeros((n+1, n+1))
    matrix[0][0] = 1
    
    for i in range(1, n+1):
        for j in range(n+1):
            if j == 0:
                matrix[i][j] = p*matrix[i-1][j]
            elif j == n:
                matrix[i][j] = (1-p)*matrix[i-1][j-1]
            else:
                matrix[i][j] = p*matrix[i-1][j] + (1-p)*matrix[i-1][j-1]
    
    return matrix

其中，n为步数，p为马尔科夫链向右的概率，matrix为转移概率矩阵。函数首先创建一个(n+1)×(n+1)的零矩阵，然后将第一行第一列的值设为1，表示初始状态。接着，通过二重循环计算每个状态在下一步转移到其他状态的概率，最后返回转移概率矩阵。

例如，当n=2、p=0.5时，运行代码可以得到如下的转移概率矩阵：

array([[1.  , 0.  , 0.  , 0.  ],
       [0.5 , 0.5 , 0.  , 0.  ],
       [0.25, 0.5 , 0.25, 0.  ],
       [0.  , 0.5 , 0.5 , 0.  ]])

矩阵中第i行第j列的值表示状态i在下一步转移到状态j的概率。例如，第二行第一列的0.5表示状态1在下一步有50%的概率转移到状态2。