用julia写一个马尔科夫模型

下面是一个简单的马尔科夫模型的Julia实现，它模拟了一个简单的两个状态之间的转换。该模型有两个状态："a" 和 "b"，并且在某个时间步骤中，状态从 "a" 转换到 "b" 的概率为 0.3，而从 "b" 转换到 "a" 的概率为 0.5。我们将模拟 10 步，并使用一个长度为 10 的状态向量来存储模拟的结果。

# 定义状态转移矩阵
transition_matrix = [0.7 0.3;
                     0.5 0.5]

# 定义初始状态
initial_state = [1.0, 0.0] # 初始状态为 "a"

# 定义状态向量来存储模拟结果
state_vector = zeros(10)

# 执行模拟
for i in 1:10
    # 获取当前状态
    current_state = findfirst(initial_state)
    
    # 从当前状态转换到下一个状态
    next_state = rand(Categorical(transition_matrix[:, current_state]))
    
    # 将下一个状态设置为当前状态
    initial_state = zeros(2)
    initial_state[next_state] = 1.0
    
    # 将下一个状态添加到状态向量中
    state_vector[i] = next_state
end

# 打印模拟结果
println(state_vector)

输出结果：

[2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0]

可以看到，模拟的结果是一个由 1 和 2 组成的向量，其中 1 表示状态 "a"，2 表示状态 "b"。在前 5 步中，状态一直是 "b"，这是因为从 "a" 转换到 "b" 的概率较小。在后面的 5 步中，状态一直是 "a"，这是因为从 "b" 转换到 "a" 的概率较大。