写一段UCB2的python代码

以下是一个简单的UCB2算法的Python实现，假设有10个臂，每个臂的回报率都是服从0到1之间的均匀分布：

import math
import random

num_arms = 10  # 臂数量
counts = [0] * num_arms  # 每个臂的选中次数
values = [0.0] * num_arms  # 每个臂的平均回报率
variances = [0.0] * num_arms  # 每个臂选中次数的方差
t = 0  # 时间步数

# UCB2算法
def ucb2(t):
    global num_arms, counts, values, variances

    # 选中每个臂至少一次
    if t < num_arms:
        return t

    # 计算每个臂的UCB值
    ucb_values = [0.0] * num_arms
    for i in range(num_arms):
        if counts[i] == 0:
            ucb_values[i] = float('inf')
        else:
            bonus = math.sqrt((2 * math.log(t)) / counts[i])
            ucb_values[i] = values[i] + bonus + math.sqrt(variances[i])

    # 选择UCB值最大的臂
    return ucb_values.index(max(ucb_values))

# 进行一次UCB2算法的操作
def ucb2_step():
    global counts, values, variances, t

    # 选择臂
    arm = ucb2(t)
    t += 1

    # 生成回报
    reward = random.uniform(0.0, 1.0)

    # 更新计数、平均回报率和方差
    counts[arm] += 1
    n = counts[arm]
    value = values[arm]
    values[arm] = ((n - 1) / n) * value + (1 / n) * reward
    variance = variances[arm]
    variances[arm] = ((n - 1) / n) * variance + (1 / (n - 1)) * (reward - value) * (reward - values[arm])

# 进行多次UCB2算法的操作
def ucb2_simulate(num_steps):
    global counts, values, variances, t

    counts = [0] * num_arms
    values = [0.0] * num_arms
    variances = [0.0] * num_arms
    t = 0

    for i in range(num_steps):
        ucb2_step()

    # 返回每个臂的平均回报率
    return values

上述代码中，`ucb2()`函数用于计算每个臂的UCB值，`ucb2_step()`函数用于执行一次UCB2算法的操作，`ucb2_simulate()`函数用于进行多次UCB2算法的操作，并返回每个臂的平均回报率。