用python写UCB algorithm

好的，那我来给您提供一个Python实现UCB算法的代码示例，希望对您有所帮助：

import math
import random

# UCB算法函数
def ucb1(n, k, t):
  if n == 0:
    return float('inf')
  return (k / n) + math.sqrt(2 * math.log(t) / n)

# 数据集
data = [0, 0, 0, 0, 0]

# 总的尝试次数
total_try = 1000

# 记录每个数据的尝试次数
try_nums = [0, 0, 0, 0, 0]

# 记录每个数据的得分
scores = [0, 0, 0, 0, 0]

# UCB算法的实现
for i in range(1, total_try+1):
  # 选择数据
  idx = -1
  max_score = -1
  for j in range(len(data)):
    score = ucb1(try_nums[j], scores[j], i)
    if score > max_score:
      max_score = score
      idx = j

  # 获取数据并计算得分
  value = random.gauss(0, 1)
  try_nums[idx] += 1
  scores[idx] += (value - scores[idx]) / try_nums[idx]
  data[idx] = value

# 输出结果
print("数据集的得分分别为：", scores)

这是一个简单的UCB算法实现，基于高斯分布生成数据，每次选择UCB值最大的数据进行更新，最终输出每个数据的得分。其中，`ucb1`函数实现了UCB算法的公式，`data`表示数据集，`total_try`表示总的尝试次数，`try_nums`记录每个数据的尝试次数，`scores`记录每个数据的得分。