在强化学习代码中如何通过随机种子固定输出

在强化学习中，通常会使用某些随机化算法来决定智能体的行为，例如epsilon-greedy策略、随机初始化网络权重等。为了方便实验重现和结果比较，需要通过随机种子固定这些随机化算法的输出。

在PyTorch中，可以通过设置随机种子来固定随机化算法的输出。以下是一个例子：

import torch
import random
import numpy as np

# 设置随机种子
seed = 123
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed)
random.seed(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

# 定义一个随机初始化的模型
class RandomModel(torch.nn.Module):
    def __init__(self):
        super(RandomModel, self).__init__()
        self.linear = torch.nn.Linear(10, 1)
        
    def forward(self, x):
        return self.linear(x)

# 随机初始化模型
model = RandomModel()

# 打印模型的权重
print(model.linear.weight)

# 再次随机初始化模型
model = RandomModel()

# 打印模型的权重
print(model.linear.weight)

在上述代码中，我们使用了PyTorch的随机种子设置函数来固定程序的随机输出。需要注意的是，在使用CUDA加速时，还需要设置`torch.cuda.manual_seed_all`来确保随机数在所有GPU上的一致性。此外，我们还设置了`torch.backends.cudnn.deterministic`为True，这将会禁用cuDNN的一些优化，从而保证每次输出的结果一致性。