要求在Windows系统中用stable_baselines3中的ppo算法结合gym_super_mario_bros玩超级马里奥的优质超参数

好的，以下是Windows系统中使用stable_baselines3的ppo算法，并结合gym_super_mario_bros玩超级马里奥游戏的优质超参数：

import gym_super_mario_bros
from gym.wrappers import FrameStack, GrayScaleObservation, \
    MarioActionSpaceWrapper
from stable_baselines3 import PPO
from stable_baselines3.common.vec_env import DummyVecEnv, SubprocVecEnv, VecFrameStack, VecNormalize

# 创建超级马里奥游戏环境
def make_env():
    env = gym_super_mario_bros.make('SuperMarioBros-1-1-v0')
    env = MarioActionSpaceWrapper(env)
    env = FrameStack(env, num_stack=4)
    env = GrayScaleObservation(env, keep_dim=False)
    return env

# 创建n个游戏环境
def make_envs(n_envs):
    envs = [make_env() for i in range(n_envs)]
    envs = VecFrameStack(DummyVecEnv(envs), n_stack=4)
    envs = VecNormalize(envs)
    return envs

# 定义ppo算法的超参数
policy_kwargs = dict(net_arch=[dict(pi=[256, 256], vf=[256, 256])])

model = PPO("CnnPolicy", make_envs(n_envs=8), policy_kwargs=policy_kwargs,
            n_steps=2048, batch_size=64, n_epochs=10, gamma=0.99,
            clip_range=0.2, ent_coef=0.01, verbose=1)

# 训练模型
model.learn(total_timesteps=1000000)

在上述代码中，我们使用了DummyVecEnv，这是一个可以将多个单一环境封装成一个向量化环境的类。为了加快训练，我们还使用了SubprocVecEnv，它可以并行地运行多个环境。

我们还使用了VecFrameStack将每个环境的前4个帧堆叠起来，用于提取游戏状态。为了防止模型过拟合，我们使用了VecNormalize对每个环境的观测值进行归一化处理。

最后，我们使用PPO算法进行训练，并设置了一些超参数，例如学习率、折扣因子、剪裁范围、熵系数等。这些超参数的具体设置可以根据实际情况进行调整。