倒立摆 DQN PID

倒立摆是一个经典的控制问题，其中DQN和PID是两种常用的控制方法。

1. DQN（Deep Q-Network）是一种强化学习算法，它通过训练一个神经网络来学习倒立摆的控制策略。DQN算法通过将状态作为输入，输出每个动作的Q值，然后选择具有最高Q值的动作来控制倒立摆。DQN算法在倒立摆控制中取得了良好的效果[^2]。

2. PID（Proportional-Integral-Derivative）是一种经典的控制算法，它通过根据当前误差的大小来调整控制器的输出。PID控制器根据当前的偏差（误差）、偏差的积分和偏差的导数来计算控制器的输出。PID控制器在倒立摆控制中也可以取得良好的效果[^1]。

下面是一个使用DQN算法和PID算法控制倒立摆的示例代码：

DQN算法控制倒立摆的代码示例：

import gym
import numpy as np
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import Adam

# 创建倒立摆环境
env = gym.make('Pendulum-v0')

# 定义DQN模型
model = Sequential()
model.add(Dense(24, input_dim=3, activation='relu'))
model.add(Dense(24, activation='relu'))
model.add(Dense(1, activation='linear'))
.compile(loss='mse', optimizer=Adam(lr=0.001))

# 训练DQN模型
for episode in range(100):
    state = env.reset()
    state = np.reshape(state, [1, 3])
    for step in range(500):
        action = model.predict(state)
        next_state, reward, done, _ = env.step(action)
        next_state = np.reshape(next_state, [1, 3])
        model.fit(state, action, verbose=0)
        state = next_state
        if done:
            break

# 使用训练好的DQN模型控制倒立摆
state = env.reset()
state = np.reshape(state, [1, 3])
for step in range(500):
    action = model.predict(state)
    next_state, reward, done, _ = env.step(action)
    next_state = np.reshape(next_state, [1, 3])
    state = next_state
    if done:
        break

PID算法控制倒立摆的代码示例：

import gym

# 创建倒立摆环境
env = gym.make('Pendulum-v0')

# 定义PID控制器参数
Kp = 1.0
Ki = 0.1
Kd = 0.01
prev_error = 0
integral = 0

# 控制倒立摆
state = env.reset()
for step in range(500):
    error = -state
    integral += error
    derivative = error - prev_error
    action = Kp * error + Ki * integral + Kd * derivative
    prev_error = error
    state, reward, done, _ = env.step([action])
    if done:
        break