无人机路径规划DQN

### DQN算法用于无人机路径规划

#### 介绍
DQN（Deep Q-Network）是一种结合了深度学习和Q-Learning的强化学习算法。该算法通过神经网络来近似Q函数（状态-动作值函数），从而能够在高维状态空间中有效地进行决策[^1]。

#### 环境建模
为了使DQN能够应用于无人机三维城市空间中的航线规划，环境模型需要被精确定义。这通常涉及到创建一个模拟的城市地图，在这个地图上标记出障碍物和其他重要特征。此过程对于确保无人机可以安全高效地导航至关重要。

#### 动作与奖励设计
在构建好环境之后，下一步就是确定可用的动作集合以及相应的奖励机制。对于无人机而言，可能的动作包括向上、向下、向前、向后移动等基本操作；而奖励则应鼓励接近目标位置的行为并惩罚碰撞或偏离预定路线的情况[^2]。

#### 训练流程概述
训练过程中，代理会不断尝试不同的行动策略，并依据所获得的经验更新内部参数以改进未来的选择。具体来说：

- **经验回放**：存储过往经历以便随机抽取样本进行批处理训练；
- **固定Q目标**：采用双网络结构减少数据关联性带来的波动影响；
- **探索 vs 利用平衡**：初期更多依赖随机探索逐渐过渡到基于当前最佳估计做决定。

import torch
from collections import deque
import random


class ReplayBuffer(object):

    def __init__(self, buffer_size):
        self.buffer = deque(maxlen=buffer_size)

    def add(self, experience):
        """Add an experience to the replay memory."""
        self.buffer.append(experience)

    def sample_batch(self, batch_size):
        """Randomly samples a batch of experiences from the replay memory."""
        return random.sample(self.buffer, min(batch_size, len(self.buffer)))

def train_dqn(agent, env, episodes, max_steps_per_episode):
    """
    Train Deep Q Network agent on given environment.
    
    Parameters:
      - `agent`: The learning algorithm instance implementing act() and learn().
      - `env`: An OpenAI Gym style environment object with step(), reset().
      - `episodes`: Number of training iterations (games).
      - `max_steps_per_episode`: Maximum number of steps per game before resetting.
      
    Returns:
       A list containing total rewards collected during each episode.
    """

    scores = []
    for e in range(episodes):
        state = env.reset()
        score = 0
        
        for t in range(max_steps_per_episode):
            action = agent.act(state)
            
            next_state, reward, done, _ = env.step(action)
            agent.memory.add((state, action, reward, next_state, done))
                
            if len(agent.memory) > batch_size:
                experiences = agent.memory.sample_batch(batch_size)
                agent.learn(experiences)
                    
            state = next_state
            score += reward
            
            if done:
                break
                
        scores.append(score)
        
    return scores