prioritized experience replay

优先经验回放（Prioritized Experience Replay）是深度强化学习中的一种方法，它可以提高训练效率和性能。在传统的经验回放方法中，每个经验样本的重要性是相同的，但实际上，一些经验对网络的训练更加重要。因此，优先经验回放方法通过给每个经验样本分配一个优先级，让重要的样本被更频繁地选择，从而提高训练效率和性能。

优先级可以根据经验的 TD 误差大小来计算，TD 误差越大，优先级越高。在经验回放时，优先级较高的经验样本将被更频繁地选择，从而增加了训练时网络的学习机会。此外，优先经验回放方法还使用一个重要性采样权重来控制每个经验样本的采样概率，以平衡经验的多样性和重要性。

总的来说，优先经验回放方法可以提高深度强化学习网络的训练效率和性能，是当前研究的热点之一。