PPO记录损失函数数值代码

Proximal Policy Optimization (PPO) 是一种常用的强化学习算法，它的核心目标是在最大化期望奖励的同时限制策略更新的幅度，以避免训练过程中的不稳定。PPO 中的损失函数通常包含两个部分：

1. **优势值损失 (Surrogate Objective)**: 这是用来评估当前策略相对于旧策略的改进程度。它结合了旧策略的概率和新策略的预测优势值（Advantage Estimation），通常形式化为 CLIP（Clipped Surrogate Loss）：

   advantage = estimated_advantage - old_policy_action_log_prob * advantages
   clipped_ratio = tf.clip_by_value(ppo_clip_ratio, 1 - clip_epsilon, 1 + clip_epsilon)
   policy_loss = -tf.minimum(clipped_ratio * advantages, old_policy_action_log_prob * advantages)

其中 `ppo_clip_ratio` 是新的行动概率除以旧的概率，`clip_epsilon` 是一个剪切阈值，用于防止梯度过大。

2. **价值函数损失 (Value Function Loss)**: 确保策略的值估计准确，通常采用 MSE (Mean Squared Error) 或 Huber Loss 来计算：

   value_loss = huber_loss(new_values - target_values)

整体的损失函数通常是这两个损失的加权求和：

loss = policy_loss + value_loss_weight * value_loss

其中 `value_loss_weight` 是平衡两者重要性的超参数。