SAC算法中的return

在SAC算法中，return是指在一个时间步t开始的状态st下，根据当前策略πϕ(at|st)采样得到的动作序列{at, at+1, ..., aT}所对应的累计奖励。具体地，return可以表示为：

return = Σi=0 to T-1 γ^i * rt+i+1

其中，rt+i+1是在时间步t+i+1时的即时奖励，γ是一个介于0和1之间的折扣因子，用于衡量未来奖励的重要性。SAC算法通过最大化return来优化策略πϕ(at|st)，以获得最高的累计奖励。同时，SAC算法还引入了熵值的最大化，以保持探索性和避免过早陷入局部最优解。通过在最大预期return的同时最大化熵值，SAC算法能够在不同的随机种子上达到SOTA效果。\[1\]
#### 引用[.reference_title]
- *1* *2* *3* [SAC算法论文解读](https://blog.csdn.net/weixin_57090033/article/details/131754944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]