策略迭代解决随机连续时间系统LQ最优控制

"基于策略迭代的连续时间系统的随机线性二次最优控制" 本文主要探讨的是如何解决模型参数部分未知的随机线性连续时间系统的无限时间随机线性二次（LQR，Linear Quadratic Regulator）最优控制问题。作者王涛和张化光提出了一种基于策略迭代算法的方法。 在随机线性二次最优控制问题中，目标是寻找一个控制策略，使得系统的性能指标（通常是能量或成本函数）达到最小。这种问题通常与随机代数Riccati方程（SARE，Stochastic Algebraic Riccati Equation）紧密相关，因为求解随机LQR最优控制问题等价于求解SARE的解。 文章首先介绍了如何利用伊藤公式（Ito's Formula）将随机微分方程转化为确定性的形式，这一转化对于处理随机过程是至关重要的，因为它将复杂的随机行为转换为更易于分析的确定性问题。接下来，作者详细阐述了策略迭代算法，该算法提供了一个求解SARE解的序列。通过反复迭代，每次迭代都会更新控制策略，逐步逼近最优控制策略。 在策略迭代过程中，文章证明了SARE解的序列是收敛的，并且系统在迭代过程中是均方可镇定的。这意味着随着迭代次数的增加，系统的稳定性会得到保证，而且性能指标会逐渐优化。此外，作者还通过一个仿真例子展示了策略迭代算法的有效性和可行性，进一步证实了这种方法在实际应用中的价值。 这篇论文为处理部分未知参数的随机线性连续时间系统的最优控制问题提供了一个实用的计算框架，策略迭代算法可以作为一种有效工具来求解这类问题。该方法对控制系统设计、金融工程、信号处理等领域都有潜在的应用价值，特别是在处理含有不确定性因素的复杂系统时。