规划与马尔科夫决策过程详解：2021年完全可观察环境中的经典与概率方法

在2021年4月21日的课件中，第四部分深入探讨了在完全可观察环境中的概率规划系统，这是一个关键的AI领域，主要用于解决复杂问题的规划与决策。这部分内容主要分为以下几个部分： 1. 精确动态规划：这是规划问题求解的一种基础方法，它假设问题的环境是确定性的，并且可以通过计算出所有可能状态下的最优行动序列来解决问题。这种方法在20世纪60年代左右开始发展，被广泛应用在智能机器人、物流调度和自动驾驶等场景。 2. 马尔科夫决策过程（MDP）：马尔科夫决策过程是概率规划的核心概念，它描述了一个随机环境，其中每个状态转移的概率是已知的，有助于制定基于当前状态和未来预期收益的决策。MDP适用于在线规划，通过动态规划算法求解。 3. 近似动态规划：当问题规模过大无法穷举所有可能性时，近似方法被引入，如使用剪枝或学习方法来减少计算量，适用于处理大规模的规划问题。 4. 在线规划：这种规划方式关注实时决策，如蒙特卡洛树搜索，它允许在执行过程中不断调整策略，以适应不断变化的环境。 5. 经典规划：这是一种有限状态、确定性和静态环境的规划模型，如积木世界的求解，包括状态空间搜索（如前向、后向搜索和启发式搜索）和规划空间搜索（如偏序规划）。经典规划通常假设问题目标明确，且不考虑时间连续性和未来观察。 6. 概率规划扩展：随着问题复杂性的提升，引入了部分可观测的马尔科夫决策过程（POMDP），在这种情况下，规划者只能部分感知环境，决策必须基于不确定的观察。离线规划依然依赖动态规划，而在线规划则使用更复杂的算法如蒙特卡罗搜索。 7. 序贯决策：课程内容按照模型和观察环境的可观察程度划分，分别讨论MDP（模型已知，完全可观测）、强化学习（模型未知，完全可观测）和POMDP（模型已知，部分可观测）的决策制定。这些方法均基于期望效用最大化原则，需要对未来可能的行为和观察进行推理。 8. 开环规划：相对而言，开环规划忽视了未来的状态信息，常用于如路径规划这类只关心当前动作结果的问题，计算成本较低，但可能不适用于复杂的动态环境。 这部分课程深入剖析了从经典规划到概率规划的演进，强调了在不同环境和模型条件下合理选择决策策略的重要性，展示了规划理论在AI中的核心作用。