为什么策略改进可以仅由动作价值函数确定

策略改进可以仅由动作价值函数确定的原因是，动作价值函数可以提供关于每个动作的预期回报的估计。通过比较不同动作的预期回报，我们可以选择具有较高预期回报的动作，从而改进当前的策略。

具体来说，如果对于给定的状态，某个动作的预期回报高于其他动作，那么在该状态下选择这个动作将会更好地促进整体的回报。因此，我们可以通过维护一个动作价值函数，在每个状态下选择具有最高价值的动作来改进当前的策略。

需要注意的是，这种基于动作价值函数的策略改进方法假设我们已经获得了可靠的动作价值函数估计。在实际应用中，我们通常使用强化学习算法来学习动作价值函数，例如Q-learning、SARSA等。通过不断与环境进行交互并更新动作价值函数，我们可以逐步改进策略。