![](https://csdnimg.cn/release/download_crawler_static/86304389/bg3.jpg)
-58-
)}(,),({)(
jjkkkkj
xuxuxp L= .
可供选择的策略有一定的范围,称为允许策略集合(set of admissible policies),用
)(),(),(
11 kkjkknn
xPxPxP 表示。
2.1.5. 状态转移方程
在确定性过程中,一旦某阶段的状态和决策为已知,下阶段的状态便完全确定。用
状态转移方程(equation of state transition)表示这种演变规律,写作
.,,2,1),,(
1
nkuxTx
kkkk
L
=
+
(1)
在例 1 中状态转移方程为
)(
1 kkk
xux =
+
。
2.1.6. 指标函数和最优值函数
指标函数(objective function)是衡量过程优劣的数量指标,它是定义在全过程和所有
后部子过程上的数量函数,用
),,,,(
11, ++ nkkknk
xxuxV L 表示, nk ,,2,1 L
。指标函
数应具有可分离性,即
nk
V
,
可表为
nkkk
Vux
,1
,,
+
的函数,记为
)),,,(,,(),,,,(
111,111, ++++++
nkknkkkknkkknk
xuxVuxxxuxV LL
并且函数
k
对于变量
nk
V
,1+
是严格单调的。
过程在第
阶段的阶段指标取决于状态
j
x
和决策
j
u
,用
),(
jjj
uxv
表示。指标函
数由
),,2,1( njv
j
L= 组成,常见的形式有:
阶段指标之和,即
∑
=
++
=
n
kj
jjjnkkknk
uxvxxuxV ),(),,,,(
11,
L ,
阶段指标之积,即
∏
=
++
=
n
kj
jjjnkkknk
uxvxxuxV ),(),,,,(
11,
L ,
阶段指标之极大(或极小),即
),((min)max),,,,(
11, jjj
njk
nkkknk
uxvxxuxV
≤≤
++
=L
.
这些形式下第
k
到第
阶段子过程的指标函数为 ),,,(
1, +jkkjk
xuxV L 。
根据状态转移方程指标函数
nk
V
,
还可以表示为状态
k
x 和策略
kn
p 的函数,即
),(
, knknk
pxV
。在
k
x 给定时指标函数
nk
V
,
对
kn
p 的最优值称为最优值函数(optimal value
function),记为
)(
kk
xf ,即
),(opt)(
,
)(
knknk
xPp
kk
pxVxf
kknkn
∈
= ,
其中
op
可根据具体情况取 max 或 mi
。
2.1.7 最优策略和最优轨线
使指标函数
nk
V
,
达到最优值的策略是从 k 开始的后部子过程的最优策略,记作
},,{
***
nkkn
uup L=
。
*
1n
p
是全过程的最优策略,简称最优策略(optimal policy)。从初始
状态
)(
*
11
xx = 出发,过程按照
*
1n
p 和状态转移方程演变所经历的状态序列
},,,{
*
1
*
2
*
1 +n
xxx L 称最优轨线(optimal trajectory)。