燃料电池混合动力汽车能量管理的模糊REINFORCE函数逼近强化学习

194 浏览量更新于2025-01-16 收藏 1.98MB PDF 举报

能源与人工智能

（

2023

）

100246

燃料电池混合动力汽车能量管理的模糊

REINFORCE

函数逼近强化学习

郭亮

，

，李忠良

，

，拉希德·奥特比b

，高

飞

艾克斯

马赛大学，

LIS UMR CNRS 7020

，法国

Universit'e

Franche-Com

t'e

，

UTBM

，

CNRS

，

institut

FEMTO-ST

，

F-90000

Belfort

，

France

UTBM

，

CNRS

，

institut FEMTO-ST

，

F-90000 Belfort

，

France

H I G H L I G H T S G R A P H I C A L A B标准

•

应用强化学习解决能源管理问题：一种

传统的序贯决策优化方法

约束问题。

•

无模型的REINFORCE是一个蒙特卡洛策

略梯度强化学习，可以通过与

环境，没有建模或历史数据。

•

功能辅助器与模糊

推理系统到 approX imate the

加强政策功能。

•

在不影响策略梯度方向的前提下，提出

了模糊基线函数来

A R T I C L E I N FO

保留字：

能源管理策略燃料电池混合动力

汽车强化学习

模糊推理系统模糊策略

梯度硬件在环

A B标准

针对燃料电池混合动力汽车（FCHEV），提出了一种新的自学习能量管理策略（EMS），以实现燃料电池混合

动力汽车（FCHEV）的氢气节约和电池的正常运行。在EMS中，提出用模糊推理系统（FIS）来近似EMS策略函

数，并通过策略梯度强化学习（ PGRL）来学习策略参数。因此，本文首次提出并研究了 EMS问题的模糊

REINFORCE算法。模糊REINFORCE是一种无模型的方法，EMS代理可以通过与环境的交互来学习自己，这使得

它不依赖于模型的准确性，先验知识和专家经验。同时，为了稳定训练过程，在不影响策略梯度方向的情况

下，采用模糊基线函数对基于FIS的值函数进行逼近。此外，还可以克服传统强化学习计算量大、收敛时间长等

缺点。硬件在环实验验证了所提方法的有效性。同时验证了该方法对驾驶条件和系统状态变化的适应性。

* 通讯作者。

电子邮件地址：

liang. lis-lab.fr（L.Guo），zhongliang.li @ univ-fcomte.fr（Z.Li）。

https://doi.org/10.1016/j.egyai.2023.100246

2023年2月26日在线提供

nd/4.0/）。

可在ScienceDirect上获得目录列表

能源与AI

期刊主页：www.sciencedirect.com/journal/energy-and-ai

L. Guo

等人

能源与人工智能

（

2023

）

100246

介绍

近年来，在能源危机和低碳要求的双重压力下，传统化石燃料汽车

产业面临着严峻的形势。氢能因其环境友好、储量大、生产途径多样等

特点，越来越受到各国的重视。因此，燃料电池混合动力电动汽车

（FCHEV）由于其环境友好性和具有竞争力的车辆性能而吸引了越来越

多的关注 [1]。在混合动力电动汽车的控制框架中，能量管理策略

（EMS）是通过调节不同能源之间的功率分配来使整个动力系统更有效

地工作的关键因素。

EMS方法通常可以分为三类：基于规则的方法、基于最优控制的方法

和基于学习的方法。基于规则的EMS是根据系统的特点建立规则。在不

同的基于规则的EMS方法中，基于模糊逻辑规则的EMS由于其实际有效

性而最具吸引力[2]。然而，EMS规则的设计在大多数情况下高度依赖于

专家经验[3]。

能量管理问题可以看作是一个有约束的水平序列优化问题[4]。在

各种求解方法中，基于EMS的动态规划（DP）可以提供数值全局最

优解[5]。然而，在实施基于DP的EMS之前，必须知道车辆的操作条

件和模型随机动态规划（SDP）[6]，庞特里亚金使用这些方法，准最

优解可以通过实时实现。然而，需要精确的系统模型和未来驾驶条件

的信息来实现高性能[9，10]。

强化学习（RL）作为一种机器学习，在EMS开发中越来越受到关注

[11]。当应用RL时，约束序列决策优化问题的解可以通过与环境交互来

逐步学习，而不依赖于系统模型和驾驶条件的先验知识。基于RL的方法

具有适应环境变化的潜力，如能源的模型退化、车辆行驶条件或驾驶员

行为的变化等。Q-Learning作为一种基本的基于值的强化学习方法，已

经在各种混合动力汽车中提出，以解决能源管理问题[12，13]。基于Q-

Learning的方法的主要缺点是它只适用于离散的动作空间和状态空间，

而EMS需要在连续的动作和状态空间中实现

针对强化学习中的连续空间问题，给出了其求解方法。

通常涉及一个功能评估，以评估价值功能或/和策略功能。所使用的近

似函数可以是线性的或非线性的。通过对提取的状态特征进行线性组

合，实现了线性函数例如，多项式、傅立叶基、Corse编码和瓦片编码

是提取状态特征的常用函数[14，15]。

神经网络、高斯函数等非线性函数逼近器一般具有更好的泛化能

力，适应更多场景。在[16]中提出了一种基于高斯的RL非线性函数逼

近，解决了线性函数逼近的信息损失问题。深度神经网络已被广泛应用

为强化学习的函数逼近方法。大量的深度强化学习（DRL）算法已经被

迅速开发和研究[17]。对于EMS问题，已经提出了DRL，如深度Q网络

（DQN）[18]和深度确定性策略梯度（DDPG）[19]，并取得了有趣的结

果[20]。然而，基于深度神经网络的非线性函数逼近存在计算复杂度

高、超参数调整困难等缺点，阻碍了其实际应用[21]。

模糊推理系统（FIS）是在模糊集合上定义输入、输出和状态变量的

系统。它抓住了人脑思维的模糊性，可以模仿人的综合推理来处理常规

数学方法难以解决的问题[22]。与神经网络相似，FIS也具有良好的泛化

能力和函数逼近能力。FIS函数近似器在强化学习中的第一个应用是模糊

Q学习（FQL），其中使用FIS引擎来近似状态-动作值函数[23]。在能源

管理中，FQL被应用于解决能源管理的最优化问题[24，25]，以减少能

源损失，提高效率和经济性。在我们以前的工作中，也提出了一种基于

EML的燃料电池混合动力汽车EMS，

[26]以延长燃料电池的寿命即使计算量很低

虽然在这项工作中已经证明了这一要求的合理性，但Q-Learning的固有

缺点，例如值高估和大的训练方差，并没有得到很好的解决。

为了克服FQL的缺点，FIS也可以用作策略函数逼近器以形成模糊策

略梯度（FPG），并且在策略梯度学习范例中通常可以实现更快和更平

滑的收敛[27]。蒙特卡罗策略梯度（Monte-Carlo Policy Gradient，简称

REINFORCE）是一种策略梯度RL方法，可用于求解连续状态离散动作空

间。同时，在学习过程中，智能体可以探索动作空间，并通过在目标动

作附近进行小扰动来避免陷入局部最优[28]。

本文提出了一种基于模糊REINFORCE的混合动力电动汽车EMS方

法，该方法将FIS应用于蒙特卡洛策略梯度中的策略函数估计。此

外，为了抑制REINTRONIC的训练方差，本文还使用了模糊基线函数

[29]。由于所提出的方法的无模型特性，EMS控制器不需要精确的系

统模型。最优控制可以通过与环境的相互作用来实现。此外，学习模

糊REINFORCE基于EMS也表现出令人满意的鲁棒性未知的外部输入

和不同的系统状态。因此，本文的主要贡献如下：

模糊REINFORCE，作为一个无模型学习的EMS，最初提出来解决

FCHEV的能量管理问题

提出了模糊基线函数来抑制模糊再训练算法的训练方差;

所提出的方法的适应性的驾驶条件和系统状态的变化是合理的。

建议的模糊REINFORMATION已成功地实现在单片机和实时，这证明

了它的低计算要求。

第二部分介绍了混合动力电动汽车能量系统的建模，包括燃料电

池、蓄电池和整车动力学模型。第3节描述了所提出的基于模糊增强的

能量管理策略的原理。第4节给出了仿真和硬件在环实验结果的分析。

论文最后在第五中结束。

燃料电池混合动力汽车能量系统

FCHEV的研究能量系统如图1所示。其动力源由燃料电池（FC）系统

和蓄电池系统组成。由于FC的动态响应慢，电池主要用于吸收多余的功

率并提供瞬时大功率输出。它们都通过DC/DC变换器共享直流母线，用

于提供负载所需的功率或吸收负载能量。

本文将对各部分的具体模型进行分析

2.1.

燃料电池模型

质子交换膜燃料电池（PEMFC）是一种低温

L. Guo

等人

能源与人工智能

（

2023

）

100246

蝙

蝠

bat

（）-

蝙

Fig. 1.

燃料电池混合动力汽车能源系统。

燃料电池是一种以氢气为燃料，以聚合物质子交换膜为导电介质的电化

学装置。产品只是水。PEMFC堆的单电池电压V

电池

可以表示为[30]：

辅助系统被认为是恒定电流负载

IAUX

。

燃料电池汽车的车型参数参考阿贡国家实验室（ANL）在模型中

电池

=370，电极有效面积为

Afc

282cm2

，阳极氢气压力高于大气压

50kPa，阴极氧气由空气压缩机从空气中获得。如图2所示，当电流为

439.8 A时，FC功率达到最大功率117.8 kW，效率为48.57%;当电流为

63.2 A时，FC效率达到最大效率55.21%，功率为

19.9 kW.对燃料电池模型的参数进行拟合，以匹配Mirai 关于Mirai I车

辆数据的更多详细信息，请参见[32]。

2.2.

电池模型

使用简单的一阶电路模型对电池单元进行建模[33]。电池组的模

型是根据单电池单元模型串联和并联实现的。开路电压

（

）

电池组的等效电阻R

bat

可以表示为：

细

胞

V =NV

nFnF

（一）

OC S oc

细胞

（六

）

（

损

失

）

（

lim

）

bat

cell

αF

lim

-i

ohm N

其中

1。23 V为标准大气压下燃料电池反应的开路电压，R

8。

3145是气体常数，T=

333

15 K是燃料电池温度，R

8。3145是气体常数，T

= 333。15 K为燃料电池温度，Δ T=T-273。15= 60K，n=2，

96485是法拉第常数，

1是传递系数，

是反应物和产物的局部

压力是电流密度。

损失

= 2 mA/cm

是电流损耗，i

= 0。003mA/cm

是交换电流密度。 I

lim

= 1.

6 A

是极限电流密度。R

欧姆

其中

，

cell

是单个电池的开路电压，

cell

是电池等效电阻，

是串联电

池的数量，

是电池组的并联电池。对于单电池组，根据图1所示的

映射函数，

、

cell

和

cell

取决于电池的荷电状态（SOC）。第3（a）

段。电池组的输出电流

bat

和电池荷电状态

SOC

bat

的演变由以下等式表

征。

batPbat

0的情况。11Ω是燃料电池的电阻。

对于FC堆栈，模型如下：

cell

我

蝙蝠

SoC

蝙

蝠

特

岛

Q dt

（七

）

当

bat

0时，电池放电，当

bat

0时，电池-

其中n

cell

是单个FC的数量，A

是FC电极板的有效面积。然后，FC电堆的

氢气消耗模型可以推导如下[31]：

特里被指控。Q

bat

是电池容量。考虑电池侧DC/DC转换器的功率损耗，

电池输出功率可以表示为：

ste

（

三

）

′

{

bat

放电

（

bat

）

（八

）

蝙蝠

bat

电荷

（

bat

0）

其中

stech

是

氢

的

消耗速率

，

是

氢的摩尔质量。

Pfc

是FC的输出功率转换器

其中P

′

是双向转换器的输出功率，其

模型将只关注其功率特性。FC的DC/DC转换器的效率模型为：

′

aux

（4

）

充电效率被认为是η

charge

=95%的恒定值，

放电效率与

放电

94相似。百分之四十四在我们的应用中，所研究电

池的容量设定为6.6 Ah，标准电压为244.8 V，这也是参考ANL [32]报

道的丰田Mirai I的参数。

其中P

′

是FC系统的输出功率。认为P

′

是

等于来自控制策略的功率命令η

是有效的。

燃料电池用DC/DC变换器的效率

aux

是辅助系统，

它包括空压机电机功率、水热管理系统功率和其它辅助控制系统功率。

那么辅助系统功率模型如下：

辅助

空气

辅助

空气

2π

空气

（五）

其中

空气

和

空气

分别是空气压缩机的扭矩和速度。空气压缩机的功率

与燃料电池的工作功率有关当燃料电池的功率较小时，空气压缩机

不工作。当燃料电池的功率大时，空气压缩机的所需功率增加。对

于其他部分，

图二、燃料电池

的输出电压和效率。

（

二

bat

蝙蝠

剩余12页未读，继续阅读

cpongm

粉丝: 6

燃料电池混合动力汽车能量管理的模糊REINFORCE函数逼近强化学习

基于模糊控制理论的混合动力汽车能源管理系统

混合动力汽车能量管理系统的模糊控制与仿真研究

模糊强化学习

async_deep_reinforce：深度强化学习的异步方法

keras实现REINFORCE算法强化学习

强化学习算法-基于python的强化学习reinforce算法实现

reinforce:Python中的简单强化学习

强化学习-Reinforce_调研与实现_RL-Reinforce.zip

强化学习算法-基于python的reinforce算法实现

"强化学习入门宝典：Pytorch实现九种DRL算法的详细教学与实战",强化学习之九种DRL算法Pytorch实践教程：从REINFORCE到PPO-discrete-RNN算法教学解析,强化学习教学

最新资源