没有合适的资源?快使用搜索试试~ 我知道了~
首页改进CB-HAQL算法提升无人机导航性能与效率
本文主要探讨了在无人机自主导航领域中,如何通过改进基于案例推理启发式Q学习(CB-HAQL)算法来提高导航性能。CB-HAQL算法依赖于案例库,案例库的质量对其策略收敛至关重要。原始的CB-HAQL算法在案例库更新上存在不足,可能导致学习效果受限。 为了克服这个问题,研究者提出了一个改进的CB-HAQL算法,该算法的核心改进包括三个方面: 1. 触发式案例库更新机制:算法设计了一种根据迭代次数动态调整的案例库更新策略。当达到预设的阈值时,才进行案例库的生成或更新,这样可以确保案例库的质量,避免频繁且无谓的更新带来的资源浪费,进而提高学习的稳定性和效率。 2. 动态参数调整:算法引入了动态参数,允许智能体根据对环境的掌握程度调整案例对动作选择的影响。这使得学习过程更加自适应,智能体可以根据环境变化调整启发式程度,从而更好地找到最优策略。 3. 经验倾向性探索:为了加速学习过程,研究者加入了经验倾向性探索的动作策略。这意味着在智能体学习过程中,会优先选择那些基于先前经验更可能产生良好结果的动作,减少了盲目探索,提高了学习效率。 通过这些改进,改进后的CB-HAQL算法在实际应用中展现出更好的策略质量和训练速度。在无人机导航任务中,它不仅能够有效地避开障碍物,而且能更快地学习并适应复杂环境,证明了其在自主导航领域的实用性和有效性。 总结来说,这篇论文旨在解决CB-HAQL算法在实际应用中的问题,并通过引入创新的策略优化了无人机的导航性能。这种改进不仅提升了算法的收敛性,还提高了导航任务的执行效率,对于推动无人机自主导航技术的发展具有重要意义。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/18270354/bg1.jpg)
收稿日期:20190111;修回日期:20190311
作者简介:胡丹丹(1979),女,吉林柳河人,副教授,硕导,硕士,主要研究方向为机器人感知与认知;莫宇帅(1992),男(通信作者),河南林州
人,硕士,主要研究方向为多旋翼飞行器自主控制(ys_mo@qq.com).
基于改进 CBHAQL算法的无人机导航方法研究
胡丹丹,莫宇帅
(中国民航大学 机器人研究所,天津 300300)
摘 要:针对基于案例推理启发式 Q学习(CBHAQL)算法受案例库质量影响而无法收敛到较优策略的问题,
提出基于有效触发机制改进的 CBHAQL算法。首先,根据迭代次数设置触发式案例库更新机制,只在达到阈值
时生成或更新案例库,保证案例库质量;其次,设置动态参数调整案例对动作选取影响,使智能体根据对环境掌
握程度决定启发影响大小;最后,加入经验倾向性探索动作加快学习效率。实验证明,改进后的算法提升了策略
质量和训练速度,无人机完成导航任务证明了学习策略的有效性。
关键词:无人机;避障;自主导航;CBHAQL;触发机制
中图分类号:TP399 文献标志码:A 文章编号:10013695(2020)07030206804
doi:10.19734/j.issn.10013695.2019.01.0024
ResearchonUAVnavigationmethodbasedonimprovedCBHAQLalgorithm
HuDandan,MoYushuai
(RoboticsInstitute,CivilAviationUniversityofChina,Tianjin300300,China)
Abstract:ThequalityofcasebasewouldaffecttheconvergenceeffectofCBHAQLalgorithmstrategy.Aimingatthefact,this
paperdevelopedanimprovedCBHAQLalgorithmbasedoneffectivetriggeringmechanism.Firstly
,thealgorithmsetthetrigger
casebaseupdatemechanismaccordingtothenumberofiterations.Inordertoensurethequalityofthecasebase,onlywhenthe
thresholdwasreached,thealgorithmgeneratedorupdatethecasebase.Secondly,thedynamicparameterwassettoadjustthe
impactofthecaseonactionselection,sothattheagentcoulddeterminethesizeofheuristicinfluenceaccordingtothedegree
ofmasteryoftheenvironment.Finally,thealgorithmaddedexperienceorientedexploratoryactiontoacceleratethelearningef
ficiency.Experimentsshowthatthealgorithmimprovesthestrategyqualityandtrainingspeed
,andtheUAV’snavigationtask
provestheeffectivenessoflearningstrategy.
Key words: UAV; obstacle avoidance; autonomous navigation; case based heuristically accelerated Qlearning
(CBHAQL);triggermechanism
随着多旋翼无人机应用场景的多样化,其运行环境更具未
知性、复杂性和动态性。在未知环境中执行任务时,没有确切
的环境数学模型作参考,传统的基于环境模型的路径规划算法
不能满足任务需求,如 A
算法、人工势场法等。无人机需具
备环境感知和自主导航能力。
由于强化学习允许无人机在没有环境模型的情况下自学
习生成策略并实现在未知环境中自主导航,越来越多的学者参
与到强化学习的研究与应用中。文献[1]采用 Q学习算法,用
视觉像素中心与参考点之间相对关系为状态,水平移动为动
作,实现无人机定点悬停。但其实验环境为较理想环境,未考
虑传感器噪声的影响。文献[
2]采用 Q学习算法,以无人机水
平位置为状态输入,水平方向移动为动作,实现无人机在平面
上自主到达指定位置。但该方法环境单调,未考虑避障等功
能。文献[
3]将基于模型的强化学习算法 TEXPLORE应用于
无人机自主导航。TEXPLORE快速对模型中不确定且有希望
用于最终策略的状态进行有针对性的探索,减少训练次数。但
其训练效果过于依赖模型建立的质量。文献[4]针对 POMDP
和循环确定性策略梯度效率低等问题提出 FASTRDPG算法,提
高学习收敛速度,但该方法没有考虑传感器噪声,仿真环境理
想,不适合实际应用。为了避免过度训练和训练不足陷入局部
最优,文献[
5]采用自适应和随机探索方法(ARE)对 Q学习进
行优化,平衡了自学习和收敛随机搜索的自适应机制,保证训练
效果。但该方法对学习参数的优化和先前知识的转移提出了新
要求,且遇到复杂环境会极大增加参数优化及知识转移难度。
综上所述,虽然强化学习算法可以找到最优策略,但学习
效率低。目前算法改进主要针对提升学习效率,但多为理想条
件,不适合实际应用。为实现未知环境下的无人机导航控制,
本文在
CBHAQL算法基础上,添加有效触发机制确保学习收
敛效果,引入倾向性探索动作加速学习过程,并通过实际无人
机导航任务验证学习策略的有效性。
1 基于有效触发改进 CBHAQL的无人机导航方法
强化学习训练是不断试错的过程,考虑无人机安全性采用
离线学习的 Q学习模型。Q学习是一种无监督学习方式,经
典 Q学习算法在搜索策略上采用盲目搜索方式,智能体需要
多次遍历所有可能状态—动作对才能保证寻到最优解,该方式
存在时间和空间复杂度高、计算量大和学习速度慢等问题,策
略范围扩大时,问题更为突出
[6,7]
。
针对上述问题,文献[8]提出启发式强化学习(HAQL),采用
启发式搜索减少需要遍历的状态—动作对,提升学习速度。为用
以往成功案例指导当前训练,文献[9]在 HAQL算法的基础上引
入案例推理(
CBR)机制,提出基于案例推理的启发式 Q学习
(CBHAQL)算法,将成功经验存入案例库,智能体利用案例库中
相似案例的策略指导当前状态动作的选择。但 CBHAQL算法
受案例库质量影响难以收敛到满意策略,故本文引入触发机制
优化案例库质量,添加倾向性探索动作加快学习速度。
第 37卷第 7期
2020年 7月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No7
Jul.2020
下载后可阅读完整内容,剩余3页未读,立即下载
![application/x-dosexec](https://img-home.csdnimg.cn/images/20210720083343.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
weixin_38631738
- 粉丝: 4
- 资源: 971
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决本地连接丢失无法上网的问题
- BIOS报警声音解析:故障原因与解决方法
- 广义均值移动跟踪算法在视频目标跟踪中的应用研究
- C++Builder快捷键大全:高效编程的秘密武器
- 网页制作入门:常用代码详解
- TX2440A开发板网络远程监控系统移植教程:易搭建与通用解决方案
- WebLogic10虚拟内存配置详解与优化技巧
- C#网络编程深度解析:Socket基础与应用
- 掌握Struts1:Java MVC轻量级框架详解
- 20个必备CSS代码段提升Web开发效率
- CSS样式大全:字体、文本、列表样式详解
- Proteus元件库大全:从基础到高级组件
- 74HC08芯片:高速CMOS四输入与门详细资料
- C#获取当前路径的多种方法详解
- 修复MySQL乱码问题:设置字符集为GB2312
- C语言的诞生与演进:从汇编到系统编程的革命
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)