没有合适的资源?快使用搜索试试~ 我知道了~
首页GPU加速的改进光流法在视觉SLAM中的应用与优化
GPU加速的改进光流法在视觉SLAM中的应用与优化
需积分: 0 1 下载量 105 浏览量
更新于2024-06-30
收藏 5.95MB PDF 举报
"基于改进光流法的视觉SLAM技术是一篇针对移动机器人、无人机和自动驾驶等领域研究的重要课题,其核心目标是通过结合实时定位和环境建模,实现自主导航和控制。本文由重庆大学研究生刘冰撰写,其硕士学位论文探讨了视觉SLAM这一关键技术,主要围绕Kinect 1.0和小觅摄像头这两种视觉传感器展开。 首先,作者回顾了SLAM技术的发展历程,强调了稀疏性在图优化SLAM中的作用,并介绍了当前流行的开源SLAM系统以及成功应用于工业实践的商业化案例,明确了本文的研究重点在于视觉SLAM方法的改进。 接着,作者深入分析了视觉SLAM的理论基础,涵盖了相机模型及其工作原理,特别是Microsoft Kinect 1.0如何通过测量深度来构建三维空间。此外,作者讨论了三维空间中刚体运动的数学描述,以及如何利用李群李代数优化位姿问题。在图像处理方面,文章着重探讨了特征点检测及其在视觉SLAM中的重要性。 进一步,论文的核心贡献在于对传统光流法的优化。基于GPU加速,作者提出了一种改进的光流法,这种方法在保持高精度的同时提高了计算效率,这对于实时性能要求极高的视觉SLAM至关重要。作者将这种改进应用于RGBD SLAM(基于RGB和深度信息的SLAM)算法,优化了系统性能。 最后,文章还探讨了如何将改进的光流法应用到VINSMono(一种单目视觉SLAM系统)上,以提升其在单一相机下的定位和建图能力。通过这些改进,本文旨在推动视觉SLAM技术的发展,使其在实际应用中更加可靠和高效。 这篇硕士学位论文不仅提供了对视觉SLAM技术的全面理解,还展示了作者在该领域的创新性工作,为未来的研究和工程实践提供了有价值的技术支撑。"
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86312778/bgf.jpg)
1 绪论
5
算法和应用。随后按照目前优秀的开源算法和优秀的国内外 SLAM 的商业应用进
行分别阐述。
图 1.4 SLAM 的前端和后端
Fig. 1.4 Front End and back end in SLAM
1.2.1 优秀开源算法
随着 SLAM 技术的飞快发展,涌现了许多优秀的开源 SLAM 算法,列举现阶
段比较优秀的视觉 SLAM 算法进行介绍:
ORB-SLAM/ORB-SLAM2
[10][11]
ORB-SLAM 是一个基于特征点的实时单目
SLAM 系统,在大规模的、小规模的、室内室外的环境都可以运行,该系统在剧烈
运动下鲁棒性依然很好,支持闭环检测和重定位,并能够自动初始化。该系统包含
了所有 SLAM 系统共有的模块:跟踪(Tracking)、建图(Mapping)、重定位
(Relocalization)、闭环检测(Loop closing)。 ORB-SLAM 主要分为三个线程进行,
如图 1.5 所示的,分别是 Tracking、LocalMapping 和 LoopClosing:
图 1.5 ORB SLAM
Fig. 1.5 ORB SLAM
万方数据
![](https://csdnimg.cn/release/download_crawler_static/86312778/bg10.jpg)
重庆大学硕士学位论文
6
① 跟踪(Tracking):这一部分主要工作是从图像中提取特征点,根据上一帧
进行姿态估计,或者进行通过全局重定位初始化位姿,然后跟踪已经重建的局部地
图,优化位姿,再根据一些规则确定新的关键帧。
② 建图(LocalMapping):这一部分主要完成局部地图构建。包括对关键帧的
插入,验证最近生成的地图点并进行筛选,然后生成新的地图点,使用局部捆集调
整(Local Bundle Adjustment)
[24]
,最后再对插入的关键帧进行筛选,移除多余的
关键帧。
③ 闭环检测(LoopClosing):这一部分主要分为两个过程,分别是闭环检测
和闭环校正。闭环检测利用 DBoW2
[25]
进行回环检测,然后通过计算相似变换;闭
环校正,主要是闭环融合和 Essential Graph 的图优化。
DSO(Direct Sparse Odometry)
[26]
,是慕尼黑工业大学(Technical University of
Munich, TUM)计算机视觉实验室的雅各布.恩格尔(Jakob Engel)博士在 2016 年
发布的一个视觉里程计开源程序。
DSO 属于稀疏直接法,它不是完整的 SLAM,因为它不包含回环检测、重定
位等功能。因此,它不可避免地会出现累计误差。直接法 SLAM 容易受光照的影
响,因此 DSO 提出了光度标定,在对相机标定后,使算法鲁棒性更好。DSO 方
法并没有像特征点方法一样通过最小化重投影误差来优化相机的位姿与地图点的
位置,而是最小化了光度误差来进行优化;利用直接法将数据关联与位姿估计放
在同一个统一的非线性优化问题中进行估计,DSO 会一直求解一个比较复杂的优
化问题,它没有“匹配点”的概念,每一个三维点,从某个主导帧(Host Frame)
出发,乘上深度值之后投影至另一个目标帧(Target Frame),从而建立一个投影
残差(Residual)。只要残差在合理范围内,就可以认为这些点是由同一个点投影
的。DSO 并不在意这些点与点的匹配关系,只要残差不大,我们就看成是同一个
点。在特征点法中,我们可以找到一个地图点分别在哪些帧中被看到,乃至找到
各帧中的图像描述子是什么;但在 DSO 尝试把每个点投影到所有帧中,计算它
在各帧中的残差,而并不在意点和点之间的一一对应关系
[27]
。图 1.6 为 DSO 算法
生成的稀疏的点云地图,细节部分可以看出点云的效果非常好。
万方数据
![](https://csdnimg.cn/release/download_crawler_static/86312778/bg11.jpg)
1 绪论
7
图 1.6 DSO 生成的稀疏地图
Fig. 1.6 Sparse Map by DSO
Semi-direct monocular Visual Odometry(SVO)
[17][18]
,是苏黎世大学机器人感
知组的克里斯蒂安.弗斯特等人,于 2014 年 ICRA 会议上发表的工作。SVO 使用了
一种半直接的稀疏法,利用图像中具有明显的图像梯度的像素点进行估计相机的
运动。直接法使用的优点就是处理图象帧的速度特别快,SVO 的处理速度能够达
到 100 多帧每秒,主要使用在了无人机上,也是最初开发 SVO 的目标应用平台。
图 1.7 SVO 跟踪与建图流程
Fig. 1.7 SVO Tracking and Mapping Pipeline
万方数据
![](https://csdnimg.cn/release/download_crawler_static/86312778/bg12.jpg)
重庆大学硕士学位论文
8
SVO 的整体框架如图 1.7 所示,跟踪部分主要负责利用半直接法跟踪图像中
具有明显像素梯度的点,并以此进行相机位姿的估计,建图部分的主要任务是利用
深度滤波器
[28]
用来估计特征点的深度,当特征点的深度收敛时,就生成了新的地
图点,加入跟踪部分用来进行跟踪。
VINS Mono
[29][29]
是香港科技大学沈劭劼团队开源的一套 Visual Inertial 融合定
位算法,目前不仅仅包括基于机器人操作系统(Robot Operating System,ROS)
的版本,并且还包括了 IOS 版本。VINS Mono 共包括五部分,第一部分是观测值
数据预处理(Measuremen Preprocessing):包含图像数据跟踪与惯性测量元件
(Inertial Measurement Unit,IMU)数据预积分;第二部分是初始化
(Initialization):包含单纯的视觉初始化和视觉惯性联合初始化;第三部分是局
部 BA 联合优化和重定位(Local Visual-Inertia BA and Relocalization):包含一个
基于滑动窗口的 Bundle Adjustment 优化模型;第四部分是全局图优化(Global
Pose Graph Optimization):只对全局的位姿进行优化;第五部分回环检测(Loop
detection):主要检测是否发生回环。
1.2.2 国内外应用现状
① 家用机器人/服务机器人
家庭环境、服务环境相对简单,是 SLAM 应用的比较成功的场景,家用机器
人、服务机器人搭载的传感器一般比较简单和廉价,比如超声波传感器、单线激光
雷达、视觉传感器,其中比较具有代表性的家用机器人是小米扫地机器人。小米扫
地机器人搭载了一个自主研发的单线激光雷达,如图 1.8 所示(图中的白色凸起即
为激光雷达),它能够持续不断的对自身进行定位,对周围的环境进行建图,利用
建立好的地图进行路径规划,实现对整个房间进行清扫,并可以在电量不足的情况
下自动回充电桩进行充电。
图 1.8 小米扫地机器人
Fig. 1.8 Xiaomi Robot
万方数据
![](https://csdnimg.cn/release/download_crawler_static/86312778/bg13.jpg)
1 绪论
9
② 虚拟现实/增强现实
虚拟现实和增强现实是是 SLAM 应用的重要方向,Microsoft HoloLens 是目前
使用效果最好的增强现实设备,HoloLens 是一个基于深度摄像头,高性能处理器
和双屏幕显示的头戴设备,主要支持实时的三维计算、精确位姿确定、图像识别三
种技术,图 1.9 是设计人员利用 HoloLens 进行工业设计。
图 1.9 用 HoloLens 进行设计
Fig. 1.9 Design with HoloLens
③ 无人驾驶
在无人驾驶汽车领域,Google 一直走在世界的前列,并将 Waymo 拆分为一个
单独的公司,2017 年 10 月,Waymo 正式发布了一份关于自动驾驶安全性的报告
[31]
,报告中介绍,无人车在行驶过程中需要处理一下几个问题,如图 1.10 所示:
我在哪?周围的环境是怎样的?接下来要发生什么?我应该怎么做?
图 1.10 无人车需要解决的问题
Fig. 1.10 Self-driving vehicles need to answer those questions
万方数据
剩余90页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/f6611d1f96f247dfa0a03cdadd65386f_weixin_35824356.jpg!1)
田仲政
- 粉丝: 15
- 资源: 332
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 谷歌文件系统下的实用网络编码技术在分布式存储中的应用
- 跨国媒体对南亚农村社会的影响:以斯里兰卡案例的社会学分析
- RFM2g接口驱动操作手册:API与命令行指南
- 基于裸手的大数据自然人机交互关键算法研究
- ABAQUS下无人机机翼有限元分析与局部设计研究
- TCL基础教程:语法、变量与操作详解
- FPGA与数字前端面试题集锦:流程、设计与Verilog应用
- 2022全球互联网技术人才前瞻:元宇宙驱动下的创新与挑战
- 碳排放权交易实战手册(第二版):设计与实施指南
- 2022新经济新职业洞察:科技驱动下的百景变革
- 红外与可见光人脸融合识别技术探究
- NXP88W8977:2.4/5 GHz 双频 Wi-Fi4 + Bluetooth 5.2 合体芯片
- NXP88W8987:集成2.4/5GHz Wi-Fi 5与蓝牙5.2的单芯片解决方案
- TPA3116D2DADR: 单声道数字放大器驱动高达50W功率
- TPA3255-Q1:315W车载A/D类音频放大器,高保真、宽频设计
- 42V 输入 5A 降压稳压器 TPS54540B-Q1 的特点和应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)