没有合适的资源?快使用搜索试试~ 我知道了~
首页FPGA软硬件协同设计:自动路标识别巡线车项目详解
FPGA软硬件协同设计:自动路标识别巡线车项目详解
需积分: 0 0 下载量 80 浏览量
更新于2024-06-30
收藏 2.36MB PDF 举报
2019年SEU-Xilinx国际暑期学校的项目设计文档,由王文杰、许巾一和何群芳组成的团队负责“自动路标识别巡线平衡车”项目。该小组在组长王文杰的带领下,进行了明确的任务分工。王文杰主要负责软件开发,包括串口通信调试、CNN设计与训练、SDK调试以及运动参数调试。组员许巾一负责Vivado平台的系统搭建和调试,以及硬件运动控制PID的设计实现。何群芳则专攻图像处理算法,包括设计IP、算法优化和CNN的硬件实现。 设计的核心目标是实现自动驾驶汽车的自动路标识别和巡线功能,以克服车载设备性能限制和远程控制带来的响应延迟问题。通过软硬件协同设计,利用FPGA的并行处理能力,将部分任务如图像处理和控制算法加速,其余部分则依赖于更高效的软件实现。这样的设计旨在降低FPGA的成本,提高系统的实时性和稳定性,使自动驾驶技术能够在资源有限的车载环境中得以实用。 设计中涉及到的主要技术包括计算机视觉(通过CNN识别路标)、嵌入式系统(使用FPGA进行硬件加速)、运动控制(PID算法的硬件实现)、以及物联网和边缘计算技术,以支持信息采集、路径规划和车辆控制。整个项目的时间管理也得到了详细的安排,每个成员都有明确的工作职责和进度计划。 在这个项目中,团队成员不仅需要深入理解各自的专业领域,还需要协作解决复杂的技术挑战,如算法优化、硬件与软件接口设计、以及实时性与性能的权衡。通过这个暑期学校项目,参与者不仅提升了技术技能,还锻炼了团队合作和项目管理能力。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86332141/bg4.jpg)
第二部分
设计概述 /Design Introduction
(请简要描述一下你的设计:1. 功能说明;2. 所用到的设备清单)
1 设计目的
设计目的
随着科技的发展,自动驾驶技术逐渐成为前沿科技中一个炙手可热的研究场景。自动驾驶汽车集成
了物联网,人工智能,运动控制等多个研究领域于一体,旨在实现汽车以机器学习为基础的自动路况认
知,解决方案推理和运动控制。其中,车辆需要自动识别车道、信号灯、路标等信息实现信息采集;整
合采集的信息进行路线规划和速度方向控制;根据反馈信号实现车辆运动的平稳控制。在实现这些功能
时,往往需要运用到复杂庞大的算法和数据,这会造成系统运行速度慢,响应延迟等致命的问题。
一方面,由于车载设备的体积限制,性能高成本高的计算机难以直接安装进汽车。另一方面,若远
程控制,数据的通信会消耗大量时间,无法实现系统实时响应,且稳定性堪忧。因此,车载自动驾驶设
备的实现需依托于边缘计算,物联网和嵌入式技术的支持。同时,为了提高系统的处理和响应时间,对
算法进行 FPGA 加速是目前比较主流的一种自动驾驶解决方案。
考虑到 FPGA 相对较高的成本和数据处理特性,将全部系统在 FPGA 中实现在实际场景中并非最佳的
解决方案。因此,基于 FPGA 并行处理的特性,对系统进行软硬件协同设计:将部分功能模块移植到 FPGA
中进行实现,其余模块使用软件实现。实现基于软硬件协同设计的自动驾驶系统,是自动驾驶技术实现
实际场景应用的关键。
本项目旨在运用 FPGA 硬件加速技术,研究如何在资源有限的情况下,对具有自动路标识别和巡线功
能的简单自动驾驶系统进行软硬件协同设计,并在嵌入式系统中进行实现。本项目将自动驾驶中的图像
处理算法和部分运动控制算法划分到硬件中,实现实时控制。同时,由于该自动驾驶系统需整合 Spartan7,
ESP32 和 STM32,,该项目也会对多处理器架构在自动驾驶领域的应用前景进行探索和研究。
2 功能说明
通过 MIPI 摄像头获取视频流后,在 SEA-S7 开发板中进行图像处理,实现寻线和路标识别。根据图
像处理信号,在 FPGA 中编写方向控制 PID,经由 SEA-S7 的串口与平衡车 STM32 通信,进行平衡车运动
控制,最后实现平衡车巡线运动,遇到路标时能够识别并作出对应的反应。
(1) 实现图像的传输和处理,得到正确的路线规划和路标识别结果;
(2) 实现 PID 控制,根据路线偏移输出正确的控制信息。
(3) 结合上述功能,实现整体系统,使平衡车实现寻迹和路标识别功能。最终平衡车运行效果如下图所
示:平衡车会通过车载 MIPI 摄像头实时识别黑线,并在黑线上前进,当遇到地面路标时(如图所示分
叉路口)平衡车会根据路标信息进行转向/停车的运动。
剩余19页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)