没有合适的资源?快使用搜索试试~ 我知道了~
首页Ultra96平台上的实时行人检测系统设计与实现
Ultra96平台上的实时行人检测系统设计与实现
需积分: 0 1 下载量 177 浏览量
更新于2024-08-04
收藏 1.66MB PDF 举报
本项目是2019年SEU-Xilinx国际暑期学校的团队作品,名为“基于Ultra96的行人检测系统”,由鲍春担任组长,负责FPGA程序开发和系统整体架构设计,胡心雨负责深度学习模型开发与训练,常乐则负责嵌入式程序开发和DPU软件调试。设计的主要目的是将高性能的行人检测算法——SSD(Single Shot MultiBox Detector)移植到嵌入式系统,尤其是Ultra96平台上,以解决在实际应用中的实时性和低功耗需求。 系统概述部分阐述了深度学习在计算机视觉领域的快速发展,特别是行人检测技术在智能领域的广泛应用,如机器人、安防监控和无人驾驶。然而,传统的行人检测算法在嵌入式环境中的实时性能通常较差,因此,本项目选择基于DPU框架,利用Ultra96的计算能力,优化模型以适应嵌入式设备,以实现高效能的行人检测。 功能说明部分,系统分为三个核心模块:图像采集模块,主要负责摄像头捕获图像;图像处理模块,通过Ultra96的硬件加速进行深度学习模型的运行,对图像进行行人检测;结果显示模块,将处理后的结果通过HDMI显示单元实时呈现。整体设计旨在实现从摄像头输入到实时结果输出的完整流程。 系统流程详细描述了基于SSD网络的行人检测过程,首先从USB摄像头获取图像数据,然后通过DPU进行计算加速,最后将检测结果通过PL端的HDMI接口显示出来,确保整个过程能在嵌入式环境中保持实时性。 这个项目不仅关注技术实现,还考虑了实际应用的挑战,通过模型压缩来降低计算负担,以满足嵌入式设备的性能限制,体现了对理论与实践相结合的重视,是嵌入式人工智能领域的有益探索。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86335816/bg3.jpg)
3. 系统流程
(1)使用 SSD 网络基于 caffe 框架在训练行人数据集上进行训练
1)预训练模型,SSD 使用 VGG 作为前端网络,训练自己数据时首先加载预训练模型权重,加快模型收敛
速度;
2)制作数据集,选用行人数据集 INRIA,并转化成 VOC 格式;
3)将 VOC 转换成 lmdb 文件,通过运行配置文件完成;
4)对 SSD 网络进行训练,选用远程服务器,显卡型号 Titan V,运行环境 Ubuntu16.04;
5)得到已经训练好的模型及原型文件:SSD.caffemodel 和 SSD.prototxt。
(2)Ultra96 板卡加速 SSD 网络实施
1)板卡加载 SD Card 镜像驱动;
2)上位机配置虚拟机环境,并配置深度学习 caffe 环境;
3)将训练好的权重文件(SSD.caffemodel)和原型文件(SSD.prototxt)载入虚拟机中;
4)运行配置文件对模型进行裁剪;
5)将裁剪完的模型进行量化生成.elf 文件;
6)将两个文件交叉编译生成可执行文件;
7)将生成的可执行文件下到目标板中,并运行可执行文件。
4. 硬件设计
(1)设备清单
Ultra96,USB 摄像头,显示屏,sd 卡,转接线
(2)Ultra96 平台
表 1 Ultra96 资源
主处理器
Xilinx Zynq UltraScale + MPSoC ZU3EG SBVA484
Memory
Micron 2 GB(512M x32)LPDDR4 内存
Data Storage
Delkin 16 GB MicroSD 卡+适配器
Connectivity
Wi-Fi /蓝牙
Display
Mini DisplayPort(MiniDP 或 mDP)
Micro-B
1 个 USB 3.0 型 Micro-B 上游端口
USB
2 个 USB 3.0 A 型,1 个 USB 2.0 HS 夹层下游端口
Other
40 针 96B 低速扩展接头,60 针 96B 高速扩展接头
剩余11页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/60e31b617ba8460a856d3cf4bfe941e3_weixin_35812176.jpg!1)
乔木Leo
- 粉丝: 29
- 资源: 301
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)