基于PYNQ的调酒机器人设计：图像处理与机械臂控制

2019年SEU-Xilinx国际暑期学校团队项目设计文档，由李明莉、葛倍倍、张俊杰和钱佳四位成员合作完成，他们针对"基于PYNQ的调酒机器人"这一主题进行了深入设计。该系统的核心目标是利用PYNQ板卡进行图像处理与机器人的智能控制，以实现自动调酒功能。 在硬件方面，设计中使用了两块PYNQ板卡，一块负责摄像头驱动、图像预处理（如高斯滤波、腐蚀、膨胀）和颜色识别，通过OV5640 CMOS单目摄像头获取1280x720像素的图像，并通过HLS工具实现算法。另一块板卡则承担跟踪算法、机械臂控制和视频显示的任务。系统中还包括一个机械臂，用于抓取和操作酒瓶，以及一个液晶显示器用于显示处理后的图像和结果。 软件部分，组员们分工明确：组长负责编写识别算法和机械臂控制程序，组员1负责制定项目整体方案和编写SDK裸机程序，组员2负责HLS图像预处理和跟踪算法，而组员3负责Vivado工程程序和HLS算法的调试。项目使用了Python库PYNQ进行开发，通过Jupyter环境实现目标跟踪。 设计概述中强调了系统的主要功能，包括实时视频采集、图像预处理、颜色识别、目标跟踪和机械臂操作。设备清单列出了所需的硬件组件，如两个PYNQ板卡、OV5640摄像头模组、一台机械臂、一台液晶显示器、笔记本电脑以及电源适配器。 详细设计部分，提供了系统的详细架构图，展示了两块PYNQ板卡之间的连接和功能分工。板卡1的系统框图中，涵盖了AXI、VDMA接口、摄像头接口、颜色识别IP核以及HDMI输出，强调了中断响应、自定义IP核参数配置和IIC通信的设置。板卡2的功能则集中于跟踪算法、机械臂控制以及视频显示。 这个项目结合了硬件和软件技术，实现了图像处理、机器视觉和控制系统的集成，展现了学生们在Xilinx PYNQ平台上的创新能力和实践应用能力。通过这份设计文档，可以了解到他们在实际操作中的思考过程和步骤，这对于理解基于PYNQ的系统设计和人工智能在机器人领域的应用具有很高的参考价值。