高帧率Respeaker声源定位与AWS IoT应用

"2019 SEU-Xilinx国际暑期学校项目设计文档_第26组1" 本项目是2019年东南大学（SEU）与Xilinx联合举办的国际暑期学校活动中的一个团队项目，由第26组完成。项目主要涉及声源方向检测（DOA）算法和语音识别（STT）技术，并结合Amazon Web Services（AWS）的物联网（IoT）应用。团队成员包括萧嘉乐、袁霄亮和孔昶，分别负责不同的工作模块。 项目设计概述： 1. 功能说明：项目旨在利用PYNQ开发板和4-mic Respeaker外设，实现实时声源方向检测和语音识别功能。DOA算法确定声源的位置，STT算法将语音转换为文本。两者结合，可以在多种应用场景中发挥作用，如安防监控、机器人控制、视频会议等。 2. 设备清单：PYNQ开发板、4-mic Respeaker、AWS平台、Amazon GreenGrass Core、百度智能云服务。 技术实现： - DOA算法：在硬件层面上，通过在PYNQ开发板的可编程逻辑（PL）部分部署RTL实现的DOA算法，以硬件加速提高处理速度，确保算法能实时处理由Respeaker收集的声音数据，从而确定声源方向。 - STT算法：Respeaker用于录音，然后将音频数据发送至百度智能云进行语音识别。识别后的文本在PYNQ的Jupyter环境中显示，适用于语音输入、人机交互等多种场景。 - AWS IoT系统：项目采用AWS的GreenGrass Core建立IoT架构。Core作为控制器和传感器之间的通信核心，接收Controller的指令，控制外设并转发数据。这样，系统可以实现远程控制和数据交换，增强了系统的可扩展性和灵活性。 项目结构与分工： - 萧嘉乐（组长）：负责搭建Respeaker DOA算法的PL-PS系统，确保硬件加速功能的实现。 - 袁霄亮：负责搭建AWS GreenGrass Core系统，构建IoT通信环境。 - 孔昶：负责调试基于PS的DOA算法和STT算法，确保准确性和实时性。 通过这个项目，团队成员不仅掌握了高级的硬件描述语言和软件开发技术，还实践了物联网系统的设计和部署，展现了跨学科的综合能力。同时，项目也为实际应用场景提供了创新解决方案，展示了声学与云计算技术的融合潜力。