FPGA上深度学习加速器的算法-硬件协同设计：Synetgy与DiracDeltaNet

在2019年的FPGA会议上，一项名为"Synetgy: Algorithm-hardware Co-design for ConvNet Accelerators on Embedded FPGAs"的研究引起了广泛关注。随着近年来FPGA被广泛用于深度学习尤其是卷积神经网络（ConvNet）的加速，传统设计往往侧重于计算操作数量（如GOPs，即Groups of Operations）的优化，而忽略了对实际应用至关重要的性能指标，如帧速率（FPS）和准确性。这项研究强调了算法与硬件协同设计的重要性。 研究人员，包括来自UC Berkeley、清华大学、Politecnico di Torino和Xilinx Research Labs的专家，提出了一种创新方法。他们开发了一个名为Synetgy的专用ConvNet加速器，以及一个名为DiracDeltaNet的新模型。这两者的设计都是为了充分满足FPGA的特性和需求。 Synetgy加速器的核心理念是将算法设计与硬件实现紧密结合，以提升整体性能。它不仅仅关注GOPs的效率，而是同时考虑如何在保持或甚至提高精度的同时，提供更高的帧处理速度。这意味着该加速器在设计上可能采用了并行处理、流水线优化、低延迟的数据传输和高效的资源调度等技术，以在有限的FPGA资源内实现高效率的卷积运算。 DiracDeltaNet模型则是专为适应Synetgy加速器而定制的。它可能采用了特殊的架构或优化策略，如轻量化网络结构、瓶颈层设计或者利用稀疏连接，以减少计算负担，同时保持或增强模型在特定任务上的表现。这种模型的提出，旨在探索在硬件约束下，如何通过算法调整来提升整体系统的效能。 此外，论文中提到的"DiracDeltaNet"名称可能暗示了模型具有类似Dirac delta函数的特性，即在网络权重或激活函数中寻找极简但高效的表现形式，这在资源受限的FPGA环境中尤其有价值。 这项研究代表了在FPGA上进行深度学习加速的新趋势，它强调了兼顾算法效率和硬件性能的系统级设计，不仅关注性能提升，而且注重实际应用中的关键指标。这对于推动嵌入式FPGA在深度学习领域的实际部署和应用具有重要意义。