位剪枝优化稀疏无乘法神经网络：BIT-PRUNING for Energy-Efficient Deep Learning

本文档《BIT-PRUNING: A SPARSE MULTIPLICATION-LESS DOT-PRODUCT》是在ICLR 2023会议上发表的一篇论文，主要关注在资源受限的边缘设备上实现高效神经网络的方法，特别是针对深度神经网络（DNNs）中的能量效率问题。传统的DNN计算密集，特别是点积操作中的乘法（MULT），消耗了大量能量和空间，对于边缘设备来说是个挑战。 作者们提出了一种名为“位剪枝”（bit pruning）的技术，这是一种稀疏多乘法（MULT）替代方案，旨在减少能量消耗。他们首先将整数权重和激活值的点积转换为由加法和位移（add-shift-add）构成的等效操作，其中加法的数量取决于整数权重的二进制位数。通过这种方法，他们能够动态地在训练过程中去除不必要的位，从而减少计算步骤中的能量开销。 位剪枝与传统的权重剪枝不同，它不是简单地裁剪权重元素，而是针对位进行操作，因此可以视为一种软权重修剪策略。研究者展示了经过比特剪枝的稀疏Mult-less网络在保持精度的同时，相较于使用权重剪枝的稀疏Mult网络，能够在精确度和能量消耗之间实现更好的平衡。 文章还提到了其他试图降低能量消耗的方法，如量化和固定点表示（如FIX32和FIX8），以及通过限制Mult运算的复杂性（例如，通过幂运算的优化或使用位移）。尽管这些技术已经取得了一些进展，但它们通常会限制网络的结构灵活性。比特剪枝作为一种新的剪枝策略，允许在不牺牲性能的前提下，更加灵活地控制能量消耗。 此外，文中提供了实验数据，对比了ASIC（45nm工艺）和FPGA（ZYNQ-7ZC706）在能耗和面积方面的差异，显示低精度的Mult操作在节省能源方面具有明显优势。该研究为设计能在边缘设备上高效运行的神经网络提供了一个创新且实用的解决方案。代码可以在https://github.com/DensoITLab/bitprune获取，供有兴趣的研究者进一步探索和应用。