提升二值神经网络：残差二元神经网络ResBinNet

"本文介绍了ResBinNet，一种结合了残差二值化和温度调整方法的二元神经网络，旨在解决二进制卷积神经网络（BCNNs）的收敛速度慢和精度有限的问题。通过学习多级二进制表示和逐步权重二值化，ResBinNet提升了二值神经网络的性能。文章中还展示了硬件加速器的实现，证明了ResBinNet的实用性和可扩展性，允许在运行时间和推理精度之间进行权衡。" 在深度学习领域，二进制神经网络（BNNs）因其极高的计算效率和内存效率而备受关注。然而，它们通常面临训练难度大和精度损失的问题。ResBinNet是针对这些问题提出的一种新方法，它结合了两种策略：残差二值化和温度调整。 1. 残差二值化：这种方法不是简单地将神经网络层的特征映射二值化，而是学习它们的多级二进制表示。这使得网络能够捕获更复杂的特征，从而提高模型的准确性。通过使用多级二进制表示，ResBinNet能够在保持高效的同时，更好地模拟全精度网络的行为。 2. 温度调整：这是一种逐步二值化权重的技术。在训练过程中，权重不是立即被二值化，而是随着时间的推移逐渐逼近二进制值。这种策略允许网络在训练初期使用更丰富的表达能力，随着训练的进行，逐渐过渡到二进制形式，从而改善收敛速度。 ResBinNet的训练过程如图1所示，包括残差二值化的多级表示学习和权重的温度调整过程。图2进一步解释了3级残差二进制估计的计算流程，随着网络深度增加，估计的准确性提高。图3对比了传统1级二值化与残差二级二值化的区别，显示了残差二值化如何增强激活函数的表现。 图4展示了温度参数如何影响权重的软二进制估计，以及边界参数如何影响每个权重矩阵。通过调整这些参数，可以在保持网络性能的同时优化二值化过程。图5和图6则分别展示了训练过程中权重分布的变化和硬件架构的比较。 表1列举了评估基准网络架构，而表2则对比了ResBinNet与其他模型在模型大小、训练迭代次数和准确性上的表现。图7分析了在不同残差水平下ResBinNet在资源利用和延迟精度折衷方面的效果。 ResBinNet通过创新的二值化策略，不仅提高了二进制神经网络的训练效率和精度，还展示了在硬件实现中的潜力，为轻量化深度学习模型的发展开辟了新的可能。