对比学习提升二值化神经网络性能

"本文提出了一种基于对比学习的神经网络二值化方法，旨在提升二进制神经网络（BNNs）的性能。该方法通过最大化二进制和全精度（FP）激活之间的互信息（MI），减少信息损失，从而增强BNN的表示能力。实验结果显示，这种方法能显著提高BNN在CIFAR-10/100和ImageNet等数据集上的性能，并且在NYUD-v2上表现出强大的泛化能力。" 在深度学习领域，神经网络的权重和激活的二值化是一种有效的模型压缩手段，它能将模型的计算和存储需求大幅度降低。然而，二值化过程往往导致性能下降，特别是激活函数的二值化，这是精度损失的主要来源。传统的做法主要关注减少权重的量化误差，而本文则聚焦于激活项的二值化问题。 作者们提出了一种新的对比学习框架，以解决BNN激活二值化导致的信息退化。对比学习的基本思想是通过区分相似和不相似的样本对来学习更有代表性的特征表示。在BNN的上下文中，这个框架利用互信息作为度量标准，衡量二进制和FP激活之间的信息共享程度。MI最大化的过程有助于保持二值化激活与原始FP激活之间的信息一致性。 具体实现中，通过正对（相同输入样本的二值和FP激活）和负对（不同样本的激活）的构建，优化BNN的表示能力。正对确保了二值化操作不会过多丢失信息，而大量的负对则帮助网络学习区分不同样本的能力。这种增强的表示能力不仅有利于分类任务，还能在分段和深度估计等复杂任务中发挥作用。 实验部分，该方法被应用于现有的二值化方法之上，作为堆叠模块，结果显示在多个数据集上都能显著提升性能。特别是在CIFAR-10/100和ImageNet上，性能提升明显，同时在NYUD-v2数据集上展现了出色的泛化能力，证明了方法的有效性。源代码已开源，可供研究者进一步探索和使用。 关键词涵盖的领域包括神经网络压缩、网络二值化、对比学习和互信息最大化，这些技术都是当前深度学习研究的热点。通过引入对比学习和MI最大化，本文为提升BNN性能提供了一个新的视角，对于深度学习模型的高效和精确运行具有重要的实践意义。