通道互动的二元卷积神经网络提升推理效率

0 下载量 53 浏览量 更新于2024-06-20 收藏 921KB PDF 举报
通道式相互作用的二元卷积神经网络逐层交互学习( CI-BCNN)是一种新颖的深度学习架构,旨在克服传统二进制卷积神经网络(BCNN)在量化误差、符号一致性问题以及信息丢失方面的挑战。传统BCNN采用xnor和bitcount操作实现量化,但这些操作会导致精度下降和信息损失,因为它们在处理二进制特征图时可能产生不一致的符号。 CI-BCNN的核心创新在于引入了通道交互的概念。它不依赖于单一的操作,而是通过挖掘和利用不同通道之间的交互关系,为二进制特征图提供一种自适应的先验知识。这种方法通过强化学习模型来动态学习通道间的交互模式,然后在中间特征图层上通过交互比特计数函数施加这种先验,从而减少符号不一致性和信息丢失。 具体实施中,CI-BCNN的设计包括多个层次,如层l和层l+1,每个层次都可能包含批量归一化步骤。通过对输入进行有效的二进制卷积和非线性变换,CI-BCNN能够在CIFAR-10和ImageNet等大型数据集上展示出卓越的性能,相比于最先进的二进制网络,它在保持良好识别精度的同时,显著降低了计算和存储成本。这对于移动设备等资源受限环境中的实时推理应用具有重大意义。 在深度卷积神经网络广泛应用的背景下,CI-BCNN的提出不仅提升了模型的能效,还展示了在追求低功耗和高效率场景下,如何通过巧妙的设计策略来优化二进制网络的性能。因此,它为未来在移动和嵌入式计算领域部署深度学习提供了新的可能性。