递归贝叶斯剪枝：加速CNN模型的层间依赖优化

通道修剪是深度学习领域中一个重要的模型优化手段，旨在减少卷积神经网络（CNN）的计算负担，使其能在资源受限设备上运行。传统上，这是一个复杂的问题，因为冗余通道的识别往往忽视了不同层之间的依赖关系。传统的非贝叶斯方法往往假设每层通道独立，这可能导致剪枝决策的不准确。 本文引入了一种名为逐层递归贝叶斯剪枝（RBP）的新方法，它是在贝叶斯统计框架下的创新。RBP的核心在于提出了一种基于丢弃的冗余度度量，它考虑到了层间的相互影响。通过将层间的关系建模为马尔可夫链，这种方法能够更好地捕捉到通道之间的信息传递和影响，从而更精确地衡量冗余程度。 与现有方法不同，RBP采用了一种稀疏诱导的Dirac-like先验，它能够自动调整噪声分布以逼近后验概率，而无需额外的计算成本。这种方法的优势在于能够通过微小的丢弃噪声有效地识别冗余通道，并在逐层进行剪枝时考虑到前一层的影响，避免了局部最优问题。 实验结果显示，RBP在VGG16、ResNet50和MobileNetV2等流行CNN架构上表现出色，显著减少了浮点运算次数，如达到5.0倍、2.2倍和1.7倍的节省，而且精度损失非常小。这表明RBP在保留模型性能的同时，显著提高了模型的效率。 逐层递归贝叶斯剪枝方法在处理通道修剪问题时，通过考虑层间依赖性，提供了一种更精确、有效的模型优化策略，对于推动CNN在移动设备等资源受限环境下的应用具有重要意义。