聚类卷积核驱动的深度神经网络高效压缩与性能提升

本文主要探讨了一种新颖的深度神经网络压缩方法，名为“聚类卷积核压缩深度神经网络”（Clustered Convolutional Kernel Compression for Deep Neural Networks）。该研究由Sanghyun Son、Seungjun Nah和Kyoung Mu Lee三位作者在韩国首尔国立大学电子与计算机工程系及ASRI开展，旨在针对计算资源有限的设备，如移动或嵌入式环境，提供更高效的CNN模型压缩解决方案。 论文的核心贡献在于提出了一种从预训练模型出发，通过k-means聚类算法提取2D卷积核的代表性质心，以此作为网络的基础结构。这种方法首先对卷积核进行聚类，每个聚类代表一组相似的卷积核，然后用这些质心替代原始卷积核，减少存储需求。为了进一步节省存储空间，卷积核不再完整保存，而是使用索引表示，相同聚类的卷积核共享权重。这样，在保持模型性能的同时实现了压缩。 论文特别强调了模型微调的重要性，即使在压缩状态下，仍能对模型进行优化，确保其在ILSVRC2012图像分类任务中的表现不逊色于非压缩版本。实验结果显示，该技术能够显著压缩ResNet-18模型，压缩比例超过10倍，同时保持或提高模型的准确率，这在实际应用中具有很大的价值。 此外，文章还提及了其他常见的网络压缩技术，如权重矩阵和张量的低秩分解、修剪以及量化方法。这些方法旨在去除冗余权重和参数，通过二进制或三进制量化，甚至向量量化，进一步减小模型大小。其中，k-means聚类是量化方法中的关键工具，它被用来构建码本和索引，以实现更高效的计算。 这项研究为深度学习在资源受限设备上的部署提供了新的可能性，展示了通过聚类卷积核和有效的压缩策略，可以实现高性能的CNN模型压缩，这对于推动计算机视觉领域的实时性和效率具有重要意义。