Torch平台神经网络压缩算法研究：sgn与hardtanh逼近

本文主要探讨了基于Torch平台的神经网络压缩算法，特别是针对两个关键部分：符号函数的近似和投影矩阵的处理。首先，研究了如何通过替换不连续的符号函数sgn(x)为连续函数如线性函数y=x或Hardtanh函数y=Htanh(x)，来计算神经网络中的梯度。在前向传播阶段，全连接层和卷积层的输入特征图与权重矩阵经过压缩并进行矩阵运算，生成近似的输出特征图。在后向传播时，除了标准的梯度计算，还需要更新投影矩阵P的梯度，以便在训练过程中同时优化。 算法的核心在于处理sgn函数的导数，通过线性近似y=x，其导数y'=1，可以简化梯度计算，而对于Hardtanh函数，其导数在x在-1到1范围内为1，在其他区域为0，这为梯度计算提供了更加平滑的替代。具体地，算法分为两个部分： 1. 算法1：随机生成P（随机投影训练） - 这种方法采用Mini-Batch SGD训练策略，其中成本函数适用于mini-batch，涉及批量样本的梯度更新。算法1在每次迭代中，会生成随机的投影矩阵P，用于神经网络的压缩。 2. 算法2：训练P（有监督投影训练） - 相比于算法1，这种策略更加主动地训练投影矩阵，以提高模型的性能。它可能涉及到更复杂的优化过程，如梯度下降或其他优化算法，以找到最优的P值。 测试目标聚焦在实际应用中，即通过这两种算法对神经网络进行压缩，考察在不同压缩比（即输入特征图和权重矩阵压缩的程度）下，模型在MNIST数据集上的准确率。MNIST数据集是一个经典的手写数字识别任务，常用于测试图像分类模型的性能。 符号表征了神经网络中的重要元素，如输入特征图（通常表示为I），输出特征图（O），权重矩阵（W），以及压缩因子（b），这些符号在算法的不同步骤中扮演着关键角色。通过深入理解这些符号和对应的计算，可以优化神经网络模型的存储和计算效率，从而实现在保持精度的同时减少模型的大小。