Sparse Structure Search for Parameter-Efficient Tuning阅读笔记

这篇论文主要介绍了一种稀疏结构搜索的方法来有效地调整深度神经网络中的参数，以达到更好的性能和更高的效率。作者将该方法称为Pruning with Neuron Selectivity Ratio (PNSR)。该方法的主要思想是通过对神经元的选择性比率进行剪枝，来寻找最优的网络结构。

具体来说，PNSR方法首先训练一个初始的完整模型，然后通过计算每个神经元的选择性比率来确定哪些神经元可以被剪枝。选择性比率是指在训练过程中神经元被激活的次数与总共经历的迭代次数之比。这个比率越高，说明这个神经元在网络中的作用越大，越不应该被剪枝。根据选择性比率，可以将网络中的神经元分为三类：保留、可剪枝和不可剪枝。其中保留的神经元直接保留在模型中，不可剪枝的神经元则不能被剪枝，而可剪枝的神经元则可以被剪枝，并且剪枝后不会影响网络的性能。

接下来，PNSR方法使用一种叫做“剪枝重训练”的策略来进一步优化网络结构。这种策略的基本思想是先剪枝掉一些神经元，然后重新训练网络，使其在剪枝后的结构上取得最佳性能。具体来说，PNSR方法在剪枝后使用一种叫做“结构化剪枝”的方法来调整网络的结构，使得剪枝后的网络结构更加紧凑和简单。然后，PNSR方法使用该结构再次训练网络，直到网络达到最佳性能。

最后，作者在CIFAR-10和ImageNet数据集上对PNSR方法进行了实验。实验结果表明，PNSR方法可以显著减少模型的参数数量，同时保持网络性能不变或稍微下降。这表明，PNSR方法可以有效地提高深度神经网络的效率，并有望在实际应用中得到广泛应用。