量化模拟：非常小CNN的对象检测

32Quantization Mimic：Towards Very TinyCNN for Object Detection（量化模拟：易伟1†、潘新宇2†、秦宏伟3、欧阳万里4、严俊杰31清华大学，北京，中国2香港中文大学，中国香港3SenseTime，北京，中国4悉尼大学SenseTime计算机视觉研究小组，悉尼，澳大利亚新南威尔士wei-y15@mails.tsinghua.edu.cnTHUSEpxy@gmail.comqinhongwei@sensetime.comyanjunjie@sensetime.comsydney.edu.au抽象。在本文中，我们提出了一个简单而通用的框架，用于训练非常小的CNN（例如，通道数量减少到1的VGG）进行对象检测。由于有限的表示能力，训练非常小的网络来完成检测等复杂任务是一项挑战。据我们所知，我们的方法，称为量化模拟，是第一个专注于非常微小的网络。我们利用两种类型的加速方法：模仿和量化。Mimic通过从教师网络传输知识来提高学生网络的性能。量化将全精度网络转换为量化网络，而不会大幅降低性能。如果教师网络被量化，学生网络的搜索范围将更小。利用这一特点的量化，我们提出了量化模拟。它首先量化大网络，然后模拟量化的小网络。量化操作可以帮助学生网络更好地匹配来自教师网络的特征图为了评估我们的方法，我们对各种流行的CNN（包括VGG和Resnet）以及不同的检测框架（包括Faster R-CNN和R-FCN）进行了实验Pascal VOC和WIDER FACE上的实验验证了我们的量化模拟算法可以应用于各种设置，并在有限的计算资源下优于最先进的模型加速方法。关键词：模型加速，模型压缩，量化，模拟，目标检测1介绍近年来，CNN在各种计算机视觉任务上取得了巨大的成功。然而，由于其巨大的模型大小和计算复杂度，许多CNN†工作是在商汤科技实习期间完成的2Wei等人16nFig. 1. 我们方法的流水线。首先，我们训练一个全精度的教师网络。然后对全精度教师网络的特征图进行量化，得到量化后的网络。最后，我们使用这个量化的网络作为教师模型来教一个量化的学生网络。我们强调，在训练阶段，我们对学生和教师网络的特征图进行量化操作。模型不能直接应用于现实世界的设备。许多以前的工作集中在如何加速CNN。大致可分为四类：量化（例如BinaryNet [1]）、基于组卷积的方法（例如MobileNet [2]）、修剪（例如 信道修剪[3]）和模仿（例如， Li等人[4]）。虽然这些工作中的大多数可以在不降低性能的情况下加速模型，但它们的加速比是有限的（例如，将VGG压缩为VGG-1- 41）。 很少有方法在非常小的模型上进行实验（例如，将VGG压缩到V GG-1 -16）。每层通道数与原始通道数相比小于或等于1模型我们的实验表明，我们的方法优于其他方法非常小的模型。量化和模拟作为模型加速的两种方法，被广泛应用于模型压缩量化方法可以将全精度模型转换为量化模型2，同时保持类似的精度。然而，使用量化方法来直接加速模型通常需要额外的特定实现（例如FPGA）和特定指令集。模拟方法可以在不同的框架上使用，并且易于实现。这些方法的本质是知识转移，其中学生网络从教师网络学习高级表示。但是，当应用于非常小的网时-1本文中的-1-n网络是指每层信道数比原网络减少为12本文中的量化网络是指输出特征图被量化的网络，而不是指参数被量化的网络量化模拟3的工作，模仿的方法也不好工作。这也是由于代表能力非常有限造成的这是一个自然的假设，如果我们使用量化的方法来离散教师模型的特征图，学生网络的搜索范围将得到缩小，它将更容易传递知识。在学生网络上进行量化可以提高教师网络离散特征图的匹配率在本文中，我们提出了一种新的方法，利用量化和模仿方法的优点来训练非常微小的网络。图1说明了管道。对教师模型和学生模型的特征图应用量化操作教师模型的量化特征图被用作学生模型的监督我们建议这种量化操作可以促进两个网络之间的特征映射匹配，并使知识转移更容易。综上所述，本文的贡献如下：– 我们提出了一个有效的算法来训练非常小的网络。据我们所知，这是第一个专注于非常小的网络的工作。– 我们利用量化的特征图，以促进知识提取，即。量化和模拟。– 我们使用一个复杂的任务对象检测，而不是图像分类，以验证我们的方法。在各种CNN，框架和数据集上的充分实验验证了我们的方法的有效性。– 该方法易于实现，在训练和推理过程中没有特殊的限制。2相关工作2.1对象检测目标检测的目标[5，6，7，8，9，10]是对图像中的目标进行定位和分类。在卷积神经网络取得成功之前，一些传统的模式识别算法（HOG[11]，DPM [12] et al. ）用于此任务。最近，R-CNN [13]及其变体成为对象检测任务的流行方法。SPP-Net [14]和Fast R-CNN [15]重用特征映射来加速R-CNN框架。在Fast R-CNN的管道之外，Faster R-CNN添加了区域建议网络，并在训练期间使用联合训练方法。R-FCN利用位置敏感的分数图来减少更多的计算。Yolo[16]和SSD [17]是无区域方法的典型算法。虽然本文中使用的框架来自区域建议解决方案家族，但量化模拟可以很容易地转换为YOLO和SSD方法。2.2模型压缩和加速基于群卷积的方法：这类方法的要点是用群卷积加速。Mobilenet [2]和Googlenet Xception [18]利用深度卷积来提取特征和逐点4Wei等人卷积合并特征。 除了这些作品，张等人。[19]提出了一种通用的群卷积算法，并表明Xception是他们方法的特例。组操作将阻塞不同组卷积之间的信息流，并且最近，Shufflenet [20]引入了信道混洗方法来解决这个问题。量化：量化方法[21，22]可以有效地减小模型的大小并加速特殊实现。BinaryConnect [23]，二进制神经网络（BNN）[1]和LBCNN [24]用二进制滤波器代替浮点卷积此外，INQ [25]引入了一种训练方法来量化模型，其权重被约束为2的幂或0，而不会降低性能。尽管有这些优点，量化模型只能用于在特殊设备上加速。修剪和稀疏连接：[26，27]在训练期间设置稀疏约束以用于修剪。[28，29]关注不同滤波器权重的重要性，并根据权重重要性进行剪枝操作。这些方法都是基于培训的，成本更 最近，他等。[3]提出了一种推理时间剪枝方法，利用LASSO回归和最小二乘构造来选择分类和检测任务中的通道。此外，Molchanov et al. [30]结合迁移学习和基于贪婪准则的修剪。我们使用He et al. [3] Molchanov et al. [30]为了比较我们的算法，我们将证明他们很难将一个大型网络（如VGG）修剪成一个非常小的网络（如VGG-1-32）。稀疏连接[31，32，33，34]可以被认为是参数式修剪方法，消除了神经元之间的连接。模仿：模仿的原则是知识转移。作为一项开创性的工作，知识蒸馏（KD）[35]将软目标定义为教师网络的输出。与标签相比，软目标提供了关于类间相似性的额外信息。FitNet [36]将知识转移开发为整个特征图模拟学习，以将宽而浅的网络压缩为瘦而深的网络。 Li等人[4]扩展用于对象检测任务的模仿技术我们使用他们的联合列车版本作为我们的基准。3我们的方法在这一部分中，我们首先介绍了我们分别使用的量化方法和模拟方法，然后将它们结合起来，提出了量化模拟算法的流水线。在§ 3.4中，我们展示了我们方法的理论分析。3.1量化[23，21，22]使用量化方法直接压缩模型。与他们不同的是，我们使用量化来限制范围并帮助模仿学习。详细来说，量化模拟5˜22图二. 量化ReLU函数。新的激活函数被定义为Q（f），其中f是原始激活函数。教师网络的量化是将其输出离散化，同时在量化时保证教师网络的准确性而量化学生网络的输出可以帮助它匹配教师网络的离散输出，这就是模仿学习的目标。在我们的工作中，我们对教师网络的最后一个激活层进行量化操作。INQ [25]将输出约束为零或二的幂。与它们不同的是，我们使用均匀量化，原因如下。R-FCN [37]和Faster R-CNN [38]使用RoI池化操作，这是一种最大池化操作。RoI池化层的输出由最大响应确定每个街区的地图因此，更准确地描述特征图的强响应是非常重要的。均匀量化比二次幂量化能更好地描述大值。我们将逐元素量化函数Q定义为：如果α+β

下载后可阅读完整内容，剩余1页未读，立即下载