低精度网络量化的Bin正则化方法改进

5261利用Bin正则化改进低精度网络量化天天涵东李集六路天一山赛灵思股份有限公司中国北京{hantian，dongl，jiliu1，lutian，yishan} @ xilinx.com摘要模型量化是通过降低权重和激活的位精度来在资源受限设备上节能部署深度神经网络的重要机制。然而，随着位精度降低，保持高精度仍然具有挑战性，特别是对于低精度网络（例如，2位MobileNetV2）。已经探索了现有的方法来解决这个问题，通过最小化量化误差或模仿全精度网络的数据分布在这项工作中，我们提出了一种新的权重正则化算法，用于改善低精度网络量化。而不是约束的整体数据分布，我们可分离地优化所有元素在每个量化仓尽可能接近目标量化值。这样的仓调节（BR）机制鼓励每个量化仓的权重分布是尖锐的并且理想地近似于狄拉克增量分布。实验证明，我们的方法实现了一致的改进，在国家的最先进的量化感知的训练方法，不同的低精度网络。特别是，我们的bin正则化在ImageNet上分别将2位MobileNetV 2和MobileNetV 3-Small的LSQ1. 介绍深度卷积神经网络（CNN）在包括计算机视觉、自然语言处理、语音识别等在内的广泛应用中取得了显著进展。随着CNN的普及，对在资源受限设备（例如，移动设备）上高效地运行网络的技术的需求日益增加。移动电话或FPGA）。这些技术包括网络量化、修 剪 、 高 效 架 构 的 手 动 设 计 或 神 经 架 构 搜 索（NAS）。在这项工作中，我们它可以减少内存占用，加快推理时间并降低功耗(a) 目标分布(b) 低位MobileNetV2的顶级精度图1：（a）通过不同正则化方法的目标分布的图示。KURE [31]鼓励整体分布均匀，而我们的bin正则化（BR）鼓励每个量化bin分布尖锐。(b)使用不同正则化方法的低位MobileNetV2的前1精度。在边缘设备上部署CNN模型。通常，网络精度随着比特精度的降低而降低，而硬件性能随着比特精度的降低而提高。最近的网络量化方法已经显示出通过后训练量化的8位量化的有前途的性能。5262化（PTQ）。但是PTQ方法在应用较低比特量化时往往遭受显著的性能下降。量化感知训练（QAT）已经成为学习低比特网络的常见实践，以减少从全精度到量化模型的性能下降。现有方法试图最小化量化误差或模仿全精度网络的数据分布。然而，目标任务的最终性能仍然不令人满意。在这项工作中，我们提出了一种新的正则化算法，以改善低精度的网络量化。当将全精度网络量化为η位网络时，每个卷积层的所有浮点元素将被离散化为m=2n个特定值。 换句话说，这些浮动元素被分组为m个量化bin，并且每个bin中的所有元素将近似地由相同的目标值表示。我们假设，如果每个仓中的所有浮动元素足够接近目标量化值，则量化误差将接近零。图1（a）说明了我们的bin正则化思想。与将某个层的整体分布约束为均匀[31]相比，我们的bin正则化可以被视为细粒度约束，以确保bin分布尽可能尖锐。与直接优化总量化误差（例如，通过L2损失或KL损失）[8，15，22，24，35，37]，我们的bin正则化预计会减少bin级别的量化误差。实验结果验证了我们的方法的有效性，并显示出改善的性能比国家的最先进的方法，低比特网络量化。图1（b）显示，对于具有不同位宽的量化MobileNetV2，我们的方法可以产生比LSQ基线和KURE [31]正则化方法更高的为了总结我们的贡献，我们提出了一种新的bin正则化算法的低精度网络量化在这项工作中。不同于以前的工作，约束的整体数据分布是均匀的，我们的binregularization鼓励每个quanti- zation箱锐分布。该算法易于实现，并与常见的量化感知训练范式兼容。实验表明，我们的bin正则化实现了一致的性能改进，超过了用于低精度网络量化的最新方法在ImageNet上，2位MobileNetV 2和MobileNetV 3-Small的LSQ基线分别超过3.9%和4.9%的top-1准确度。2. 相关工作在[21]中已经呈现了用于量化CNN以进行有效推理的技术的[21]介绍了不同的量化器设计，并且通常将量化 方法 分为训 练后 量化（ PTQ）和 训练 后量化（PTQ）。量化感知训练（QAT）方法。训练后量化。PTQ方法通常在没有完整训练和完整数据的情况下量化网络[2，9，13，18，27，38]。一些方法需要少量的训练数据进行校准或微调，以优化网络参数[18]。其他方法通过权重均衡[27]或生成方案[6，36]探索无数据量化，而无需访问原始训练数据尽管这些PTQ方法对于典型的8位量化已经显示出令人印象深刻的性能，但是它们对于非常低精度（例如，100%）的量化不能保持高精度。2位）网络。量化感知训练。QAT方法通常可以为低精度网络提供比PTQ方法更高的精度，并且对原始数据进行了充分的训练。其基本原理是在神经网络计算图中插入量化操作，并利用模拟权值和激活来计算前向和后向传播。已经探索了现有方法来优化量化参数（例如，限幅值，量化步长）并在QAT [5，7，12，14，19，20，41]期间近似梯度另一行相关工作试图通过知识蒸馏来量化网络以改善性能[12，26，29]。渐进量化[3，20，40，43]，学习最优每个层的比特宽度[11，15，32，34，42]以及调整网络架构以适应量化[24，25]。我们的方法建立在均匀对称量化框架[21]上，并且与那些额外的量化方案正交。用于量化的正则化正则化是神经网络训练中减少泛化误差的重要优化技术之一。最近的工作尝试采用权重正则化来改善网络量化性能[1]或鲁棒性[31]。[8]提出了均方量化误差（MSQE）调节，以减轻高精度向后和低精度向前传递之间的失配。[1]通过惩罚梯度的L1范数来提高对量化的鲁棒性[31]提出了峰度正则化（KURE）来学习均匀分布的权重张量，以提高跨不同位宽和步长参数的量化的鲁棒性。我们工作的目标是通过QAT来提高低精度网络的最终性能。代替将整体权重分布控制为均匀状或其他形状，我们将每个量化仓优化为尽可能尖锐并且理想地近似于狄拉克增量分布。我们发现这样一个regularization-灰计划是至关重要的低比特量化网络保持高精度。5263--- -⌊·⌉Σ伊什茨布夫.1 如果n<

下载后可阅读完整内容，剩余1页未读，立即下载