循环反向传播提高二进制卷积网络性能

2691循环二进制卷积网络：利用循环反向传播提高1比特DCNN的性能Chunlei Liu，1Wenrui Ding，2Xin Xia，1Baochang Zhang，4Jianzhuang Gu，4Jianzhuang Liu，3Rongrong Ji，5，6David Doermann71北京航空航天大学电子信息工程学院2北京航空航天大学无人系统研究院，3华为诺亚4北京航空航天大学自动化科学与电气工程学院5厦门大学信息科学与工程学院6彭城实验室，7布法罗大学{liuchunlei，ding，xiaxin，bczhang}@buaa.edu.cn摘要计算和内存成本的快速下降最近推动了深度学习领域许多应用的成功。然而，深度学习在资源有限的硬件（如嵌入式设备和智能手机）中的实际应用对于二进制卷积网络，原因在于二进制化全精度滤波器引起的降级表示。为了解决这个问题，我们提出了新的循环滤波器（CiFs）和循环二进制卷积（CBCon-v），以提高通过我们的循环反向传播（CBP）的二进制卷积特征的能力。CiF可以很容易地并入现有的深度卷积神经网络（DCNN），这导致新的循环二进制卷积网络（CBCN）。广泛的实验证实，1位和全精度DCNN之间的性能差距最小化通过增加滤波器的多样性，这进 一 步 提 高 了 我 们 的 网 络 的 代 表 性 能 力 我 们 在ImageNet上的实验表明，CBCN在ResNet 18上实现了61.4%的top-1准确率。与XNOR等最先进的方法相比，CBCN可以实现高达10%的top-1精度，具有更强大的代表性。1. 介绍深度卷积神经网络（DCNN）已在许多计算机视觉任务中得到成功验证，如对象检测和图像分类。DC-张宝昌为通讯作者。图1.循环反向传播（CBP）。我们使用循环传输矩阵来操纵学习的卷积滤波器，该矩阵用于构建CBP。通过这样做，二值化卷积特征的容量被显著增强，例如，对对象中的方向变化的鲁棒性，并且1位和全精度DCNN之间的每比特间隔被最小化。在该示例中，基于学习的滤波器和循环矩阵产生4个CiF。然而，在实际环境中部署的NN仍然面临许多挑战。当需要可移植性和实时性能时，这是特别真实的。这是至关重要的，因为视觉应用程序的模型可能需要非常大的内存，这使得它们对于大多数嵌入式平台来说是不切实际的此外，浮点输入和网络权重以及前向或后向数据流可能会导致显著的计算负担。2692图2. 循环二进制卷积网络（CBCN）是基于循环滤波器和二进制滤波器设计的，以改变方向学习过滤器，以提高代表性的能力。通过在统一的框架中考虑中心损失和softmax损失最重要的是，我们的CBCN还实现了与知名的全精度ResNet和WideResNet相当的性能。循环二进制滤波器仅用于演示计算过程，不保存用于测试。在DCNN中研究了二进制滤波器而不是使用全精度权重来压缩深度模型以处理上述问题。它们也被称为1位DCNN，因为每个权重参数和激活可以由单个位表示。如[10]中所述，XNOR具有卷积权重和附加到卷积的输入- s，其用二进制值近似，提供卷积运算的有效实现，特别是通过用单个缩放因子重构未最近，Bi-Real Net [20]探索了残差结构的新变体，以保留符号函数之前的真实激活，并且TBN [16]用基于阈值的三元函数替换符号函数以获得三元输入张量。两者都提供了内存、效率和性能之间的最佳折衷采用[9]中的热重启学习率计划来加速1位/权重网络的训练。此外，提出了一种称为WAGE [17]的方法来离散化训练和推理，其中不仅权重和激活而且梯度和误差都被量化。然而，在这些先前的方法中，滤波器的二值化常常降低模型对对象中的旋转变化的表示能力。在本文中，我们引入循环滤波器（CiFs）和循环二进制卷积（CBConv）来主动计算不同的特征映射，这可以提高所得二进制DCNN的代表性能力。产生CiF以帮助反向传播的关键见解如图所示。1. 与先前的二进制化DCN-N滤波器相比，CiF基于对每个学习的滤波器的循环运算来定义。还引入了一种新的循环反向传播（CBP）算法来开发端到端的可训练DCNN。在卷积过程中，CiF用于产生不同的特征图，这些特征图为二值化的DCNN提供了捕获先前未看到的变化的能力而不是引入额外的功能模块或新的网络拓扑结构，我们的方法将CBCon-v实现到DCNN的最基本元素，卷积运算符上。因此，它可以自然地与现代DC-NN架构融合，将其升级为更具表达力和紧凑的循环二进制卷积网络（CBC-Ns），用于资源有限的应用。我们设计了一个简单而独特的变化过程，它部署在每一层，可以在新的CBP算法的同一管道内解决。此外，我们考虑中心损失以进一步增强CBCN的性能，如图所示。2.由于模型复杂度低，这样的架构不太容易过度拟合并且适合于资源受限的环境。我们的CBCN将全精度模型所需的存储空间减少了32倍，同时比现有的基于二值化滤波器的DCNN实现了更好的性能。本文的主要贡献如下：(1) CiF用于获得更鲁棒的特征表示，例如，对象的方向变化，这最小化了全精度DCNN和二值化DCNN之间的性能差距。(2) 我们开发了一种CBP算法来减少反向传播过程中的损失，使卷积网络更加紧凑和高效。实验结果表明，CBP算法不仅有效，而且收敛速度快。(3) 所提出的循环卷积是通用的，并且可以很容易地用于现有的DCNN，例如ResNets和传统的DCNN。我们高度压缩的模型在MNIST、CIFAR和ImageNet数据库上的表现远远超过最先进的二进制模型2. 相关工作具有大量参数的DCNN消耗相当多的计算资源。从我们的实际研究来看，DCNN的功耗约有一半是2693表1.本文中使用的变量和运算符的简要说明M：循环传递矩阵G：循环滤波器W：学习滤波器F：特征映射δW：学习滤波器G：二值化滤波器L：损失函数K：每个滤波器的方向数i：滤波器索引j：方向索引l：层索引g：输入特征图索引h：输出特征图索引η：学习率与模型尺寸有关已经进行了许多尝试来加速和简化DCNN，同时避免错误的增加。网络二值化是最流行的方法之一，下面简要介绍。[6]中的研究表明，当其32位参数量化为1位时，AlexNet [4]，GoogLeNet [15]和VGG-16 [13]等实值深度神经网络的存储量可以显著减少。[14]中的期望反向传播（EBP）使用变分贝叶斯方法来实现具有二进制权重和激活的网络的高性能。BinaryCon（BC）[1]通过采用1位精度权重（1和-1）扩展了EBP的思想。后来，Courbariaux et al.[2]提出了BinaryNet（BN），它是BC的扩展，并进一步将激活限制为+1和-1，将每个层的输入（第一层除外）和输出二进制化。BC和BN都能在小尺寸上达到足够高的精度， l数据集，如MNIST，CIFAR10和SVHN。根据Rastegari et al.[11]，BC和BN在大规模数据集上不是很有效。XNOR [10]具有不同的二进制化方法和网络架构。附加到卷积的权重和输入都用二进制值近似，这导致通过用单个缩放因子重构未二进制化的滤波器来最近的研究，如MCN[18]和双实网[20]，已经进行了探索新的网络结构和训练技术，用于二值化权重和激活，同时使用类似于XNOR的概念最大限度地降低精度。MCN引入调制滤波器来恢复未二值化的滤波器，并导致一个新的架构来计算网络模型。Bi-Real Net通过身份快捷方式将真实激活连接到连续块的激活。图3. K= 8时的循环转移矩阵M的图示。中心位置保持不变，其余数字以逆时针方向圈出。M的每一列是从具有旋转角∈ {0π，45π，.，315磅}。它清楚地表明，循环过滤器明确编码的位置和定向。3. 方法我们设计了一种基于CiFs的CBCN结构，并使用一种新的BP算法对其进行训练。 为了提高二值化过程降低的表示能力，CiF被设计为丰富二值化滤波器以增强网络性能。如实验所示，即使当学习的网络参数被高度压缩时，性能下降也是首先，表1给出了本文中使用的主要符号3.1. 循环传递矩阵M循环矩阵M由第一列中的单个向量定义，其中向量的循环置换具有等于其余列中的列索引的偏移。 循环矩阵的一个重要性质它可以使用简单的向量或矩阵产生不同的表示。利用这个独特的特性，我们将K列的循环传递矩阵定义为：M=（m0，...，mj，…… m K−1），j ={0，1，.，K − 1}：这些研究的结果是令人鼓舞的，但由于权重二值化过程，网络的代表性能力可能会下降。这启发我们寻求一种方法来增加过滤器的变化，以提高网络的表示能力。特别是，我们第一次使用循环矩阵为我们的二叉CNN构建CiF。我们还开发了CBP算法，使DCNN在端到端框架中更加紧凑和有效。M=0765432 11076543 22107654 33210765 44321076 55432107 66543210 77654321 0（1）2694◦×× ××Gh，kH×h，0h，1F=h，K−1吉吉(a) 传统卷积(b) CBConv图4.K= 4方向的CiF和CBConv示例（0°，其中W i是包含第i个学习滤波器的权重（包括旋转期间不变的中心权重）的1D向量，并且表示Wi与m j的旋转操作（参见图3）。G i0对应于第i个学习的滤波器，并且G i的其他列被引入以增加表示能力。3.3. 基于CBConv模块的CBCN前向传播在CBCN中，由G*i表示的二进制CiF被计算为：Gi=sign（Gi），（3）其中，G i是对应的全精度CiF，并且Gi的 值为1或-1。Gi和Gi都是在端到端学习框架中共同获得的。令第l层中的所有二值化滤波器的集合为G_l。然后，通过以下等式获得输出特征图F1+ 1◦ ◦ ◦90，180，270）和H= 3。 (a)基于学习滤波器和M.为了获得4DCiF，通过复制3次将原始2DH×H学习滤波器修改为3D（b）输入特征图上的CBConv请注意，在本文中，特征图被定义为具有K个通道的3D，而这些通道通常不相同。其中K=8，并且使用8个矢量旋转来形成M。F1+ 1=CBConv（sign（F1）;Go n1），（4）其中CBConv是作为新模块实现的卷积运算，包括CiF生成过程（图中的蓝色部分）。2）的情况。图4（b）示出了前向卷积的简单示例，其中存在一个输入特征图和一个生成的输出特征图。在CBConv中，输出特征图的通道生成如下：第一列m0对应于图中的数字。3、而其它列通过数字的逆时针旋转获得。M的每一列代表一个l+1h，jFlGl，（5）i，g旋转角度∈{0°，45°，90°，135°，180°，225°，270°，F1+ 1 ={F1+ 1，F1+ 1，...，F1+ 1}，（6）315磅}。我们将m0设置为对应于学习的过滤器，m1−7到m0的衍生旋转版本。3.2. 循环滤波器（CiFs）我们现在设计特定的卷积滤波器CiF-在我们的CBCN中使用。 CiF是大小为K K H H的4D张量，基于学习的滤波器和M生成。这些CiF部署在所有卷积层上。如图如图4（a）所示，通过将原始2DHH学习滤波器复制三次并将它们级联以获得4D CiF，将原始2DHH学习滤波器修改为3D。对于K=4，网络输入的每个通道作为一组四个元素进行复制。通过这样做，我们可以使用PyTorch轻松实现CBCN。CBConv的一个示例如图所示。第4（b）段。为了便于下面的数学描述，我们表示一个2D H×H学习滤波器作为大小为H2的1D向量，其中*表示卷积运算。Fl+1是第k个通道，并且Fl表示第l卷积层中的输入的第g特征图在图4（b）中，h=l且g=l，其中在具有1的CBConv之后，二进制CiF，输出特征的通道数地图与输入特征地图的地图相同。3.4.循环反向传播（CBP）在反向传播期间，需要学习和更新的仅是学习的滤波器。在BP过程中还加入了循环传递矩阵M的逆变换，进一步增强了CBCN的代表性为了便于下面的数学描述，我们定义下式的逆循环矩阵P：K列作为P=（p0 ，.， pj ，...， pK−1 ），j={0，1，..，K-1}，其中K=8，并且使用8个向量逆旋转来形成P。令δWi为学习滤波器Wi的梯度。注意其对应的4维CiF可以用2维矩阵的大小为H2K（见图4（a））。 让Gi成为这样一个表示第i个CiF的矩阵然后我们需要对K个子滤波器的梯度求和，相应的CiF，Gi. 由此可见：Gi=（Gi0、...、Gij、...、Gi（K−1））（二）01-02-2013（2695KΣ−1联系我们、...、KΣ−1联系我们），（7）=（W i m0，.，W im j，.，W i mK−1），Gij（pj（0））j=0Gij（pj（7））j=02696×-i，×←−σ0σ√πσ2√其中L是网络损失函数，η是学习率。注意，由于CiF的中心权重未旋转，因此它们的梯度如在常见BP过程中那样获得，并且未在等式（1）中呈现。7.如图所示，循环操作涉及到我们的BP过程中，这使得CBP是自适应对象的方向变化。对于符号函数的梯度，由于其不连续性，需要进行一些特殊的处理。在[2]和[20]中，符号函数分别用限幅函数和分段多项式函数来逼近，如图1所示。5（a）和图5（b），其中也给出了它们的相应导数。由于符号函数（脉冲）的导数可以表示为 lim1exp（−G2），在这项工作中，我们使用这个高斯4. 实验我们的CBCN使用MNIST [7]，CIFAR 10/100 [5]和ILSVRC 12图像进行对象分类评估。geNet数据集[12]。LeNet [7]，WideResNet（WRN）[19]和ResNet18 [3]被用作骨干网络，只需用CBConv替换全精度卷积即可构建我们的CBCN。此外，在我们所有的实验中，进行了二值化的神经元激活。4.1. 数据集和实施详细信息数据集：MINIST [7]数据集由60，000个训练集和10，000个从0到9的手写数字的32 32灰度图像的测试集组成。每个样本在[−45<$，45<$]中随机旋转，产生MNIST-腐fu→nu（图10）5（c））作为梯度的近似CIFAR10 [5]是一个自然图像分类数据集，包含50，000个训练集和吉吉阿努格岛一=σπG2public void run（）σ210，00032 32彩色图像跨越以下10类：飞机，汽车，鸟类，猫，鹿，狗，青蛙，其中A和σ分别是高斯函数的振幅增益和方差，其通过经验确定。在我们的实验中，我们发现我们在图中的近似。5（c）比Fig. 5（a）和图5（b）。从上面的公式中，我们可以看到BP过程可以很容易地实现。因此，仅在CiF的帮助下更新学习的卷积滤波器，我们的CBCN非常紧凑和高效，将内存存储减少了32。最后，在算法1中给出了训练CBCN的学习算法。算法1CBCN训练。要求：训练数据集;全精度学习滤波器W;循环转移矩阵M;方向数K;超参数，例如初始学习速率、权重衰减、卷积步长和填充大小。确保： 基于CiF的CBCN。1：随机初始化W;2：重复3：//前向传播4：对于所有l=1到L卷积层，5：使用等式1和2，得到G1;6：F1+ 1=CBConv（sign（F1），sign（G1））;7：结束8：//反向传播9：对于所有l=L至1 do10：计算梯度δW;//使用等式711：W W ηδW; //更新参数12：结束十三： 直到最大的时期。CIFAR100包含100个类，而CIFAR100包含100个类。我们随机旋转CI-FAR 10数据集中[0，360]之间的每个样本，以产生CI F AR 10-rot。ImageNet对象分类数据集[12]由于其规模大和更大的多样性而更具挑战性它有1000个类和120万个训练图像和50k个验证图像我们将我们的方法与ImageNet数据集上的最新技术进行了比较，并采用ResNet18来验证CBCN的优越性和有效性。在实现中，使用LeNet、WRN和ResNet18骨干网络来构建CBCN。我们简单地用CBConv替换全精度卷积，并保持其他组件不变。方程中高斯函数的参数σ和A9分别设为1和3 2π。下文详细阐述了更多细节LeNet主干：LetNet包含四个简单的卷积层。我们在每个卷积层之后采用Max-pooling和ReLU，并在完全连接层之后采用dropout层以避免过度拟合。对于MNIST和MNIST-rot，初始学习率为0.01，在达到最大历元50之前没有退化。WRN主干：WRN是一种类似于ResNet的网络结构，具有深度因子k，通过3个阶段控制特征图深度维度扩展，其中维度保持不变。 为了简单起见，我们将深度因子固定为1。每个WRN都有一个参数i，它表示第一级的通道尺寸，我们将其设置为16，得到网络结构16-16-32-64。训练细节与[19]中相同初始学习速率为0.01 对于CIFAR 10/100和CIFAR 10-rot，在其达到200的最大时期例如，WRN 22是一个具有22个卷积层的网络，WRN 40也是如此。2697(a)(b)（c）第（1）款图5.符号函数梯度计算的三种近似方法。(a)文[2]中的裁剪函数及其导数。(b)文[20]中的分段多项式函数及其导数。(c)我们提出的函数及其导数。表2. MNIST和CIFAR10及其变体的错误率。'fp'表示全精度结果。粗体表示二进制网络中的最佳结果。数据集主干内核阶段原始（%）腐烂（%）图6.ResNet18的网络架构，ResNet18的XNOR和ResNet18的CBCN请注意，CBCN将快捷键加倍表3. CIFAR10上CBCN中组件的性能（准确度，%）贡献，其中ConvComp、S、C和G分别表示XNOR中的BConv和CBConv（双捷径）之间的卷积比较，使用中心损失和使用高斯梯度函数。粗体数字表示最佳结果。ResNet18、XNOR和CBCN的架构。SGD被用作具有动量的优化算法，0的情况。9和重量衰减1 e-4。初始学习速率为0.01每20个时期退化10%在ImageNet上达到70的最大历元，而在ConvS S+C S+GS+CCIFAR 10/100，初始速率为0.01，降解速率为在达到200的最大epoch之前，每60个epoch增加10%。4.2. 旋转不变性使用LeNet和ResNet 18主干，我们构建了XNOR和CBCN ， 并 在 MNIST 、 MNIST-rot 、 CI-FAR 10 和CIFAR 10-rot上进行了在CBCN中，K被设置为4表2给出了错误率和“f-”的结果ResNet18主干：图6分别说明了p'代表全精度结果。国家FPXNORCBCNFPXNORCBCNMNIST LeNet5-10-20-400.913.761.912.7717.265.7610-20-40-800.691.501.241.897.774.9516-16-32-648.9422.8810.919.0740.7519.68CIFAR10 ResNet18 32-32-64-1286.6315.558.1312.9633.6916.232-64-128-2565.2713.438.0910.4721.9315.11XNOR-Comp76.380.5380.9781.65+G82.32CBCN（K=2）81.8485.7986.2386.6787.56CBCN（K=4）84.7989.1089.690.2290.832698art XNOR在更具挑战性的旋转数据集上具有戏剧性的性能下降。在MNIST-rot上，在内核阶段5-10-20-40，CBCN显示出比XNOR显著提高11.5%的性能，而在MNIST上实现了1.85%的提高。在CIFAR 10-rot上，在16-16-32-64粒期，CBCN比XNOR提高了约20%。从表2中，我们还可以看到，在CIFAR 10-rot上，随着内核阶段（参数）的增加，CBCN和XNOR之间的性能差距从大约20%下降到17%再下降到6%，这意味着当它们具有更少的参数时，CBCN相对于XNOR的改进更加显著。表2中的结果证实，利用来自所提出的CiF的改进的表示能力，CBCN对于输入图像的旋转变化比常规二值化方法更鲁棒。4.3. 消融研究在本节中，我们将研究CBCN中组件的性能贡献，包括CBConv、中心损耗、附加快捷方式（图1）。6），和高斯梯度函数（方程6）。第9段）。在该实验中使用具有内核阶段16-16-32-64的详情如下。1) 我们只将XNOR中的卷积BConv替换为我们的CBConv卷积，并比较结果。 如表3中的ConvComp列所 示 ， CBC-N （ K =4 ） 比 XNOR （ 84.79% vs.76.3%）使用与ResNet18相同的网络结构和快捷方式。这一重大改进验证了我们的CBConv的有效性。2) 在CBCN中，如果我们将快捷方式加倍（图6），我们还可以发现从84.79%到89.10%的体面改进（参见表3中S下的列），这表明快捷方式的增加也可以增强二进制化的深度网络。3) 用中心损耗微调CBCN也可以将CBCN的性能提高0.5%，如表3中S+C下的列所示。4) 用高斯函数代替[20]中的分段多项式函数进行反向 传 播 ， CBCN 获 得 了 1.12% 的 改 进 （ 90.22% vs.89.10%），这表明我们使用的梯度函数是更好的选择。5) 从表3中S下的列中，我们可以看到CBCN在CiF中使用更多取向时表现更好。S.更多的方向可以更好地处理由网络二值化引起的退化表示的问题。4.4. 与最新技术水平的准确度比较CIFAR 10/100：CIFAR 10和CIFAR 100上的CBCN使 用 相 同 的 参 数 设 置 我 们 首 先 将 CBCN 与 原 始ResNet 18进行比较，其阶段内核为16-16-32-64和32-64-128-256，然后进行比较。(a) CIFAR10上的训练准确度(b) 在CIFAR10上测试准确性图7.基于WRN 40的CBCN和XNOR的训练和测试误差曲线，用于CIFAR 10实验。Son与表4中具有初始信道尺寸16的原始WRN进行比较然后，我们将我们的结果与其他最先进的，如BNN[1]，BWN [10]和XNOR [10]进行比较。据观察，我们的CBCN获得了至少1.84%（= 93.42%-91.58%）的准确性提高，在其他情况下，实现了更大的利润。此外，我们绘制了XNOR和CBCN的训练和测试损失曲线，如图所示。7，这清楚地表明CBCN（CBP）比XNOR（BP）收敛得更快。ImageNet：选择ImageNet上的四种最先进的方法进行比较：Bi-Real Net [20]，BinaryNet [2]，XNOR [10]和ABC-Net [8]。这四个网络是二值化两个网络权重的代表性方法2699表5. ImageNet上的分类准确率（%）。粗体表示二进制网络中的最佳结果。在CBCN中K= 4全精度XNORABC-NetBinaryNetBi-RealCBCNResNet18Top-169.351.242.742.256.461.4Top-589.273.267.667.179.582.80表4.分类准确度（%）分别基于ResNet 18和WRN 40，基于CIFAR 10/100。粗体表示二进制网络中的最佳结果。在CBCN中K= 4数据集模型内核阶段CIFAR-10CIFAR-100BNN-89.85-BWN-90.12-XNOR（ResNet18）64-64-128-25687.166.08XNOR（WRN40）64-64-128-25691.5873.18ResNet1816-16-32-6494.8475.37CBCN16-16-32-6490.2269.97CBCN32-64-128-25691.6070.07WRN 4016-16-32-6495.879.41WRN 2216-16-32-6490.3267.19CBCN16-16-32-6493.4274.80(a)ImageNet上的前1名准确率和激活并实现最先进的结果。表5中的所有方法都执行ResNet18的二进制化。为了公平比较，我们的CBCN包含与ResNet18相同表5中的比较结果直接引用自参考文献，除了BinaryNet的结果来自[8]。比较清楚地表明，提出的CBCN优于四个二元网络的前1和前5的准确性方面的相当大的保证金具体来说，对于前1名的准确 性， CBCN 优 于 BinaryNet 和 ABC-Net ， 差距 超 过18%，比XNOR提高了约10%，比最新的Bi-Real Net提高了约5%图8、我们分别绘制了XNOR和CBCN的训练和测试损失曲线。它清楚地表明，使用我们的CBP算法，CBCN比XNOR收敛得更快。5. 结论在本文中，我们提出了新的循环二进制卷积网络（CBCN），它是由一组二进制循环滤波器（CiFs）实现的。提出的CiFs和循环二进制卷积（CBConv）用于增强二进制网络的表示能力。CBC-Ns可以用开发的循环BP（CBP）算法进行端到端的训练。我们的大量实验表明，CBCN具有优于最先进的二元网络，并获得更接近于全精度骨干网络ResNets和WRNs的结果，存储减少约32倍。作为一个通用的卷积层，CBConv也可以用于各种任务，（b）ImageNet上的前5名准确率。图8.在ImageNet上基于ResNet18主干训练和测试CBCN和XNOR的误差曲线。这是我们未来的工作。6. 确认本工作得到国家重点研究发展计划（批准号：）的资助.国家重点研发&计划（2017YFC 0821102）。张宝昌为通讯作者。2700引用[1] M. Courbariaux，Y.Bengio和J.P. 大卫Binaryconnect：在传播过程中使用二进制权重训练深度神经网络。神经信息处理系统进展。[2] M.库尔巴里奥岛Hubara，D.苏德里河El-Yaniv，以及Y.本吉奥。二进制神经网络：训练权重和激活约束为+1或-1的深度神经网络。arXiv预印本arXiv：1602.02830，2016。[3] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议上，第770-778页[4] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。神经信息处理系统，第1097-1105页，2012年[5] N.克里热夫斯基和辛顿。CIFAR-10数据集。在线：http：//www. CS.多伦多edu/kriz/cifar. HTML.[6] L.赖，N. Suda和V.钱德拉具有浮点权重和定点激活的深度卷积神经网络推理。arXiv：1703.03073v1。[7] Y.莱肯湖Bottou，Y. Bengio和P.哈夫纳基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278[8] X.林角，澳-地Zhao和W.锅精确二进制卷积神经网络。arXiv：1711.11294，2017.[9] M. D.麦克唐纳训练广泛的残差网络，每个权重使用一个比特在2018年国际学习代表会议上[10] M. 拉斯泰加里河谷Ordonez，J.Redmon和A.法哈迪。Xnor- net：使用二进制卷积神经网络的Imagenet分类。欧洲计算机视觉会议，第525-542页[11] R. Rigamonti，A. Sironi，V. Lepetit，and P.呸学习可分离过滤器。在Computer Vision and Pattern Ammonition，第2754-2761页[12] O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S. 妈Z。Huang，黄背天蛾A.卡帕西A.Khosla，和M。伯恩斯坦。图像网大规模视觉识别挑战。InternationalJournal of Computer Vision，115（3）：211[13] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556。，2014年。[14] D.苏德里岛Hubara和R.梅尔期望反向传播：具有连续或离散权重的多层神经网络的无参数训练在神经信息处理系统国际会议上，第963[15] C.塞格迪W.刘先生，Y.贾，P.SermanetS.里德D.安格洛夫，D。Erhan，V. Vanhoucke，和A.拉比诺维奇。更深的回旋。IEEE计算机视觉和模式识别会议，2015。[16] D. Wan，F.申湖，澳-地Liu，F. Zhu，J. Qin，L. Shao和H. T.沈Tbn：具有三元输入和二元权重的卷积神经网络欧洲计算机视觉会议，第315-332页[17] S. Wu，G. Li，F. Chen和L.石在深度神经网络中使用整数进行训练和推理。2018年国际学习表征会议[18] C. L. R. J. J. H. X. C. 王晓迪，张宝昌，J. Liu.调制卷积网络。在计算机视觉和模式识别，2018年。[19] S. Zagoruyko和N.小木 广残的关系网。arXiv预印本arXiv：1605.07146，2016。[20] W. L. X. Y. W. L. Zechun Liu，Baoyuan Wu and K.-T. 程双实网：利用改进的表示能力和先进的训练算法提高1位cnn的性能。2018年欧洲计算机视觉会议。