计算机工程与应用
www.ceaj.org
2019，55（16）
1 引言
自 AlexNet
[1]
赢 得 ILSVRC2 012（ImageNet Large
Scale Visual Recognition Challenge 2012）
[2]
挑 战 赛 以
来，卷积神经网络（Convolutional Neural Network，CNN）
在图像分类、语义分割、物体检测等领域获得广泛应
用
[3-6]
。随着性能要求越来越高，AlexNet 已经无法满足
人们的需求，于是性能更优越的网络模型纷纷被提出，
如 VGG
[7]
、ZFNet
[8]
、GoogLeNet
[9]
、SENet
[10]
、ResNet
[11]
、
DenseNet
[12]
等。由于神经网络的性质，为了获得更高
的 准 确 度 ，网 络 层 数 不 断 增 加 ，从 AlexNet、VG G 到
GoogLeNet，再到 R esNet 和 DenseNet，CNN 发展的总体
趋势是使用更深更复杂的网络来实现更高的准确度，但
是准确度的提高并不一定会使网络在尺寸和速度方面
更有优势。
就模型尺寸而言，传统卷积神经网络拥有大量参
数，保存这些参数对设备的存储空间要求很高。模型速
轻量化卷积神经网络技术研究
毕鹏程，罗健欣，陈卫卫
中国人民解放军陆军工程大学 指挥控制工程学院，南京 210007
摘 要：为了使卷积神经网络模型更好地应用于移动端和嵌入式设备，必须从减少模型参数量和降低计算复杂度两
方面入手。首先简要介绍了目前几种流行的解决方法，并详细阐述了六个轻量化卷积神经网络模型，展示了其中应
用的不同网络计算方式的计算量和参数量，论述了模型的核心构建模块、整体网络结构和创新之处。分析了各网络
以及常规卷积网络在 ImageNet数据集上的分类准确度，进而对比各网络实现轻量化的技巧，得出在进行模型设计时
采用直接指标替代间接指标的结论。同时发现了残差结构对保证轻量化模型准确率的重要性。最后对轻量化卷积
神经网络的发展前景进行了展望。
关键词：卷积神经网络（CNN）；轻量化 ；卷积方式
文献标志码：A 中图分类号：TP39 1.4 doi：10.3778/j.issn.1002-8 331.1903-0340
毕鹏程，罗健欣，陈卫卫 .轻量化卷积神经网络技术研究 .计算机工程与应用，2019，55（16）：25-35.
BI Pengche ng, LUO Jianxin, CHEN Weiwei. Research on lightweight convolutional neural network technolo gy. Computer
Engineering and Applicatio ns, 2019, 55（16）：25-35.
Research on L ightweight Convolutional Neural Network Technology
BI Pengcheng, LUO Jianx in, CHEN Weiwei
Command & Con trol Engineering College, Army Engineering University of PLA, Nanjing 210007, China
Ab stract：In order to better apply the convolutional neural network model to mobile a nd embedd ed devices, it is neces-
sary to reduce the amount of model parameters and r educe computational complexity. Firs tly, several popular solutions
are brie fly introduced. Next, six lightweight convolutional neural network models a re elaborated, showing the computa-
tional c omplexity and parameter quantities of different network computing methods. The core building blocks of the model,
the overall network structure and innovat ions are discussed . The classification accuracy of each network and conventional
convolutional network on the ImageNet dataset is analyze d. Furthermore, comparing the techniques of lighten ing the
weight of each network, the conclusion is drawn that the direct index is used instead of the indirect index when designing
the model. At the same time, th e importance of the resid ual st ructure to ensure th e accuracy of th e lightweight model is
found. Finally, the development prospect of lightweight convolutional neur al network is pro spected.
Key words：Convolutional Neura l Network（CNN）; lightweight; conv olution method
作者简介：毕鹏程（1992—），男，硕士研究生，主要研究领域为深度学习，E-mai l：1228048290@qq.com；罗健欣（198 4—），男，博士，
讲师，主要研究领域为深度学习、智能信息处理、图形学；陈卫卫（1967—），女，教授，主要研究领域为服务计算。
收稿日期：2019-03-22 修回日期：2019-04-25 文章编号：1002-8331（2019）16-0025-11
CN KI网络出版：2019-04-29, http://kns.cnki .net/kcms/detail/11.2127.TP.20190426.1608.0 10.html
Computer Eng ineering an d Applications 计算机工程与应用
25
剩余10页未读，继续阅读
评论0