![](https://csdnimg.cn/release/download_crawler_static/16589431/bgb.jpg)
本文档来源于公众号《CV 技术指南》,欢迎用于学术分享,禁止用于商业行为。
Inception V2-V3
引言:
Inception_v2 和 Inception_v3 是在同一篇论文中,提出 BN 的论文并不是 Inception_v2。
两者的区别在于《Rethinking the Inception Architecture for Computer Vision》这篇论文里提
到了多种设计和改进技术,使用其中某部分结构和改进技术的是 Inception_v2, 全部使用了
的是 Inception_v3。
Inception_v1 结构由于比较复杂,很难在其基础上有所改变,如果随意更改其结构,则
很容易直接丧失一部分计算收益。同时,Inception_v1 论文中没有详细各个决策设计的因素
的描述,这使得它很难去简单调整以便适应一些新的应用。为此,Inception_v2 论文里详细
介绍了如下的设计基本原则,并基于这些原则提出了一些新的结构。
1. 避免表示瓶颈,特别是在网络的浅层。一个前向网络每层表示的尺寸应该是从输入
到输出逐渐变小的。(当尺寸不是这种变化时就会出现瓶颈)
2. 高维度的表示很容易在网络中处理,增加激活函数的次数会更容易解析特征,也会
使网络训练的更快。(这条原则的意思是表示维度越高,越适合用网络来处理,像
二维平面上的数据分类反而就不适合用网络来处理,增加激活函数的次数会使得网
络更容易学到其表示特征)
3. 可以在较低维的嵌入上进行空间聚合,而不会损失很多表示能力。 例如,在执行
更分散(例如 3×3)的卷积之前,可以在空间聚集之前(浅层)减小输入表示的尺
寸,而不会出现严重的不利影响。 我们假设这样做的原因是,如果在空间聚合环
境中(中高层)使用输出,则相邻单元之间的强相关性会导致在尺寸缩减期间信息
损失少得多。 鉴于这些信号应易于压缩,因此减小尺寸甚至可以促进更快的学习。
4. 平衡网络的宽度和深度。 通过平衡每个阶段的滤波器数量和网络深度,可以达到
网络的最佳性能。 增加网络的宽度和深度可以有助于提高网络质量。 但是,如果
并行增加两者,则可以达到恒定计算量的最佳改进。 因此,应在网络的深度和宽
度之间以平衡的方式分配计算预算。
一些特殊的结构
卷积分解 Factorizing Convolutions with Large Filter Size
一个 5x5 的卷积核可通过两个连续的 3x3 卷积核来代替,其中第一个是正常的 3x3 卷积,
第二个卷积是在上一层 3x3 卷积的基础上进行全连接。这样做的好处是既实现了 5x5 卷积该
有的感受野,又实现了更小的参数 2x9/25,大概缩小了 28%。具体如下左图 fig1 所示。更
进一步,采用非对称分解,将一个 3x3 的卷积分解为 3x1 和 1x3。具体如下右图 fig2.