1.1.5 以平均池化代替全连接
全连接层可以对特征进行高度的提纯,并充当分类器的作用,但是与普通的卷积
层相比,参数量过于庞大。假定需要分类的类别只有 4 种,但对于全连接层的输入图
像的每一个像素都存在与之对应的 4 个权重,会带来极大的参数量,增加了硬件内部
的存储以及因数据读取所造成的功耗,尤其是第一个与最后的卷积层相连的全连接层。
假设网络当中只有一个全连接层充当分类器,如果使用全局平均池化代替该全连
接层,可以省去这一全连接层的全部参数。同时,假定最后一个卷积层的输出特征图
的尺寸为 16×16×4,即输出通道为 4 恰为分类个数,全副图像池化相比全连接节省
了 16×16×4=1024 倍的乘法运算。但如果最后一个卷积层的输出特征图的尺寸为 16
×16×512 的话,使用该方法得到的是 512 个值,相比四分类来说个数太多,可以再
接一个小的全连接层,但这样也比卷积后直接全连接去分类带来的运算量和参数量要
少的多。另外,最大池化更适合提取极端特征,在池化区域尺寸较大时,会造成较多
的信息丢失,而平均池化相当一个期望特征检测器,可以利用上所有的信息。经过实
践验证,全副图像平均池化相比全连接,其最终的分类效果并没有带来任何减少。
1.1.6 尺寸不变深度增加
在硬件实现时,大多种任务都不能在一个时钟周期内完成,假定一个任务的处理
时间 t 为 8 个时钟周期。但多次执行时可以在消除数据依赖的情况下,进行流水处理
来缩短总的处理时间,如下图 1.5 所示。可毕竟一个任务需要一定的时延 t 才能产生
结果,因此即使进行了流水处理,连续执行 8 次该项任务所需的总时间 T 并不是 8
个周期,而是 8+(8−1)=15 个周期,这个在图也有所示意。所以随着任务执行次数的
减少,任务的处理时延 t 所占总体处理时间 T 的比例则会越来越大,将带来资源利用
率的降低,最终导致整个网络的处理速度下降。
MULRD ADD ADD ADD CMPRD WR
8 iterations
T=15 cycles
t=8 cycles
Ratio = t/T 1/2
!!!
MULRD ADD ADD ADD CMPRD WR
MULRD ADD ADD ADD CMPRD WR
MULRD ADD ADD ADD CMPRD WR
MULRD ADD ADD ADD CMPRD WR
MULRD ADD ADD ADD CMPRD WR