deep wise convolution

Deep-wise 卷积是一种卷积神经网络中的特殊卷积操作。它是将卷积操作分为两个步骤：可分离卷积（Separable Conv）和点卷积（Point-wise Conv）。

简单来说，Deep-wise 卷积相对于传统的卷积操作，具有更少的浮点运算（FLOPs）。然而，在相同的计算复杂度（FLOPs）下，Deep-wise 卷积需要更多的输入输出（IO）读取次数。因此，尽管Deep-wise 卷积的尺寸较小，可以在相同的显存下使用更大的批次大小来充分利用GPU，但是速度的瓶颈已经由计算转变为IO。因此，Deep-wise 卷积无法实现传统卷积所具备的快速特性。

对于传统的卷积操作，例如对于一个输入特征图为[12,12,3]，输出特征图为[8,8,256]的卷积操作，需要使用256个[5,5,3]的卷积核。参数量为256 x 5 x 5 x 3 = 19200，乘法次数为256 x 5 x 5 x 3 x 8 x 8 = 1228800（也可以理解为FLOPs）。