depth conv

depthwise conv是一种卷积操作，与传统的conv2d有一些不同之处。在conv2d中，每个深度上都进行卷积操作，然后将结果求和。而在depthwise conv中，每个深度上都进行独立的卷积操作，不进行求和。\[1\]

此外，1x1卷积降维是一种常见的操作，它可以将每个通道的维度变为卷积核的数量，同时保持通道的长宽不变。在深度方向上，1x1卷积可以实现深度方向的乘法，也称为channel-wise multiplication。depthwise conv中也可以使用1x1卷积来实现这种操作。\[2\]

在一些模型中，depthwise conv模块被移动到了1x1 conv之前。这样做的原因是在Transformer等模型中，多头自注意力机制（MSA）模块通常放在多层感知机（MLP）模块之前。为了效仿这种结构，将depthwise conv模块上移。这样的改动可以降低FLOPs（浮点运算数），但准确率可能会下降。\[3\]
#### 引用[.reference_title]
- *1* *2* [DepthwiseConv2D和Conv2D详解](https://blog.csdn.net/u010879745/article/details/108043183)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [理解ConvNeXt网络（结合代码）](https://blog.csdn.net/Orange_sparkle/article/details/126827461)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]