convnext T

### ConvNeXt 架构介绍

#### 宏观设计
ConvNeXt 是一种基于卷积神经网络的新架构，旨在继承并改进传统 CNN 的优势。该模型通过引入更深层次的网络结构（如 ConvNeXt-Tiny、ConvNeXt-Base、ConvNeXt-Large 和 ConvNeXt-XLarge 等不同规模版本），增强了模型的表现力[^1]。

#### 层次化结构
类似于 ResNet 等经典网络，ConvNeXt 使用深度层次化的结构，通过逐步下采样和增加特征维度来构建多尺度特征表示。这种设计使模型能够有效地捕捉图像中的局部细节以及全局上下文信息[^3]。

#### 关键组件替换
为了进一步提升性能，在某些层面上 LayerNorm 已经取代了传统的批标准化 Batch Normalization (BN)，这不仅简化了训练过程还提高了泛化能力。

import torch.nn as nn

class Block(nn.Module):
    def __init__(self, dim, drop_path=0., layer_scale_init_value=1e-6):
        super().__init__()
        self.dwconv = nn.Conv2d(dim, dim, kernel_size=7, padding=3, groups=dim)  # depthwise conv
        self.norm = LayerNorm(dim, eps=1e-6)
        ...

#### 大核尺寸与倒置瓶颈
ConvNeXt 还采用了较大的卷积核大小，并结合了类似 MobileNetV2 中使用的倒置残差模块(Inverted Bottleneck)，这些改动有助于提高计算效率的同时保持良好的准确性[^2]。

---