C3D的研究时resnet、transformer更好的backbone没有出现，当时的主流图像架构为vgg，研究人员，就单纯把vgg网络里面的每一个block都减少了一个conv层。把所有的conv层的卷积核由3*3变成了3*3*3。模型前面的pooling层为1*2*2，因为时序信息的珍贵，所以我们暂时不在时间的维度进行下采样，到中后期的pooling层为2*2*2再进行下采样，以保证时序信息的完整性使得模型能够充分利用这些运动信息。 对我们的启发是否可以落实在我们的模型当中： 我们对于时序信息的利用不够充分，时间维度经过一个全局平均池化层后就

丢失了，导致模型无法充分利用时序信息。我们可以考虑在模型中增加一些3D卷积层，以便更好地利用时序信息。此外，我们也可以尝试使用一些新的backbone，如resnet、transformer等，以提高模型的性能。 但是需要注意的是，每种backbone都有其适用的场景和优势，需要根据具体问题来选择合适的backbone。同时，在增加模型复杂度的同时，也要注意防止过拟合等问题，以保证模型的泛化能力。

相关问题

请为我介绍一下transformer和backbone相关的知识

Transformer是一种基于自注意力机制（self-attention）的序列到序列模型，由Google在2017年提出，广泛应用于自然语言处理任务中，如机器翻译、文本分类、问答系统等。

Transformer的主体结构由编码器(encoder)和解码器(decoder)组成。编码器和解码器都由若干个相同的层（Transformer层）组成。每个Transformer层中，都包含了多头自注意力机制和前馈神经网络两个子层。自注意力机制能够在不同位置之间建立直接的关联，前馈神经网络则能够提取局部特征。

除了Transformer，还有其他的backbone模型，如ResNet、VGG、Inception等，这些模型都是卷积神经网络的经典代表，主要用于图像识别和分类任务中。backbone模型的主要作用是提取图像或语言序列的高层特征表示，供后续任务模型使用。backbone模型的设计需要考虑到模型的深度、宽度、参数量和计算复杂度等因素。