vidtr与vivit与MVit这三个模型的不同

VIDTR (Video Transformer with Recurrent Memory Update)、ViVit (Video Vision Transformer) 和 MVit (Mobile Vision Transformer) 都是 Transformer 模型在视频领域的应用，它们的主要不同点如下：

1. 模型结构：VIDTR 是一种基于编码器-解码器结构的模型，其中编码器使用 Transformer 编码器，解码器则使用循环神经网络。ViVit 和 MVit 则是单纯的 Transformer 模型，没有使用解码器。

2. 帧间关系的建模方式：VIDTR 使用循环神经网络来建模帧间的时序关系，以便更好地捕捉视频中的动态变化和运动信息。ViVit 则使用一种新颖的空间注意力机制，将空间特征和时间特征进行关联，以捕捉视频中的动态变化和运动信息。MVit 则是基于 ViT (Vision Transformer) 模型的变种，针对视频领域的特点进行了改进，使用了一种新的时空注意力机制来建模帧间的关系。

3. 训练方式：VIDTR 使用自回归方式训练模型，即每一时刻的预测都依赖于前面时刻的预测。ViVit 和 MVit 则采用了一种无监督训练方式，即使用视频数据自身来学习特征表示。

4. 模型性能：VIDTR 在一些视频分类和动作识别任务上取得了很好的效果，但是模型结构比较复杂，计算量较大。ViVit 目前在一些视频分类和动作识别任务上也取得了很好的效果，模型结构比较简单，计算量较小。MVit 是针对移动设备和嵌入式设备等资源受限的场景设计的，模型结构比较轻量级，计算量较小，但在一些视频分类任务上的表现也很不错。

综上所述，VIDTR、ViVit 和 MVit 都是 Transformer 模型在视频领域的应用，它们的主要不同点在于模型结构、帧间关系的建模方式、训练方式和模型性能等方面。