Transformer视觉应用解析：ViT在第八次组会的深入探讨

在2022年4月16日的第八次组会上，由陈怡达进行的 Vision Transformer (ViT) 报告深入探讨了这一前沿技术在计算机视觉领域的应用。Transformer架构最初在自然语言处理(NLP)任务中取得了显著成功，已经成为事实上的标准，但将其应用于视觉领域的挑战尚存。 报告首先概述了Transformer架构的背景，指出尽管Transformer在处理文本序列时表现出色，但在计算机视觉（CV）任务中，如图像分类，其应用受到了限制。Transformer通常与卷积神经网络(CNN)结合使用，或者尝试替换CNN的部分组件，以利用其自注意力机制在图像数据上捕捉全局上下文信息。 会议详细介绍了以下几个关键点： 1. **Self-Attention**：Transformer的核心在于自注意力机制，它允许模型同时考虑输入序列中所有位置的信息，这对于处理变长的视觉输入至关重要。通过计算元素之间的相似度权重，Self-Attention能够捕获图像中的空间依赖关系，这是传统CNN难以做到的。 2. **数据集**：报告中提及了几个用于训练和评估ViT性能的数据集，包括： - JFT-300M：Google内部大规模图像分类数据集，包含17k类别和3.5亿张图片，展示了大样本量对Transformer模型的影响。 - ImageNet-21k：拥有1400万张图片，分辨率各异，是训练大模型的重要资源。 - Image-1k（子集）：1000类，128万张图像，适合验证模型的泛化能力。 - CIFAR100：100个类别，每类600张32x32像素的小尺寸图像，用于模型在低分辨率场景下的表现评估。 3. **分类任务详解**：报告重点讨论了如何将Transformer应用于图像分类任务，强调了Transformer如何通过注意力机制在缺乏明确局部特征的情况下学习整体特征表示。尽管面临挑战，但这些方法显示出Transformer在处理视觉信息时的独特潜力。 通过这次组会，参与者不仅了解了Transformer在计算机视觉中的现状，还对如何优化模型结构、选择合适的数据集以及如何结合CNN进行了深入讨论。未来的研究将继续探索如何更好地整合Transformer和其他视觉技术，以推动计算机视觉领域的发展。