AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION
时间: 2023-11-19 18:17:17 浏览: 42
AS-MLP(Axial Shifted MLP)是一种用于视觉任务的MLP架构,由上海科技大学和腾讯优图实验室合作发表的研究论文提出。该架构解决了传统MLP网络架构在全局信息交流方面的问题,忽视了局部信息的收集。在计算机视觉中,局部特征对于识别和分割等任务非常重要。
AS-MLP的关键思想是通过沿空间轴向对特征图进行shift操作,使得不同位置的特征处于相同的通道中。然后使用Channel Projection来融合不同位置的特征,实现局部性信息的交流。这种思想类似于ShuffleNet。AS-MLP是首个将MLP架构迁移到下游任务的网络,与Swin的骨干思想基本一致,通过对token进行叠加来实现下采样。
AS-MLP在ImageNet数据集上取得了比其他MLP架构更好的性能,在COCO检测和ADE20K分割任务上与以Swin为骨干相当(略弱)的性能。这表明AS-MLP在视觉任务中具有很好的应用潜力。
未来的工作中,研究人员将进一步研究AS-MLP在自然语言处理中的有效性,并探索其在其他下游任务中的性能。 <span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
相关问题
mlp-mixer: an all-mlp architecture for vision
### 回答1:
mlp-mixer是一种全MLP架构,用于视觉任务。它使用多层感知机(MLP)来代替传统的卷积神经网络(CNN)来处理图像。这种架构的优点是可以更好地处理不同尺度和方向的特征,同时减少了计算和内存消耗。它在许多视觉任务中表现出色,例如图像分类、目标检测和语义分割。
### 回答2:
mlp-mixer是一种全连接多层感知器(Multi-Layer Perceptron,MLP)网络架构,用于视觉场景的图像分类任务。它是在自然语言处理领域中Transformer的启发下发展起来的。与CNN、ResNet等传统的卷积神经网络架构不同,mlp-mixer主要采用全连接层(FC)和MLP Block。
mlp-mixer架构设计的主要思想是将全局信息和本地信息分离,然后通过一系列由FC和MLP Block组成的混合层进行特征提取。在每个MLP Block中,特征向量会被分成多个部分进行局部特征提取,之后再全局汇聚。这样可以保证局部信息不会在多次卷积操作后丢失,并且全局信息的汇聚也是非常高效的。
另外,mlp-mixer架构中的Layer Norm和MLP Block中的GELU激活函数等技术也是有其特点的。Layer Norm是比Batch Norm更加具有一般性的归一化技术,可以提高模型对小批量数据的扩展性。而GELU激活函数在接近0处光滑,对精度保持了很好的提升。这些技术的运用让mlp-mixer模型具有了更好的稳定性和鲁棒性。
综上所述,mlp-mixer是一个全新的神经网络架构,其与传统的卷积神经网络的不同点在于摆脱了卷积操作,通过全连接层和MLP Block等模块提取图像特征。该模型有很强的泛化性,并且在图像分类任务上取得了不错的效果。它的优点在于良好的可扩展性和可解释性,且训练效果非常稳定。在未来,mlp-mixer模型或许有望在计算机视觉领域中取得更进一步的发展。
### 回答3:
MLP-Mixer是一种全MLP(多层感知器)的架构,可以应用于视觉任务中的图像分类和目标检测等任务。MLP-Mixer在CVPR 2021中被提出并于同年6月被公开发布。
传统的卷积神经网络(CNN)被广泛应用于计算机视觉领域。但是,随着计算机视觉任务的不断发展和增加,如何更好地处理不同类型和规模的数据集,成为了一个挑战。因此,MLP-Mixer尝试解决传统卷积神经网络中一些问题,例如参数共享、池化和批归一化等。
MLP-Mixer的主要思想是将传统的卷积操作替换为由若干密集连接层(全连接层)组成的mixing层。传统的卷积操作只考虑空间上的邻居关系,而mixing层考虑全局视角。mixing层通过对不同通道(channel)的信息进行交互,捕捉不同通道之间的全局相关性,提高了特征提取的效率和性能,同时降低卷积神经网络的复杂性。
此外,MLP-Mixer还引入了多层感知器池化层(MLP Pooling Layer)代替传统的最大池化层(Max Pooling Layer),使神经网络更加灵活和高效。MLP-Mixer考虑到了计算机视觉中不同尺度的特征信息,通过MLP池化层进行特征重组和降维,使得神经网络可以处理多尺度特征信息,提高特征提取的精度和速度。
总的来说,MLP-Mixer是一种全MLP的架构,其独特的mixing层和MLP Pooling层相比传统的卷积神经网络有着更好的性能和可扩展性。未来,MLP-Mixer有望在计算机视觉领域的各种任务中得到广泛的应用。
apiVersion: apps/v1 kind: Deployment metadata: name: service-bankname-match labels: app: service-bankname-match spec: replicas: 1 selector: matchLabels: app: service-bankname-match template: metadata: labels: app: service-bankname-match spec: containers: - image: artifactory.dev.cmbc.cn:31345/mlp-docker-sit-local/20230518/service-bankname-match:2000038692v29 name: service-bankname-match imagePullPolicy: "IfNotPresent" lifecycle: preStop: exec: command: - /bin/sh - -c - /java/pset/stop.sh workingDir: /app/service-bankname-match command: ['sh','app/start_server.sh'] ports: - containerPort: 8080 env: - name: MONITOR_TYPE value: CONTAINER_ONLY - name: cmbc_logs_banknamematch value: stdout - name: cmbc_logs_banknamematch_tags value: topic=elk-k8s-mlp-mopen resources: requests: cpu: 1500m memory: "4Gi" limits: cpu: "8" memory: "8Gi" readinessProbe: failureThreshold: 3 httpGet: path: /healthz port: 8080 scheme: HTTP initialDelaySeconds: 60 periodSeconds: 60 timeoutSeconds: 120 livenessProbe: failureThreshold: 3 httpGet: path: /healthz port: 8080 scheme: HTTP initialDelaySeconds: 60 periodSeconds: 60 timeoutSeconds: 120 nodeSelector: app_name: testapp
这段代码是一个 Kubernetes 的 Deployment 文件,用于部署一个名为 `service-bankname-match` 的应用。该应用使用的镜像为 `artifactory.dev.cmbc.cn:31345/mlp-docker-sit-local/20230518/service-bankname-match:2000038692v29`,容器监听的端口为 8080。此外,该应用还定义了一些环境变量,资源请求和限制,以及 readiness 和 liveness 探针。最后,该 Deployment 文件还指定了一个 `nodeSelector`,用于将该应用调度到特定的节点上。