non-local和self-attention

non-local是一种用于计算机视觉和自然语言处理中的注意力机制，通过考虑不同位置的像素或词汇之间的相互关系来改善模型的表现。

self-attention是一种在自然语言处理中广泛使用的机制，通过计算输入序列中不同位置之间的相互关系来生成用于下一步操作的表示。此机制在BERT和Transformer等最先进的自然语言处理模型中得到广泛应用。

相关问题

image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining

这是一种图像超分辨率技术，它使用跨尺度非局部注意力和全面的自我示例挖掘来提高图像的分辨率。具体来说，它利用了图像中不同尺度之间的关系，并通过挖掘大量的自我示例来学习更好的图像表示。这种技术可以在保持图像细节的同时提高图像的清晰度和质量。

除了CBAM注意力机制还有哪些

除了CBAM注意力机制之外，还有以下几种常见的注意力机制：

1. Squeeze-and-Excitation (SE) 注意力机制：SE注意力机制是一种轻量级的注意力机制，它通过全局平均池化和全连接层来自适应地计算每个通道的权重，从而提高模型的性能。

2. Self-Attention 注意力机制：Self-Attention注意力机制是一种基于Transformer模型的注意力机制，它通过计算不同位置之间的相似度来自适应地计算每个位置的权重，从而实现对输入序列的建模。

3. Non-Local 注意力机制：Non-Local注意力机制是一种基于非局部结构的注意力机制，它通过计算不同位置之间的相似度来自适应地计算每个位置的权重，从而实现对输入序列的建模。

4. Spatial Attention 注意力机制：Spatial Attention注意力机制是一种基于空间信息的注意力机制，它通过计算不同空间位置之间的相似度来自适应地计算每个位置的权重，从而实现对输入图像的建模。