axial attention
时间: 2023-09-27 13:11:54 浏览: 260
axial-attention:实施轴向注意力-有效地处理多维数据
Axial Attention(轴向注意力)是一种注意力机制,通常由行注意力(row-attention)和列注意力(column-attention)组合使用。它在图像处理中被广泛应用。轴向注意力的使用方法如下所示:
```
from axial_attention import AxialAttention
img = torch.randn(1, 3, 256, 256)
attn = AxialAttention(dim=3)
```
其中,`dim`参数表示嵌入维度。轴向注意力的主要思想是在图像的垂直和水平方向上分别进行自我注意力计算,这样可以将计算复杂度从O(2*H*W)降低到O(H*W)。
阅读全文