Two-stream self-attention

### 双流自注意力机制概述

双流自注意力机制是一种用于视觉模型中的创新架构设计，旨在通过分离空间位置和内容信息来增强模型的表现力[^1]。具体来说，这种机制将输入数据分解成两个独立但相互关联的路径：一个是处理内容（content-based）的信息流；另一个则专注于空间位置（spatial position-based）的信息编码。

#### 内容流(Content Stream)

内容流主要负责捕捉图像或序列中各个元素之间的关系强度。对于给定的位置i，计算其与其他所有位置j之间的重要性权重时仅考虑它们的内容相似度：

import torch.nn.functional as F

def content_attention(query, key, value):
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(key.size(-1))
    p_attn = F.softmax(scores, dim=-1)
    output = torch.matmul(p_attn, value)
    return output, p_attn

此过程允许网络学习到哪些部分应该被重点关注以及如何组合这些关注点形成最终表示向量。

#### 空间流(Position Stream)

与此同时，另一条并行的空间流专门用来建模各元素间的相对位置差异。这有助于保留原始输入结构的同时赋予模型更强的理解能力：

def spatial_attention(positions, query, key, value):
    pos_scores = torch.sum(positions * query.unsqueeze(1), dim=-1).unsqueeze(-1)
    combined_scores = pos_scores + torch.matmul(query, key.transpose(-2, -1))
    p_attn = F.softmax(combined_scores, dim=-1)
    output = torch.matmul(p_attn, value)
    return output, p_attn

这种方法不仅能够有效提升模型性能，还使得训练更加稳定高效。