如何通过自注意力机制计算节点的相似度矩阵

在本文提出的异构图注意网络中，自注意力机制用于计算节点之间的相似度矩阵。具体过程如下：

1. **特征变换**：首先对每个节点的特征向量进行线性变换（即仿射变换），生成查询（query）、键（key）和值（value）向量。
- 对于视频子图 \( G_v \)，假设节点 \( v_i \) 的特征为 \( n_v^i \)，则通过以下方式生成查询、键和值向量：
\[
n_v^{i,q} = \sigma_q(n_v^i)
\]
\[
n_v^{i,k} = \sigma_k(n_v^i)
\]
\[
n_v^{i,v} = \sigma_v(n_v^i)
\]

2. **计算相关性**：接下来，计算每个节点对其他节点的相关性得分。对于节点 \( v_i \) 和 \( v_j \)，相关性得分 \( c_{ij} \) 可以表示为：
\[
c_{ij} = \frac{n_v^{i,q} \cdot n_v^{j,k}}{\|n_v^{i,q}\|^2 \|n_v^{j,k}\|^2}
\]

3. **归一化**：使用softmax函数将相关性得分归一化为注意力权重 \( \alpha_{ij} \)：
\[
\alpha_{ij} = \text{softmax}(c_{ij}) = \frac{\exp(c_{ij})}{\sum_{j=1}^P \exp(c_{ij})}
\]

4. **更新节点特征**：最后，根据注意力权重更新节点特征。对于节点 \( v_i \)，其更新后的特征 \( \tilde{n}_v^i \) 为：
\[
\tilde{n}_v^i = n_v^i + \beta \cdot \sum_{j=1}^P \alpha_{ij} \cdot n_v^{j,v}
\]
其中，\( \beta \) 是一个可学习的参数。

### 代码示例
以下是上述过程的一个简化版伪代码实现：

import torch
import torch.nn.functional as F

def intra_modality_information_aggregation(G_v):
    # 假设 G_v 包含节点特征 n_v
    n_v = G_v['n_v']
    
    # 定义仿射变换
    sigma_q = torch.nn.Linear(n_v.shape[-1], n_v.shape[-1])
    sigma_k = torch.nn.Linear(n_v.shape[-1], n_v.shape[-1])
    sigma_v = torch.nn.Linear(n_v.shape[-1], n_v.shape[-1])
    
    # 计算 query, key, value
    n_v_q = sigma_q(n_v)
    n_v_k = sigma_k(n_v)
    n_v_v = sigma_v(n_v)
    
    # 计算相关性
    c_v = torch.bmm(n_v_q, n_v_k.transpose(1, 2)) / (torch.norm(n_v_q, dim=-1).unsqueeze(-1) * torch.norm(n_v_k, dim=-1).unsqueeze(-2))
    
    # 归一化为注意力权重
    alpha_v = F.softmax(c_v, dim=-1)
    
    # 更新节点特征
    beta = torch.nn.Parameter(torch.tensor(0.1))
    n_tilde_v = n_v + beta * torch.bmm(alpha_v, n_v_v)
    
    return n_tilde_v

在这个过程中，`n_v` 是一个形状为 `(N, P, d)` 的张量，其中 `N` 是批量大小，`P` 是节点数，`d` 是特征维度。通过上述步骤，我们可以有效地计算出节点之间的相似度矩阵，并利用自注意力机制更新节点特征。