知识图谱补全图神经模型

### 图神经网络用于知识图谱补全

#### 局部与全局信息融合挑战
传统图神经网络（GNN）在处理大规模知识图谱时面临主要挑战之一是仅能捕捉到局部邻域的信息，而难以有效利用全局结构特征[^2]。这种局限性使得现有方法对于远离中心节点的实体表示学习效果不佳。

#### 过度平滑现象
当层数加深时，在孤立子图内部由于可用的关系路径数量较少，容易发生过拟合问题即所谓的“过度平滑”。这导致不同节点之间的区分度下降，最终影响预测性能。

#### 双分支多注意力机制解决方案
为了克服上述困难，《Double-Branch Multi-Attention based Graph Neural Network for Knowledge Graph Completion》提出了一种新的架构——双分支多头自注意图卷积网络(DBMA-GCN)。该模型通过引入两个并行的工作流来分别提取局部和远程依赖关系：

1. **Local Branch (LB)**: 使用标准GCN层聚合邻居消息以获得近似真实的嵌入向量；
2. **Global Branch (GB)**: 利用Transformer中的multi-head self-attention机制跨越更远距离建立联系，并缓解了因稀疏连接造成的梯度消失问题。

最后将两者得到的结果拼接起来作为最终输出供下游任务使用。

import torch
from torch_geometric.nn import GCNConv, TransformerConv

class DBMAGCN(torch.nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super().__init__()
        
        # Local branch with standard GCN layers
        self.local_conv = GCNConv(input_dim, hidden_dim)

        # Global branch using transformer-based convolutions
        self.global_attn = TransformerConv(input_dim, hidden_dim, heads=8, concat=True)
    
    def forward(self, x, edge_index):
        local_out = F.relu(self.local_conv(x, edge_index))
        global_out = F.relu(self.global_attn(x, edge_index))

        combined_features = torch.cat([local_out, global_out], dim=-1)
        return combined_features