共享多层感知器MLP

### 关于共享多层感知器 (Shared MLP) 的架构与实现

在神经网络设计中，共享多层感知器（Shared MLP）是一种常见的结构，在多个输入上应用相同的权重参数。这种机制不仅减少了模型中的参数数量，还增强了特征提取的一致性和效率。

#### 架构特点
共享MLP的核心在于其权值矩阵在整个网络的不同位置被重复利用。这意味着对于给定的任务或数据集，所有处理路径都将通过同一组线性变换和激活函数来进行计算[^1]。具体来说：

- **相同的操作**：无论是在图像识别还是自然语言处理等领域，当面对不同但相似类型的输入时，可以采用同一个MLP进行映射。
- **减少冗余**：由于只有一套可学习的参数用于所有的转换过程，因此能够有效降低过拟合的风险并提高泛化能力。

#### 实现方式
为了更好地理解如何构建这样一个系统，下面给出了一段Python代码片段作为例子，展示了怎样创建一个简单的共享MLP类，并应用于两个不同的输入向量`input_a` 和 `input_b`:

import torch.nn as nn

class SharedMLP(nn.Module):
    def __init__(self, input_dim=64, hidden_dims=[128], output_dim=256):
        super().__init__()
        
        layers = []
        current_dim = input_dim
        
        for dim in hidden_dims:
            layers.append(nn.Linear(current_dim, dim))
            layers.append(nn.ReLU())
            current_dim = dim
            
        self.shared_mlp = nn.Sequential(*layers)

    def forward(self, x):
        return self.shared_mlp(x)


# 创建实例
mlp_model = SharedMLP()

# 假设有两批独立的数据点
batch_size = 32
feature_size = mlp_model.input_dim
inputs_a = torch.randn(batch_size, feature_size)
inputs_b = torch.randn(batch_size, feature_size)

output_a = mlp_model(inputs_a)
output_b = mlp_model(inputs_b)

这段代码定义了一个名为`SharedMLP`的PyTorch模块，它接受任意维度大小的输入张量，并经过一系列全连接层(`nn.Linear`)以及ReLU激活函数之后返回输出结果。值得注意的是，这里并没有为每一个新的输入单独设置一套全新的MLP组件；相反，这些操作都是基于之前已经初始化好的对象完成的——即实现了所谓的“共享”。