transformer代替lstm

### Transformer 模型相较于 LSTM 的优势

#### 更强的长距离依赖处理能力
Transformer 使用自注意力机制（Self-Attention Mechanism），使得模型中的每个位置都能够关注到序列中任意位置的信息，从而有效地解决了传统 RNN 和 LSTM 中长期依赖问题难以解决的情况[^2]。

#### 并行化训练提升效率
由于其架构设计特点，即无需像 RNN 或者 LSTM 那样按顺序逐个时间步地处理输入数据，因此可以在硬件资源允许的情况下实现完全并行化的训练过程，大大提高了计算速度和降低了延迟。这种特性对于需要快速响应的应用场景尤为重要[^3]。

#### 参数共享减少过拟合风险
在编码器部分，所有的子层都采用了相同的权重矩阵；而在解码器端，则是在不同阶段重复使用同一套参数。这样的做法有助于防止因网络层数过多而导致的过拟合现象发生，同时也简化了整个系统的调试工作量。

### 应用场合对比

#### 自然语言处理领域
无论是机器翻译还是文本摘要生成等任务上，Transformers 表现出了超越以往基于RNN/LSTM的方法的效果，在这些方面具有明显的技术领先性。特别是在涉及较长文本片段的理解与转换时，transformer 架构更能发挥出自身特长[^4]。

#### 时间序列数据分析
虽然最初被广泛应用于NLP方向，但随着研究深入发现它同样适用于其他类型的序列建模问题，比如金融市场的波动预测或是物联网设备产生的传感器读数流式传输等领域内也有着广阔的发展前景[^1]。

import torch.nn as nn

class SimpleTransformer(nn.Module):
    def __init__(self, d_model, nhead, num_encoder_layers, num_decoder_layers):
        super().__init__()
        self.transformer = nn.Transformer(d_model=d_model, nhead=nhead,
                                         num_encoder_layers=num_encoder_layers,
                                         num_decoder_layers=num_decoder_layers)

    def forward(self, src, tgt):
        output = self.transformer(src, tgt)
        return output