transformer有哪几种

Transformer模型有以下几种变体：

1. 基础Transformer（Vanilla Transformer）：最初由Vaswani等人在《Attention is All You Need》论文中提出的原始Transformer模型，包含了多头自注意力机制和前馈神经网络。

2. 多层感知机Transformer（MLP Transformer）：在原始Transformer的基础上，引入了多层感知机（MLP）作为自注意力机制的替代，用于对输入序列的特征进行编码。

3. 图注意力Transformer（GAT）：针对图数据的Transformer变体，通过引入图注意力机制来处理节点之间的依赖关系。

4. 几何变换器（Geometric Transformer）：一种用于处理图像和图形数据的Transformer变体，通过引入几何变换器来实现几何扭曲和变形。

5. 混合Transformer（Hybrid Transformer）：结合了CNN和Transformer的特性，用于处理图像数据，通过在局部空间上使用CNN提取特征，并在全局空间上使用Transformer进行建模。

这些是Transformer的一些常见变体，每个变体都在原始的自注意力机制的基础上进行了改进和扩展，以适应不同类型的数据和任务。

相关问题

transformer分为哪几类

### Transformer模型的主要类型及其特点

#### 1. 编码器-解码器架构 (Encoder-Decoder Architecture)

编码器-解码器架构是最初的Transformer设计，广泛应用于序列到序列的任务中。该架构由多层编码器和解码器组成，两者都基于自注意力机制构建。编码器负责理解输入序列的信息并将其转化为中间表示；解码器接收来自编码器的输出以及先前生成的结果来逐步生成目标序列。

#### 2. 唯一编码器架构 (Encoder Only)

仅含编码器部分的Transformer被用于多种自然语言处理任务，特别是那些不需要显式的解码过程的情况。这类模型通常通过掩蔽语言建模等自我监督学习方式预先训练，之后针对特定应用领域进行微调。例如BERT就是典型的只包含编码器组件的预训练语言模型[^1]。

from transformers import BertModel, BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

text = "This is a sample sentence."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

#### 3. 唯一解码器架构 (Decoder Only)

仅有解码器组成的Transformer适用于文本生成类的应用场景，比如对话系统或文章摘要生成。它能够根据给定提示连续地扩展句子片段直至完成整个文档创作。GPT系列即为此种类型的代表作之一。

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

prompt = "Once upon a time"
input_ids = tokenizer.encode(prompt, return_tensors='pt')
output_sequence = model.generate(input_ids=input_ids, max_length=50)[0]

print(tokenizer.decode(output_sequence))

#### 4. 视觉变换器(Vision Transformers, ViT)

视觉变换器将图像分割成固定大小的小块(patch)，并将这些patch线性映射为嵌入向量(embedding vectors)。接着利用标准的Transformer结构去捕捉全局特征间的相互作用，最终实现高效的计算机视觉任务解决能力。ViT的设计理念借鉴了NLP中的成功经验，并证明了其有效性特别是在大规模数据集上的表现[^3]。

import torch
from torchvision.models.vision_transformer import vit_b_16

image_size = 224
num_classes = 1000
vit_model = vit_b_16(pretrained=True).eval()

dummy_input = torch.randn(1, 3, image_size, image_size)
logits = vit_model(dummy_input)
predicted_class_idx = logits.argmax(-1).item()

transformer的几种变形

### Transformer模型及其变体

#### 原始Transformer架构
原始的Transformer模型引入了一种全新的神经网络结构，摒弃了传统的循环神经网络(RNN)，转而完全依赖于自注意力机制来处理序列数据。这种设计使得Transformer能够在并行化训练方面取得显著优势，并能更有效地捕捉长距离依赖关系[^2]。

import torch.nn as nn

class OriginalTransformer(nn.Module):
    def __init__(self, d_model=512, nhead=8, num_encoder_layers=6,
                 num_decoder_layers=6, dim_feedforward=2048, dropout=0.1):
        super(OriginalTransformer, self).__init__()
        # 定义编码器和解码器层...

#### Decoder-only (仅解码器) 变体
这类变体移除了标准Transformer中的编码器部分，只保留了解码器组件。这不仅简化了整体框架，还允许构建更加灵活的语言生成工具。例如，在大规模预训练语言模型中观察到的现象表明，增加模型规模可以提高性能；因此出现了像GPT系列这样的大型decoder-only模型[^3]。

class DecoderOnlyModel(nn.Module):
    def __init__(self, vocab_size, hidden_dim, num_heads, num_layers):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_dim)
        decoder_layer = nn.TransformerDecoderLayer(hidden_dim, num_heads)
        self.decoder = nn.TransformerDecoder(decoder_layer, num_layers)

    def forward(self, tgt, memory=None):  # 这里memory通常为空或不使用
        return self.decoder(tgt=tgt, memory=memory if memory is not None else tgt)

#### GLU变体
门控线性单元(GLU)被应用于改进传统Transformer的表现力。具体来说，GLU变体会利用特定类型的激活函数组合——即ReLU与sigmoid相乘的形式——作为其核心操作之一。研究表明，这种方式可以在保持计算效率的同时增强表达能力，进而改善某些NLP任务上的效果[^1]。

def glu(x, dim=-1):
    """实现简单的GLU"""
    a, b = x.chunk(2, dim=dim)
    return a * torch.sigmoid(b)


class GLUTransformerEncoderLayer(nn.Module):
    def __init__(self, ... ):
        ...
        self.linear1 = nn.Linear(d_model, 2*dim_feedforward)
        
    def forward(self, src):
        ...
        out = glu(self.linear1(src))
        ...