transformer的embedding结构

transformer的embedding结构是指将输入序列映射为一组高维特征表示的过程。在Swin Transformer Embedding UNet中，它采用了Swin Transformer的结构作为骨干网络，通过多层Swin Transformer块进行特征提取。每个Swin Transformer块由一个局部注意力模块（Local Attention Module）和一个全局注意力模块（Global Attention Module）组成。局部注意力模块用于在局部感受野内学习特征依赖关系，而全局注意力模块则用于建模长程依赖关系和全局上下文信息。

局部注意力模块采用了移位窗口策略，将多层自注意力机制（MSA）的计算限制在不重叠的窗口内，以减少计算量。全局注意力模块则通过计算输入序列的注意力权重来实现全局建模。这样，在保持计算效率的同时，能够捕捉到不同范围的特征依赖关系。

通过这样的embedding结构，transformer能够将输入序列中的信息进行编码和建模，为后续的任务提供丰富的特征表示。

相关问题

transformer embedding和positionembedding

### Transformer 模型中的嵌入层

在自然语言处理领域，Transformer架构通过引入自注意力机制来改进序列建模的效果。为了使模型能够理解输入数据，在输入阶段会应用两种类型的嵌入：词嵌入（Token Embedding）和位置嵌入（Positional Encoding）。这些嵌入共同作用于将离散的单词映射到连续向量空间中。

#### Token Embedding (词嵌入)

对于每一个输入token，都会有一个对应的d维向量表示其语义信息。这个过程通常基于预训练好的词表实现，即给定一个大小为V的词汇库，则可以构建一个形状为[V,d]的查找矩阵W_emb。当遇到具体词语时，只需索引该矩阵即可获得相应的低维度稠密特征表达[^1]。

import torch.nn as nn

class TokenEmbedding(nn.Module):
    def __init__(self, vocab_size: int, emb_size):
        super(TokenEmbedding, self).__init__()
        self.embedding = nn.Embedding(vocab_size, emb_size)
        
    def forward(self, tokens):  
        return self.embedding(tokens) * math.sqrt(emb_size)

#### Positional Encoding (位置编码)

由于Transformer摒弃了传统的RNN/LSTM结构而完全依赖于前馈神经网络，因此无法捕捉序列内部的时间顺序关系。为此，研究者设计了一种特殊的位置编码方案——波形函数形式的位置编码，它被加到了原始的token embeddings之上。这种做法不仅保留了绝对位置的信息，同时也允许模型学习相对距离特性。

公式如下：

\[
PE_{pos,2i}=\sin(pos/10000^{2i/d_{model}}), \quad PE_{pos,2i+1}=\cos(pos/10000^{2i/d_{model}})
\]

其中\( pos \)代表token在整个句子中的线性序号； \( i \in [0,\frac{d}{2})\) 表示embedding维度的一半范围内的整数下标； \( d_{model}\) 则指定了最终输出embeddings的总宽度。

def get_positional_encoding(max_len, d_model):
    pe = torch.zeros(max_len, d_model)
    position = torch.arange(0, max_len).unsqueeze(1)
    div_term = torch.exp(torch.arange(0, d_model, 2) *
                         -(math.log(10000.0) / d_model))
    
    pe[:, 0::2] = torch.sin(position * div_term)
    pe[:, 1::2] = torch.cos(position * div_term)
    
    return pe.unsqueeze(0)

Transformer模型结构

Transformer是一种深度学习模型，由Google在2017年提出的Transformer架构彻底改变了自然语言处理（NLP）领域，特别是在序列到序列的任务中，如机器翻译和文本生成。它的核心是自注意力机制（Self-Attention），而不是传统的循环神经网络（RNN）或卷积神经网络（CNN）中的递归或局部连接。

Transformer模型结构主要包括以下几个关键部分：

1. **编码器（Encoder）**：输入序列经过一系列嵌入层（Embedding Layer），然后通过多个编码器层。每个编码器层包括自注意力模块（Self-Attention）、前馈神经网络（Feedforward Network）以及残差连接（Residual Connections）和Layer Normalization。

2. **自注意力机制**：它允许模型同时考虑输入序列中所有位置的信息，而不是像RNN那样按顺序处理。这通过计算查询（Query）、键（Key）和值（Value）的相似度矩阵来实现，从而找出不同位置之间的关联。

3. **解码器（Decoder）**：在编码器生成的上下文向量的基础上进行操作，同样包含多层编码器，但增加了自注意力模块的一种变体（称为“自注意力掩码”），以避免模型看到未来的信息。

4. **多头注意力（Multi-Head Attention）**：将自注意力分为多个子空间进行，增强了模型对输入表示的多样性。

5. **位置编码（Positional Encoding）**：为原始输入添加位置信息，因为自注意力机制不保留序列的顺序。

6. **残差块（Residual Blocks）**：有助于梯度传播和模型训练过程中的稳定性。

Transformer因其高效并行化处理的能力，以及在长序列任务中的优秀表现而受到广泛青睐，并已扩展到许多其他领域，如计算机视觉（Vision Transformer, ViT）和音频处理。