Embedded Gaussian中的两个嵌入权重变换 的pyhon代码

Embedded Gaussian是一种用于NLP任务的模型，其中两个嵌入权重变换通常是指词向量和位置向量的嵌入。以下是一个简单的Python代码实现：

import torch
import torch.nn as nn

class EmbeddingLayer(nn.Module):
    def __init__(self, vocab_size, embedding_dim, max_len):
        super(EmbeddingLayer, self).__init__()
        self.word_embedding = nn.Embedding(vocab_size, embedding_dim)
        self.pos_embedding = nn.Embedding(max_len, embedding_dim)
    
    def forward(self, x):
        # x: (batch_size, seq_len)
        seq_len = x.size(1)
        pos = torch.arange(0, seq_len).unsqueeze(0).repeat(x.size(0), 1).to(x.device)
        # pos: (batch_size, seq_len)
        word_embed = self.word_embedding(x)
        pos_embed = self.pos_embedding(pos)
        embed = word_embed + pos_embed
        return embed

这里的EmbeddingLayer类包含两个嵌入层，一个用于词向量，一个用于位置向量。在前向传播过程中，我们需要根据输入的序列长度生成位置向量，并将词向量和位置向量相加得到最终的嵌入表示。