class CNN(nn.Module): def __init__(self, vocab_size: int, embed_dim: int, hidden_dim: int, embed_drop: float): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.conv = nn.Conv1d(in_channels=embed_dim, out_channels=hidden_dim, kernel_size=3, padding=1) self.embed_dropout = nn.Dropout(embed_drop) self.linear = nn.Linear(hidden_dim, embed_dim) def forward(self, x, *args): x = self.embedding(x) x = self.embed_dropout(x) x = x.transpose(1, 2) x = self.conv(x).transpose(1, 2).relu() x = self.linear(x) probs = torch.matmul(x, self.embedding.weight.t()) return probs

这是一个卷积神经网络（CNN）的PyTorch实现。它包含以下组件：

1. `nn.Embedding`：嵌入层，用于将输入的词索引转换为词向量表示。

2. `nn.Conv1d`：一维卷积层，用于提取输入序列中的特征。

3. `nn.Dropout`：用于在训练时对嵌入层的输出进行随机失活，以减少过拟合。

4. `nn.Linear`：全连接层，用于将卷积层的输出转换为指定维度的向量。

在前向传播过程中，输入序列首先通过嵌入层进行转换，然后进行随机失活。接下来，通过转置操作将嵌入层的输出调整为卷积层的输入格式，然后通过卷积层提取特征。卷积层的输出再通过转置操作调整为线性层的输入格式，然后通过线性层将特征向量转换为指定维度的向量。最后，通过矩阵乘法将输出向量与嵌入层的权重进行乘法操作，得到每个词的概率分布。

这个CNN模型可以用于文本分类、情感分析等任务。在训练过程中，我们使用交叉熵损失函数对模型进行训练，采用随机梯度下降（SGD）或Adam优化器进行参数更新。