生成一个Bert＋CNN的代码

这是一个简单的Bert + CNN的代码实现，实现的是一个文本分类的任务。代码使用PyTorch实现。

import torch
import torch.nn as nn
from transformers import BertModel

class BertCNN(nn.Module):
    def __init__(self, num_classes):
        super(BertCNN, self).__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.conv1 = nn.Conv1d(in_channels=768, out_channels=256, kernel_size=3, padding=1)
        self.conv2 = nn.Conv1d(in_channels=256, out_channels=128, kernel_size=3, padding=1)
        self.pool = nn.MaxPool1d(kernel_size=3, stride=2, padding=1)
        self.fc = nn.Linear(128, num_classes)
        self.dropout = nn.Dropout(0.3)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask)
        x = outputs.last_hidden_state.permute(0, 2, 1)
        x = self.pool(torch.relu(self.conv1(x)))
        x = self.pool(torch.relu(self.conv2(x)))
        x = torch.mean(x, dim=2)
        x = self.dropout(x)
        logits = self.fc(x)
        return logits

这个模型包括一个预训练的BERT模型和两个1D卷积层。输入的文本经过BERT编码后，被送入两个卷积层中，然后进行池化和Dropout操作，最后送入一个全连接层，输出分类结果。