bi-gru的pytorch实现

Bi-GRU是一种双向门控循环单元（Bidirectional Gated Recurrent Unit）的模型，常用于序列标注、情感分析等任务。

PyTorch是一个流行的深度学习框架，它提供了丰富的工具和接口，使得Bi-GRU的实现变得非常简单。

在PyTorch中，可以使用torch.nn.GRU类来构建GRU模型。为了实现双向的效果，我们需要构建两个独立的GRU模型，分别用于前向（forward）和后向（backward）方向。

首先，我们需要导入所需的库：

import torch
import torch.nn as nn

然后，我们可以自定义一个BiGRU类，继承于nn.Module类，并实现其中的forward方法：

class BiGRU(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(BiGRU, self).__init__()
        
        self.hidden_size = hidden_size
        
        self.gru_forward = nn.GRU(input_size, hidden_size, bidirectional=False)
        self.gru_backward = nn.GRU(input_size, hidden_size, bidirectional=False)
        
        self.fc = nn.Linear(hidden_size * 2, output_size)
        self.softmax = nn.LogSoftmax(dim=1)
        
    def forward(self, input_seq):
        input_seq = input_seq.permute(1, 0, 2)
        
        hidden_forward = torch.zeros(1, input_seq.size(1), self.hidden_size)
        hidden_backward = torch.zeros(1, input_seq.size(1), self.hidden_size)
        
        output_forward, _ = self.gru_forward(input_seq, hidden_forward)
        output_backward, _ = self.gru_backward(input_seq.flip(0), hidden_backward)
        
        output = torch.cat((output_forward[-1], output_backward[-1]), dim=1)
        output = self.fc(output)
        output = self.softmax(output)
        
        return output

在这个例子中，BiGRU类接受三个参数：input_size是输入特征的维度，hidden_size是GRU的隐藏层维度，output_size是模型输出的类别数。init方法中初始化了GRU模型、全连接层和Softmax层。

forward方法中，我们首先将输入序列的维度调整为(seq_len, batch, input_size)。然后，初始化前向和后向方向的隐藏状态。接着，分别进行GRU前向和后向运算，并将它们的输出拼接在一起。最后，通过全连接层和Softmax层获得模型的输出。

完成了BiGRU的定义后，我们可以实例化模型，并将输入数据传入模型进行训练和预测：

input_size = 10
hidden_size = 20
output_size = 2

model = BiGRU(input_size, hidden_size, output_size)

input_seq = torch.randn(5, 3, input_size)
output = model(input_seq)