LSTM 语言模型pytorch 代码

以下是一个简单的LSTM语言模型的PyTorch代码示例：

import torch
import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.lstm = nn.LSTM(input_size, hidden_size)
        self.fc = nn.Linear(hidden_size, output_size)
    
    def forward(self, input, hidden):
        output, hidden = self.lstm(input, hidden)
        output = self.fc(output[-1])
        return output, hidden
    
    def init_hidden(self, batch_size):
        return (torch.zeros(1, batch_size, self.hidden_size), 
                torch.zeros(1, batch_size, self.hidden_size))

input_size = 100 # 输入维度
hidden_size = 256 # 隐藏层维度
output_size = 10000 # 输出维度（词汇表大小）

model = LSTMModel(input_size, hidden_size, output_size)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练模型
for epoch in range(num_epochs):
    hidden = model.init_hidden(batch_size)
    for i in range(0, inputs.size(1) - seq_length, seq_length):
        inputs_batch = inputs[:, i:i+seq_length, :]
        targets_batch = targets[:, i:i+seq_length]

        # 前向传播
        output, hidden = model(inputs_batch, hidden)
        loss = criterion(output.view(-1, output_size), targets_batch.view(-1))

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

这段代码定义了一个LSTMModel类，其中包含一个LSTM层和一个全连接层。在训练期间，我们首先初始化隐藏状态，然后将输入序列馈送到LSTM层中。最后一个LSTM输出被传递到全连接层中，以获得最终的预测输出。我们使用交叉熵损失函数来计算预测输出与实际输出之间的差异，并使用Adam优化器来更新模型参数。