pytorch lstm权重初始化

在PyTorch中，可以使用自定义的方法来初始化LSTM的权重。下面是一个示例代码：

import torch
import math

# 自定义LSTM模型
class LSTMModel(torch.nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = torch.nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        
    def forward(self, x):
        # LSTM前向传播逻辑
        out, _ = self.lstm(x)
        return out

# 初始化权重的方法
def init_weights(m):
    classname = m.__class__.__name__
    if classname.find('LSTM') != -1:
        for name, param in m.named_parameters():
            if 'weight' in name:
                torch.nn.init.xavier_normal_(param.data)
            elif 'bias' in name:
                torch.nn.init.constant_(param.data, 0.0)

# 创建LSTM模型实例
input_size = 10
hidden_size = 20
num_layers = 2
lstm_model = LSTMModel(input_size, hidden_size, num_layers)

# 初始化权重
lstm_model.apply(init_weights)

# 打印模型的权重
for name, param in lstm_model.named_parameters():
    print(name, param.data)

这段代码中，我们首先定义了一个自定义的LSTM模型`LSTMModel`，然后定义了一个`init_weights`方法来初始化LSTM模型的权重。在`init_weights`方法中，我们使用了`torch.nn.init.xavier_normal_`方法来初始化权重。最后，我们创建了一个LSTM模型实例`lstm_model`，并调用`apply`方法来应用初始化权重的方法。最后，我们打印了模型的权重。