pytorch初始化nn.Parameter参数

在PyTorch中，可以使用`nn.Parameter`来定义需要优化的参数，`nn.Parameter`是一个`Tensor`类型的变量，但是它会被自动加入到模型的可训练参数列表中。对于`nn.Parameter`的初始化，可以使用以下方式：

1. 直接初始化

   import torch.nn as nn
   import torch.nn.functional as F
   
   class Net(nn.Module):
       def __init__(self):
           super(Net, self).__init__()
           self.weight = nn.Parameter(torch.randn(3, 5))
           self.bias = nn.Parameter(torch.zeros(3))
   
       def forward(self, x):
           x = F.linear(x, self.weight, self.bias)
           return x

在上面的例子中，`self.weight`和`self.bias`都是`nn.Parameter`类型的变量，前者被初始化为3行5列的随机矩阵，后者被初始化为3个0。

2. 使用`nn.init`

   import torch.nn as nn
   
   class Net(nn.Module):
       def __init__(self):
           super(Net, self).__init__()
           self.weight = nn.Parameter(torch.Tensor(3, 5))
           self.bias = nn.Parameter(torch.Tensor(3))
           nn.init.xavier_uniform_(self.weight)
           nn.init.constant_(self.bias, 0.1)
   
       def forward(self, x):
           x = F.linear(x, self.weight, self.bias)
           return x

在上面的例子中，`self.weight`和`self.bias`都被初始化为指定的大小，然后使用`nn.init`中的方法对它们进行初始化。`nn.init.xavier_uniform_`使用Xavier初始化方法，`nn.init.constant_`使用常数初始化方法。可以根据需要使用不同的初始化方法。