除了nn.init.xavier_uniform_(m.weight)还有哪些设置参数的方法

在PyTorch中，除了`nn.init.xavier_uniform_(m.weight)`（Xavier初始化的一种形式，常用于全连接层和卷积层的权重）之外，还有一些常见的初始化方法：

1. **nn.init.kaiming_uniform_()**: Kaiming初始化，也称为He初始化，适用于ReLU激活的神经网络，它分别考虑了输入和输出的方差来分配权重，对于卷积层特别有效。

   nn.init.kaiming_uniform_(m.conv.weight)

2. **nn.init.normal_()**: 正态分布初始化，可以设定均值和标准差进行定制：

   nn.init.normal_(m.linear.bias, mean=0, std=0.01)

3. **nn.init.uniform_()**: 统一随机分布初始化，同样支持指定范围：

   nn.init.uniform_(m.conv.weight, a=-0.05, b=0.05)

4. **nn.init.zeros_()** 和 **nn.init.ones_()**: 分别将张量的元素设为0和1，常用作偏置初始化：

   m.bias.data.fill_(0) # 初始化为0

5. **自定义初始化**：可以创建自定义函数，并应用于层的参数：

   def custom_init(tensor):
       tensor.data.fill_(0.01)

   custom_init(m.fc.weight)

6. **预训练权重加载**：使用预训练模型的权重，而不是随机初始化，例如迁移学习：

   model.load_state_dict(torch.load('pretrained_model.pth'))

注意，每种初始化方法都有其理论依据和适用场景，选择时需根据具体的网络结构和任务需求进行调整。