pytorch中参数初始化

PyTorch中的参数初始化可以通过在模型定义时指定初始值或使用预定义的初始化器来完成。

1. 手动指定初始值

可以在定义模型时手动指定每个参数的初始值，如：

import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False)
        self.conv1.weight.data.fill_(0.01)  # 手动指定初始值

2. 使用预定义的初始化器

PyTorch提供了一些预定义的初始化器，可以根据参数的类型选择合适的初始化器。如：

import torch.nn.init as init

init.uniform_(tensor, a=0, b=1)  # 均匀分布初始化
init.normal_(tensor, mean=0, std=1)  # 正态分布初始化
init.constant_(tensor, val=0)  # 常数初始化

其中，`tensor`为需要初始化的张量，`a`和`b`为均匀分布的上下界，`mean`和`std`为正态分布的均值和标准差，`val`为常数初始化的值。

示例：

import torch.nn as nn
import torch.nn.init as init

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        init.xavier_uniform_(self.conv1.weight)  # 使用Xavier均匀分布初始化权重