pytorch 自定义初始化

PyTorch 自定义初始化可以使得我们初始化参数时更加灵活和个性化。在使用 PyTorch 进行深度学习任务时，初始值设置是非常重要的。参数初始值一定程度上影响了算法的收敛速度和精度。因此，自定义初始化是非常有必要的。

PyTorch的torch.nn.init模块提供了一些常用的初始化方式，包括常见的随机初始化（uniform，normal等），常数初始化（zeros，ones等），以及一些比较有名的网络模型特定的初始化方式，如Xavier初始化，Kaiming初始化等。但有时候我们需要自定义的初始化方法，此时就需要自定义初始化。

我们可以使用register_parameter方法为模型中的每一个参数自定义初始化方法，如下所示：

class CustomModel(nn.Module):
    def __init__(self):
        super(CustomModel, self).__init__()
        self.weight = nn.Parameter(torch.Tensor(1, 100))
        self.register_parameter('bias', None)

        self.reset_parameters()

    def reset_parameters(self):
        stdv = 1. / math.sqrt(self.weight.size(1))
        self.weight.data.uniform_(-stdv, stdv)

model = CustomModel()

在以上的代码中，我们可以看到，在模型内部通过register_parameter方法给bias参数设置值为None，表明bias参数不需要在初始化时使用模型默认的初始化方式。然后在通过重载reset_parameters方法，我们自己进行参数初始化。

通过这种自定义初始化方式，我们可以方便地对网络模型中的参数进行初始化，从而达到优化模型的目的，提高算法的效果。