torch 神经网络 如何初始化

在 PyTorch 中，可以通过使用内置的初始化函数或手动设定参数来初始化神经网络。以下是一些常见的初始化方法：

1. Xavier 初始化：该方法根据输入和输出的神经元数量自动调整权重的标准差，以使得网络在前向传播和反向传播的时候梯度能够更好地传播。

import torch.nn as nn

# 在 Linear 层中使用 Xavier 初始化
linear_layer = nn.Linear(in_features=10, out_features=5)
nn.init.xavier_uniform_(linear_layer.weight)

2. Kaiming 初始化：该方法根据 ReLU 的激活函数对权重进行初始化，以使得网络在前向传播和反向传播的时候梯度更好地传播。

import torch.nn as nn

# 在 Conv2d 层中使用 Kaiming 初始化
conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)
nn.init.kaiming_normal_(conv_layer.weight, mode='fan_out', nonlinearity='relu')

3. 手动初始化：使用自定义的初始化方法手动初始化权重和偏置。

import torch.nn as nn

# 在 Linear 层中手动初始化权重和偏置
linear_layer = nn.Linear(in_features=10, out_features=5)
nn.init.normal_(linear_layer.weight, mean=0, std=0.01)
nn.init.zeros_(linear_layer.bias)

总之，选择何种初始化方法应该根据具体的神经网络架构以及实际应用场景来决定。