pytorch网络参数 weight bias 初始化详解

143 浏览量更新于2023-05-03 1 收藏 64KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

pytorch网络参数网络参数 weight bias 初始化详解初始化详解

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。

在pytorch的使用过程中有几种权重初始化的方法供大家参考。

注意：第一种方法不推荐。尽量使用后两种方法。注意：第一种方法不推荐。尽量使用后两种方法。

# not recommend

def weights_init(m):

classname = m.__class__.__name__

if classname.find('Conv') != -1:

m.weight.data.normal_(0.0, 0.02)

elif classname.find('BatchNorm') != -1:

m.weight.data.normal_(1.0, 0.02)

m.bias.data.fill_(0)

# recommend

def initialize_weights(m):

if isinstance(m, nn.Conv2d):

m.weight.data.normal_(0, 0.02)

m.bias.data.zero_()

elif isinstance(m, nn.Linear):

m.weight.data.normal_(0, 0.02)

m.bias.data.zero_()

# recommend

def weights_init(m):

if isinstance(m, nn.Conv2d):

nn.init.xavier_normal_(m.weight.data)

nn.init.xavier_normal_(m.bias.data)

elif isinstance(m, nn.BatchNorm2d):

nn.init.constant_(m.weight,1)

nn.init.constant_(m.bias, 0)

elif isinstance(m, nn.BatchNorm1d):

nn.init.constant_(m.weight,1)

nn.init.constant_(m.bias, 0)

编写好weights_init函数后，可以使用模型的apply方法对模型进行权重初始化。

net = Residual() # generate an instance network from the Net class

net.apply(weights_init) # apply weight init

补充知识：补充知识：Pytorch权值初始化及参数分组权值初始化及参数分组

1. 模型参数初始化

# ————————————————— 利用model.apply(weights_init)实现初始化

def weights_init(m):

classname = m.__class__.__name__

if classname.find('Conv') != -1:

n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels

m.weight.data.normal_(0, math.sqrt(2. / n))

if m.bias is not None:

m.bias.data.zero_()

elif classname.find('BatchNorm') != -1:

m.weight.data.fill_(1)

m.bias.data.zero_()

elif classname.find('Linear') != -1:

n = m.weight.size(1)

m.weight.data.normal_(0, 0.01)

m.bias.data = torch.ones(m.bias.data.size())

# ————————————————— 直接放在__init__构造函数中实现初始化

for m in self.modules():

if isinstance(m, nn.Conv2d):

n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels

m.weight.data.normal_(0, math.sqrt(2. / n))

if m.bias is not None:

m.bias.data.zero_()

elif isinstance(m, nn.BatchNorm2d):

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

weixin_38740130

粉丝: 6
资源: 927

会员权益专享

pytorch网络参数 weight bias 初始化详解

pytorch中的weight-initilzation用法

pytorch自定义初始化权重的方法

Pytorch 实现权重初始化

pytorch模型参数初始化

pytorch网络初始化

pytorch中参数初始化

pytorch 自定义初始化

pytorch的Sequential如何初始化网络

pytorch init()初始化权重参数

pytorch神经网络He正态分布初始化

pytorch conv2d的参数默认初始化方式

pytorch lstm权重初始化

pytorch里面的weight_decay与Michael Nielsen写的《神经⽹络与深度学习》中的规范化参数lmbda有什么区别

在pytorch中如何对全局模型初始化代码

pytorch初始化nn.Parameter参数

pytorch里面的weight_decay与Michael Nielsen写的《神经⽹络与深度学习》中的规范化参数lmbda的取值有什么联系吗

pytorch embedding层自定义初始化权重

在pytorch中，如何初始化batchnorm的参数

pytorch卷积初始化

pytorch kaiming初始化

会员权益专享

最新资源