Pytorch中的Tensor,Variable和Parameter区别与联系_localparam - CSDN文库

151 浏览量更新于2023-05-04 评论收藏 51KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Pytorch 中的中的 Tensor , Variable和和Parameter区别与联系区别与联系

前面的博客简单讲了Variable和Parameter的区别，这次加入tenor，详细的分析三者的区别和联系。文中参考了Pytorch 中的

Tensor , Variable & Parameter

1.Tensor

pytorch中的Tensor类似于numpy中的array，而不直接用tensor的原因，是因为tensor能够更方便地在GPU上进行运算。

pytorch为tensor设计了许多方便的操作，同时tensor也可以轻松地和numpy数组进行相互转换。

2.Variable

Variable是对Tensor的封装，操作与tensor基本一致，不同的是，每一个Variable被构建的时候，都包含三个属性：

Variable中所包含的tensor

tensor的梯度 .grad

以何种方式得到这种梯度 .grad_fn

之所以有Variable这个数据结构，是为了引入计算图（自动求导），方便构建神经网络。

简单举个例子：

from torch.autograd import Variable

a = torch.randn(10, 5)

b = torch.randn(10, 5)

x = Variable(a, requires_grad=True)

y = Variable(b, requires_grad=True)

z = x + y

z.backward()

x.grad # x的梯度 10x1 的全1 tensor

z.grad_fn #

通过调用backward()，我们可以对某个Variable（譬如说y）进行一次一次自动求导，但如果我们再对这个Variable进行一次

backward()操作，会发现程序报错。这是因为PyTorch默认做完一次自动求导后，就把计算图丢弃了。我们可以通过设置

retain_graph来实现多次求导。

3.Parameter

我们知道网络中存在很多参数，这些参数需要在网络训练的过程中实时更新（一个batch更新一次），完成“学习”的过程，

譬如最直观的梯度下降法更新参数w：

w.data = w.data - lr * w.grad.data # lr 是学习率

网络中若是有100个参数，都要手写更新代码吗？1000个呢？10000个呢......

Variable默认是不需要求梯度的，那还需要手动设置参数 requires_grad=True

Variable因为要多次反向传播，那么在bcakward的时候还要手动注明参数w.backward(retain_graph=True)

Pytorch主要通过引入nn.Parameter类型的变量和optimizer机制来解决了这个问题。Parameter是Variable的子类，本质上和后

者一样，只不过parameter默认是求梯度的，同时一个网络net中的parameter变量是可以通过 net.parameters() 来很方便地访

问到的，只需将网络中所有需要训练更新的参数定义为Parameter类型，再佐以optimizer，就能够完成所有参数的更新了，具

体如下：

class Net(Module):

def __init__(self, a, b, ...):

super(net, self).__init__()

self... # parameters

self... # layers

def forward(self):

x = ...

x = ... # 数据流

return x

net = Net(a, b, ...)

net.train()

...

optimizer = torch.optim.SGD(net.parameters(), lr=1e-1)

# 然后在每一个batch中，调用optimizer.step()即可完成参数更新了（loss.backward()之后）

作者：念及她名

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38666232

粉丝: 3
资源: 923

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈