pytorch的梯度计算以及的梯度计算以及backward方法详解方法详解
今天小编就为大家分享一篇pytorch的梯度计算以及backward方法详解,具有很好的参考价值,希望对大家有所
帮助。一起跟随小编过来看看吧
基础知识基础知识
tensors::
tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯
度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。
import torch
import numpy as np
# 方式一
x = torch.randn(2,2, requires_grad=True)
# 方式二
x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True)
#方式三
x = torch.tensor([2,3], requires_grad=True, dtype=torch.float64)
# 方式四
x = np.array([1,2,3] ,dtype=np.float64)
x = torch.from_numpy(x)
x.requires_grad = True
# 或者 x.requires_grad_(True)
note1:在pytorch中,只有浮点类型的数才有梯度,故在方法四中指定np数组的类型为float类型。为什么torch.Tensor中不需要
呢,可以通过以下代码验证
import torch
import numpy as np
a = torch.Tensor([2,3])
print(a.dtype) # torch.floaat32
b = torch.tensor([2,3])
print(b.dtype) # torch.int64
c = np.array(2,3)
print(c.dtype) # int64
note2pytorch中tensor与Tensor的区别是什么?这两个看起来如此相似。
首先,torch.Tensor是一个类,所有的tensor都是Tensor的一个实例;而torch.tensor是一个函数。这也说明了为什么使用
torch.Tensor()没有问题而torch.tensor()却有问题。
其次,torch.tensor主要是将一个data封装成tensor,并且可以指定requires_grad。
torch.tensor(data,dtype=None,device=None,requires_grad=False) - > Tensor
最后,我们更多地使用torch.tensor,我们可以通过使用torch.tensor(())来达到与torch.Tensor()同样的效果。
具体可参考torch.tensor与torch.Tensor的区别
Dynamic Computational graph
我们来看一个计算图
评论0