PyTorch之nn.ReLU与F.ReLU的区别介绍_nn.Sequential - CSDN文库

5星 · 超过95%的资源 42 浏览量更新于2023-03-16 评论 1 收藏 58KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

PyTorch之之nn.ReLU与与F.ReLU的区别介绍的区别介绍

我就废话不多说了，大家还是直接看代码吧~

import torch.nn as nn

import torch.nn.functional as F

import torch.nn as nn

class AlexNet_1(nn.Module):

def __init__(self, num_classes=n):

super(AlexNet, self).__init__()

self.features = nn.Sequential(

nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),

nn.BatchNorm2d(64),

nn.ReLU(inplace=True),

)

def forward(self, x):

x = self.features(x)

class AlexNet_2(nn.Module):

def __init__(self, num_classes=n):

super(AlexNet, self).__init__()

self.features = nn.Sequential(

nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),

nn.BatchNorm2d(64),

)

def forward(self, x):

x = self.features(x)

x = F.ReLU(x)

在如上网络中，AlexNet_1与AlexNet_2实现的结果是一致的，但是可以看到将ReLU层添加到网络有两种不同的实现，即

nn.ReLU和F.ReLU两种实现方法。

其中nn.ReLU作为一个层结构，必须添加到nn.Module容器中才能使用，而F.ReLU则作为一个函数调用，看上去作为一个函

数调用更方便更简洁。具体使用哪种方式，取决于编程风格。

在PyTorch中,nn.X都有对应的函数版本F.X，但是并不是所有的F.X均可以用于forward或其它代码段中，因为当网络模型训练

完毕时，在存储model时，在forward中的F.X函数中的参数是无法保存的。

也就是说，在forward中，使用的F.X函数一般均没有状态参数，比如F.ReLU，F.avg_pool2d等，均没有参数，它们可以用在

任何代码片段中。

补充知识：补充知识：pytorch小知识点小知识点——in-place operation

一、什么是一、什么是in-place

在pytorch的很多函数中经常看到in-place选项，具体是什么意思一直一知半解。这次专门来学习一下，in-place operation在

pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它称为原地操作

符。

在pytorch中经常加后缀“_”来代表原地in-place operation，比如说.add_() 或者.scatter()。我们可以将in_place操作简单的理解

类似于python中的”+=”,”-=”等操作。

举个例子，下面是正常的加操作，执行结束后x的值没有变化

import torch

x = torch.rand(2)

x

Out[3]: tensor([0.3486, 0.2924]) #<-----这是x初始值

y = torch.rand(2)

y

Out[5]: tensor([0.6301, 0.0101]) #<-----这是y初始值

x.add(y)

Out[6]: tensor([0.9788, 0.3026]) #<-----这是x+y的结果

x

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论10

被要求改名字

2023-06-14

虽然这篇文章讲解的问题比较深入，但是作者一步步讲解，让人不觉得压力很大，愉快地学到了知识。

weixin_38717574

粉丝: 14
资源: 925

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈