解决解决Pytorch训练过程中训练过程中loss不下降的问题不下降的问题
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所
帮助。一起跟随小编过来看看吧
在使用Pytorch进行神经网络训练时，有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多，包括学习率过
小，数据没有进行Normalization等。不过除了这些常规的原因，还有一种难以发现的原因：在计算loss时数据维数不匹配。
下面是我的代码：
loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()
要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配，否则训练误差不下降，无法训练。这种错误在
训练一维数据时很容易忽略，要十分注意。
以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家
多多支持我们。
weixin_38550722
- 粉丝: 8
- 资源: 928
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- BSC关键绩效财务与客户指标详解
- 绘制企业战略地图：从财务到客户价值的六步法
- BSC关键绩效指标详解：财务与运营效率评估
- 手持移动数据终端：常见问题与WIFI设置指南
- 平衡计分卡（BSC）：绩效管理与战略实施工具
- ESP8266智能家居控制系统设计与实现
- ESP8266在智能家居中的应用——网络家电控制系统
- BSC：平衡计分卡在绩效管理与信息技术中的应用
- 手持移动数据终端：常见问题与解决办法
- BSC模板：四大领域关键绩效指标详解(财务、客户、运营与成长)
- BSC：从绩效考核到计算机网络的关键概念
- BSC模板：四大维度关键绩效指标详解与预算达成分析
- 平衡计分卡（BSC）：绩效考核与战略实施工具
- K-means聚类算法详解及其优缺点
- 平衡计分卡（BSC）：从绩效考核到战略实施
- BSC：平衡计分卡与计算机网络中的应用
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
