torch.nn.CrossEntropyLoss weight参数
时间: 2023-08-29 10:11:20 浏览: 200
torch.nn.CrossEntropyLoss 中的 `weight` 参数用于对不同类别的样本进行加权。
当某些类别的样本在训练数据中不平衡时,可以使用 `weight` 参数来调整损失函数对不同类别的重视程度。较小的权重值会增加对应类别的损失,从而加大对该类别的学习影响;较大的权重值会减小对应类别的损失,从而减小对该类别的学习影响。
`weight` 参数是一个一维张量,其长度应与分类任务中的类别数量相等。每个元素表示对应类别的权重值。默认情况下,`weight` 参数为 None,表示不对类别进行加权。
示例代码如下:
```python
import torch
import torch.nn as nn
# 假设有5个类别
num_classes = 5
# 创建一个权重张量,对第2个类别加权
weight = torch.tensor([1.0, 2.0, 1.0, 1.0, 1.0])
loss_fn = nn.CrossEntropyLoss(weight=weight)
# 模型输出
outputs = torch.randn(10, num_classes)
# 真实标签
targets = torch.empty(10, dtype=torch.long).random_(num_classes)
# 计算损失
loss = loss_fn(outputs, targets)
```
在上述示例中,通过设置 `weight` 参数为 `[1.0, 2.0, 1.0, 1.0, 1.0]`,即对第2个类别加权,可以使得模型更关注第2个类别的学习。注意,权重值需要是一个张量,并与类别数量相匹配。
阅读全文