pytorch ppl

PyTorch PPL（Perplexity，困惑度）是用于评估语言模型性能的指标。它是交叉熵损失的指数函数。在PyTorch中，可以使用`F.cross_entropy`函数来计算交叉熵损失，然后使用`torch.exp`函数对损失进行指数化得到PPL。

下面是计算PyTorch PPL的示例代码:

from torch import Tensor
import torch.nn.functional as F

def perplexity(outputs: Tensor, targets: Tensor, config=None):
    ce = F.cross_entropy(outputs.view(-1, outputs.size(-1)), targets.view(-1), ignore_index=config.data.pad_id if config is not None else None)
    return torch.exp(ce)