log-sum-exp是求$\ln(\sum_{i=1}^{n} e^{x_i})$，在实现时注意： 1.数值稳定性问题：在计算机上计算指数时，指数项太大可能会导致浮点计算变得非常不精确或者溢出出现inf，取对数时如果输入值太接近0造成下溢出变为0也会出错。 2.批量处理。你实现的log-sum-exp应当接受一个[batch_size, feature_dim]维度的输入，输出是\[batch_size]维的，也就是同时计算batch_size个向feature_dim维向量的log_sum_exp。你不可以使用循环结构依次逐个计算单个向量的log_sum_exp再拼接，因为这样做的性能太差。 3.不可以直接调用torch.logsumexp或者np.logaddexp等直接完成该功能的函数，不过你可以使用torch.logsumexp在同一组测试数据上验证你的实现的结果是否正确。

实现log-sum-exp可以使用以下公式：

$\ln(\sum_{i=1}^{n} e^{x_i}) = \max(x_i) + \ln(\sum_{i=1}^{n} e^{x_i - \max(x_i)})$

这个公式可以通过将所有$x_i$减去$x_{max}$来避免数值稳定性问题。具体实现代码如下：

import torch

def log_sum_exp(x):
    """
    计算log-sum-exp
    :param x: [batch_size, feature_dim]的tensor
    :return: [batch_size]的tensor，表示每个向量的log-sum-exp
    """
    x_max, _ = torch.max(x, dim=-1, keepdim=True)
    return x_max.squeeze() + torch.log(torch.sum(torch.exp(x - x_max), dim=-1))

需要注意的是，在实现中我们使用了`torch.max`来获取每个向量中的最大值，并使用了`keepdim=True`来保持维度不变。然后我们将$x_{max}$广播成与$x$相同的形状，将$x$减去$x_{max}$，使用`torch.exp`计算指数，使用`torch.sum`计算和，并使用`torch.log`计算对数。