pytorch 激活函数

PyTorch中常用的激活函数有很多种，以下是一些常见的激活函数及其使用方法：

1. Sigmoid函数：torch.sigmoid(x)
Sigmoid函数将输入值映射到0到1之间的连续输出，适用于二分类问题。

2. ReLU函数：torch.relu(x)
ReLU函数将小于零的输入值置为零，大于零的输入值保持不变，适用于解决非线性问题。

3. LeakyReLU函数：torch.nn.LeakyReLU(negative_slope=0.01)
LeakyReLU函数在小于零的区域引入一个小的斜率，可以解决ReLU函数的一些问题，如“神经元死亡”。

4. Tanh函数：torch.tanh(x)
Tanh函数将输入值映射到-1到1之间的连续输出，适用于多分类问题。

5. Softmax函数：torch.softmax(x, dim=1)
Softmax函数对多分类问题进行归一化操作，将多个输出值映射到（0,1）之间，并且所有输出值的和为1。

6. PReLU函数：torch.nn.PReLU(num_parameters=1)
PReLU函数是一种带参数的修正线性单元，在小于零的区域引入一个可学习的小斜率。

这只是一部分常用的激活函数，PyTorch还提供了其他激活函数的实现方式，你可以根据具体的需求选择合适的激活函数。