pytorch激活函数

PyTorch提供了许多常用的激活函数，可以用于神经网络的非线性变换。以下是一些常见的激活函数及其在PyTorch中的用法：

1. Sigmoid函数（torch.sigmoid）：

   import torch
   x = torch.tensor([-1.0, 0.0, 1.0])
   y = torch.sigmoid(x)
   print(y)

2. ReLU函数（torch.relu）：

   import torch
   x = torch.tensor([-1.0, 0.0, 1.0])
   y = torch.relu(x)
   print(y)

3. LeakyReLU函数（torch.nn.LeakyReLU）：

   import torch
   import torch.nn as nn
   leaky_relu = nn.LeakyReLU(negative_slope=0.01)
   x = torch.tensor([-1.0, 0.0, 1.0])
   y = leaky_relu(x)
   print(y)

4. Tanh函数（torch.tanh）：

   import torch
   x = torch.tensor([-1.0, 0.0, 1.0])
   y = torch.tanh(x)
   print(y)

5. Softmax函数（torch.softmax）：

   import torch
   x = torch.tensor([1.0, 2.0, 3.0])
   y = torch.softmax(x, dim=0)
   print(y)

这些只是一些常见的激活函数，PyTorch还提供了其他激活函数的实现，如ELU、SELU、Swish等。你可以根据具体的需求选择适合的激活函数。希望这些信息对你有帮助！如果你还有其他问题，请随时提问。