pytorch内置激活函数

PyTorch内置了许多常用的激活函数，包括：

1. ReLU (Rectified Linear Unit)：$f(x) = \max(0, x)$
2. LeakyReLU：$f(x) = \begin{cases} x, & \text{if } x > 0 \\ ax, & \text{otherwise} \end{cases}$，其中 $a$ 是一个小于 1 的常数
3. Sigmoid：$f(x) = \frac{1}{1+e^{-x}}$
4. Tanh (双曲正切函数)：$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$
5. Softmax：$f(x_i) = \frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}}$，用于多分类问题

这些激活函数都可以通过 `torch.nn` 模块中的函数来使用。例如，使用 ReLU 激活函数可以这样实现：

import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc = nn.Linear(10, 5)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.fc(x)
        x = self.relu(x)
        return x