请列出常见的激活函数,并分别写出在PyTorch中的调用形式
时间: 2024-03-10 21:45:50 浏览: 38
常见的激活函数有:
1. Sigmoid函数:$f(x)=\frac{1}{1+e^{-x}}$
在PyTorch中的调用形式:
```
torch.nn.Sigmoid()
```
2. ReLU函数:$f(x)=max(0,x)$
在PyTorch中的调用形式:
```
torch.nn.ReLU()
```
3. LeakyReLU函数:$f(x)=max(0.01x,x)$
在PyTorch中的调用形式:
```
torch.nn.LeakyReLU(negative_slope=0.01)
```
4. Tanh函数:$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$
在PyTorch中的调用形式:
```
torch.nn.Tanh()
```
5. Softmax函数:$f(x_i)=\frac{e^{x_i}}{\sum_{j=1}^{n}e^{x_j}}$
在PyTorch中的调用形式:
```
torch.nn.Softmax(dim=1)
```
阅读全文