激活函数python代码

以下是几种常见的激活函数的 Python 代码实现：

1. Sigmoid 函数：

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

2. ReLU 函数：

import numpy as np

def relu(x):
    return np.maximum(0, x)

3. Leaky ReLU 函数：

import numpy as np

def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha*x, x)

4. Tanh 函数：

import numpy as np

def tanh(x):
    return np.tanh(x)

以上函数都需要使用 NumPy 库，因为它们需要对数组进行操作。