激活函数python代码

以下是几种常见的激活函数的 Python 代码实现：

1. Sigmoid 函数：

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

2. ReLU 函数：

import numpy as np

def relu(x):
    return np.maximum(0, x)

3. Leaky ReLU 函数：

import numpy as np

def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha*x, x)

4. Tanh 函数：

import numpy as np

def tanh(x):
    return np.tanh(x)

以上函数都需要使用 NumPy 库，因为它们需要对数组进行操作。

相关问题

relu激活函数python代码

下面是Python中实现ReLU激活函数的代码：

def relu(x):
    """
    ReLU激活函数
    """
    return max(0, x)

也可以使用numpy库来实现向量化的ReLU函数：

import numpy as np

def relu(x):
    """
    ReLU激活函数
    """
    return np.maximum(0, x)

其中，np.maximum(a, b)函数返回两个数组a和b中对应位置的最大值。

gelu激活函数python代码

GU激活函数的Python代码可以根据引用[1]中提供的代码进行实现。以下是一个基于nn.Module的版本的GELU激活函数的Python代码：

import torch
import torch.nn as nn
import math

class GELU(nn.Module):
    def __init__(self):
        super(GELU, self).__init__()

    def forward(self, x):
        return x * 0.5 * (1.0 + torch.erf(x / math.sqrt(2.0)))

这段代码定义了一个名为GELU的类，继承自nn.Module。在forward方法中，使用了GELU激活函数的数学表达式来计算输出。其中，torch.erf函数是高斯误差函数，用于实现GELU的平滑性质。通过调用该类的forward方法，可以对输入进行GELU激活。