python 激活函数

在神经网络中，激活函数用于将输入信号转换为输出信号。常用的激活函数有以下几种：

1. Sigmoid函数：将输入映射到0到1之间的连续值。它的形式为：f(x) = 1 / (1 + e^-x)

2. ReLU函数：修正线性单元函数，将负值输入转换为零，正值输入保持不变。它的形式为：f(x) = max(0, x)

3. Tanh函数：双曲正切函数，将输入映射到-1到1之间的连续值。它的形式为：f(x) = (e^x - e^-x) / (e^x + e^-x)

4. Softmax函数：将多个输入映射到0到1之间，并使它们的和为1。它的形式为：f(x) = e^x_i / sum(e^x)

这些激活函数可以用Python实现，例如：

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def relu(x):
    return np.maximum(0, x)

def tanh(x):
    return np.tanh(x)

def softmax(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x, axis=1, keepdims=True)

其中，np是NumPy库，用于数学计算。

相关问题

python激活函数是干什么的

Python的激活函数是用来对神经网络模型的输出进行非线性转换的函数。它在神经网络的每个神经元上被应用，将输入的加权和结果映射到一个特定的输出值。

激活函数的主要目的是引入非线性性质，使得神经网络能够更好地捕捉和表示复杂的数据关系。线性函数只能实现线性变换，无法处理非线性问题。通过激活函数，神经网络可以更好地逼近任意非线性函数。

常见的激活函数包括Sigmoid、Tanh、ReLU和Leaky ReLU等。它们各自具有不同的特点，适用于不同的问题。选择合适的激活函数可以提高模型的性能和收敛速度。

绘制5种常见激活函数的图：Sigmoid 激活函数、tanh 激活函数、ReLU 激活函数、Leaky ReLU激活函数、ELU激活函数使用python实现

以下是使用Python绘制5种常见激活函数的图的代码：

import numpy as np
import matplotlib.pyplot as plt

# Sigmoid 激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# tanh 激活函数
def tanh(x):
    return np.tanh(x)

# ReLU 激活函数
def relu(x):
    return np.maximum(0, x)

# Leaky ReLU 激活函数
def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha * x, x)

# ELU 激活函数
def elu(x, alpha=1.0):
    return np.where(x > 0, x, alpha * (np.exp(x) - 1))

# 生成 x 值
x = np.linspace(-10, 10, 100)

# 绘制激活函数图像
plt.figure(figsize=(10, 6))
plt.plot(x, sigmoid(x), label='Sigmoid')
plt.plot(x, tanh(x), label='tanh')
plt.plot(x, relu(x), label='ReLU')
plt.plot(x, leaky_relu(x), label='Leaky ReLU')
plt.plot(x, elu(x), label='ELU')
plt.xlabel('x')
plt.ylabel('Activation')
plt.title('Activation Functions')
plt.legend()
plt.grid(True)
plt.show()

希望这个代码可以帮助你绘制出Sigmoid、tanh、ReLU、Leaky ReLU和ELU激活函数的图像。