python求sigmoid函数及其导数

sigmoid函数是一种常用的S型曲线函数，在机器学习特别是神经网络中用于激活函数，其数学表达式为：

\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]

Python中可以使用math库或者自定义函数来计算sigmoid值。下面是一个简单的例子：

import math

def sigmoid(x):
    return 1 / (1 + math.exp(-x))

# 使用示例
input_value = 0.5
sigmoid_output = sigmoid(input_value)
print("sigmoid(%.2f) = %.4f" % (input_value, sigmoid_output))

至于sigmoid函数的导数，它在数学上等于自身的结果乘以（1 - 自身的结果），这是sigmoid函数梯度下降的一个重要特性。Python中也可以直接计算这个导数值：

def sigmoid_derivative(sigmoid_x):
    return sigmoid_x * (1 - sigmoid_x)

derivative = sigmoid_derivative(sigmoid_output)
print("sigmoid_derivative(%.4f) = %.4f" % (sigmoid_output, derivative))

相关问题

python实现将sigmod函数及其导数绘制在一张图中

以下是Python代码实现sigmoid函数及其导数的绘制：

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1/(1+np.exp(-x))

def sigmoid_derivative(x):
    return sigmoid(x)*(1-sigmoid(x))

x = np.linspace(-10, 10, 1000)

plt.plot(x, sigmoid(x), label='sigmoid')
plt.plot(x, sigmoid_derivative(x), label='sigmoid derivative')
plt.legend()
plt.title('Sigmoid and its derivative')
plt.show()

运行以上代码，会得到如下图所示的sigmoid函数及其导数的绘制结果：


python实现sigmoid函数反向传播

sigmoid函数的数学表达式为：
$$
\sigma(z) = \frac{1}{1+e^{-z}}
$$
sigmoid函数的导数为：
$$
\sigma'(z) = \sigma(z)(1-\sigma(z))
$$
反向传播中，对于一个单独的神经元，我们需要计算其误差对于输入的导数，即$\frac{\partial E}{\partial z}$。其中$E$为损失函数。

假设当前神经元的输入为$z$，输出为$a$，误差为$\delta$，则有：
$$
\delta = \frac{\partial E}{\partial z}
$$
根据链式法则，可以将$\delta$拆分为$\frac{\partial E}{\partial a}$和$\frac{\partial a}{\partial z}$的乘积：
$$
\delta = \frac{\partial E}{\partial a} \frac{\partial a}{\partial z}
$$
其中$\frac{\partial E}{\partial a}$表示误差对于输出的导数，$\frac{\partial a}{\partial z}$表示输出对于输入的导数。

对于sigmoid函数，输出$a$为$\sigma(z)$，所以有：
$$
\frac{\partial a}{\partial z} = \sigma'(z) = \sigma(z)(1-\sigma(z))
$$
将其代入上式得：
$$
\delta = \frac{\partial E}{\partial a} \sigma(z)(1-\sigma(z))
$$
其中$\frac{\partial E}{\partial a}$可以通过损失函数的求导得到。

综上，我们可以得到sigmoid函数的反向传播公式：
$$
\delta = \frac{\partial E}{\partial a} \sigma(z)(1-\sigma(z))
$$