def step_function(x): y=x>0 return np.array(y, int) def show_step(x): y=step_function(x) plt.plot(x,y,label='step function') plt.legend(loc="best") plt.show() x = np.arange(-5.0, 5.0, 0.1) show_step(x) def sigmoid_function(x): y=(1+np.exp(-x))**(-1) return np.array(y) def show_sigmoid(x): y = sigmoid_function(x) plt.plot(x,y,label='sigmoid function') plt.legend(loc="best") plt.show() show_sigmoid(x) def show_ReLU(x): y= np.where(x > 0, x, 0) plt.plot(x,y,label='relu function') plt.legend(loc="best") plt.show() show_ReLU(x)分析以上代码

以上代码定义了三个常用的激活函数（activation function）：阶跃函数（step function）、Sigmoid 函数和 ReLU 函数。

阶跃函数是最简单的激活函数之一，它将输入值分为两类，输出为 0 或 1。当输入值大于 0 时，输出为 1，否则输出为 0。它的作用是将连续的输入值转换为离散的输出值。

Sigmoid 函数是一种常用的平滑函数，它将输入值映射到 0 和 1 之间。它的输出值具有概率意义，可以用于二元分类问题的输出层。

ReLU 函数是一种常用的非线性激活函数，它的输出值等于输入值和 0 中的较大值，可以用于隐藏层的激活函数。相比于 Sigmoid 函数，ReLU 函数的计算速度更快，训练时也更容易收敛。

以上代码还定义了三个函数 show_step、show_sigmoid 和 show_ReLU，用于绘制三种激活函数在给定输入范围内的输出图像。可以通过调用这些函数来观察不同激活函数的特点和输出结果。

相关问题

绘制下列函数图形 1. def step_function(x): return np.array(x > 0, dtype=np.int) 2. def sigmoid(x): return 1 / (1 + np.exp(-x))

好的，下面是两个函数的图形：

1. `step_function`

import numpy as np
import matplotlib.pyplot as plt

def step_function(x):
    return np.array(x > 0, dtype=np.int)

x = np.linspace(-5, 5, 100)
y = step_function(x)

plt.plot(x, y)
plt.title('Step Function')
plt.xlabel('x')
plt.ylabel('y')
plt.show()


2. `sigmoid`

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

x = np.linspace(-5, 5, 100)
y = sigmoid(x)

plt.plot(x, y)
plt.title('Sigmoid Function')
plt.xlabel('x')
plt.ylabel('y')
plt.show()


from scipy.io import loadmat import numpy as np import math import matplotlib.pyplot as plt import sys, os import pickle from mnist import load_mnist # 函数定义和画图 # 例子：定义step函数以及画图 def step_function(x): y=x>0 return np.array(y,int) def show_step(x): y=step_function(x) plt.plot(x,y,label='step function') plt.legend(loc="best") x = np.arange(-5.0, 5.0, 0.1) show_step(x) ''' 1. 根据阶跃函数step_function的例子，写出sigmoide和Relu函数的定义并画图。 ''' ''' 2. 定义softmax函数，根据输入x=[0.3,2.9,4.0]，给出softmax函数的输出，并对输出结果求和。 ''' #获取mnist数据 def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False) return x_train,t_train,x_test, t_test #c初始化网络结构，network是字典，保存每一层网络参数W和b def init_network(): with open("sample_weight.pkl", 'rb') as f: network = pickle.load(f) return network #字典 ''' 3. 调用get_data和init_network函数， 输出x_train, t_train，x_test,t_test，以及network中每层参数的shape（一共三层） ''' ''' 4. 定义predict函数，进行手写数字的识别。 识别方法： 假设输入手写数字图像为x，维数为784（28*28的图像拉成一维向量）， 第一层网络权值为W1（维数784, 50），b1（维数为50），第一层网络输出：z1=sigmoid(x*W1+b2)。 第二层网络权值为W2（维数50, 100），b2（维数为100），第二层网络输出：z2=sigmoid(z1*W2+b2)。 第三层网络权值为W3（维数100, 10），b3（维数为10），第三层网络输出（即识别结果）：p=softmax(z2*W3+b3)， p是向量，维数为10（类别数），表示图像x属于每一个类别的概率， 例如p=[0, 0, 0.95, 0.05, 0, 0, 0, 0, 0, 0]，表示x属于第三类（数字2）的概率为0.95， 属于第四类（数字3）的概率为0.05，属于其他类别的概率为0. 由于x属于第三类的概率最大，因此，x属于第三类。 ''' ''' 5. 进行手写数字识别分类准确度的计算（总体分类精度）,输出分类准确度。 例如测试数据数量为100，其中正确分类的数量为92，那么分类精度=92/100=0.92。 '''

1. Sigmoid函数的定义和画图：

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def show_sigmoid(x):
    y = sigmoid(x)
    plt.plot(x, y, label='sigmoid function')
    plt.legend(loc="best")
    
x = np.arange(-5.0, 5.0, 0.1)
show_sigmoid(x)

ReLU函数的定义和画图：

def relu(x):
    return np.maximum(0, x)

def show_relu(x):
    y = relu(x)
    plt.plot(x, y, label='ReLU function')
    plt.legend(loc="best")
    
x = np.arange(-5.0, 5.0, 0.1)
show_relu(x)

2. Softmax函数的定义：

def softmax(x):
    exp_x = np.exp(x)
    sum_exp_x = np.sum(exp_x)
    return exp_x / sum_exp_x

对于输入x=[0.3,2.9,4.0]，softmax函数的输出为：

softmax(x)
array([0.01821127, 0.24519181, 0.73659691])

输出结果求和为1.

3. 调用get_data和init_network函数，输出x_train, t_train，x_test,t_test，以及network中每层参数的shape（一共三层）：

x_train, t_train, x_test, t_test = get_data()
network = init_network()
for i, (w, b) in enumerate(network.items()):
    print(f"Layer {i+1}: W shape:{w.shape}, b shape:{b.shape}")
print(f"x_train shape: {x_train.shape}")
print(f"t_train shape: {t_train.shape}")
print(f"x_test shape: {x_test.shape}")
print(f"t_test shape: {t_test.shape}")

4. 手写数字的识别代码如下：

def predict(network, x):
    W1, b1 = network['W1'], network['b1']
    W2, b2 = network['W2'], network['b2']
    W3, b3 = network['W3'], network['b3']
    z1 = sigmoid(np.dot(x, W1) + b1)
    z2 = sigmoid(np.dot(z1, W2) + b2)
    y = softmax(np.dot(z2, W3) + b3)
    return y

# 获取测试数据
x_train, t_train, x_test, t_test = get_data()
network = init_network()

# 使用测试数据进行预测
accuracy_cnt = 0
for i in range(len(x_test)):
    y = predict(network, x_test[i])
    p = np.argmax(y)
    if p == t_test[i]:
        accuracy_cnt += 1

# 输出分类准确度
accuracy = float(accuracy_cnt) / len(x_test)
print("Accuracy:" + str(accuracy))

5. 进行手写数字识别分类准确度的计算（总体分类精度）：
代码中已经实现，输出分类准确度即可。