def sigmoid(x): y=1/(1+np.exp(-x)) return np.array(y,float) def show_sigmoid(x): y=sigmoid(x) plt.plot(x,y,label='sigmoide',color='turquoise') plt.legend(loc='best') plt.figure() x1 = np.arange(-5.0, 5.0, 0.1) show_sigmoid(x1) d

这段代码的作用是定义 sigmoid 函数并画出其图像。sigmoid 函数是一个常用的非线性激活函数，常用于神经网络中，其可以将任意输入值映射到0-1之间的输出值，具有平滑、单调递增、导数易于求解等优点。在这段代码中，sigmoid 函数的定义使用了 numpy 库的 exp 函数和数组运算，而 show_sigmoid 函数则是以 x 轴为输入值，y 轴为对应的 sigmoid 函数值，绘制出 sigmoide 的图像，并加上图例。最后，代码通过调用 show_sigmoid 函数来画出整个图像。

相关问题

class Logistic_Regression: def __init__(self, lr_rate = 0.01, max_iter = 100000, tol = 1e-2 ): self.lr_rate = lr_rate self.max_iter = max_iter self.tol = tol self.w = None def preprocessing(self, x): row = x.shape[0] y = np.ones(row).reshape(row, 1) x_prepro = np.hstack((x, y)) return x_prepro def sigmoid(self, x): return 1 / (1 + np.exp(-x)) def fit(self, x_train, y_train): X = self.preprocessing(x_train) y = y_train.T self.w = np.array([[0] * X.shape[1]], dtype = float) k = 0 for loop in range(self.max_iter): z = np.dot(X, self.w.T) grad = X * (y - self.sigmoid(z)) grad = grad.sum(axis = 0) if (np.abs(grad) < self.tol).all(): break else: self.w += self.lr_rate * grad k += 1 print("最终的迭代次数为：".format(k)) print("最终的梯度为：".format(grad)) print("最终的权重为：".format(self.w[0])) return self.w[0] def predict(self, x): p = self.sigmoid(np.dot(self.preprocessing(x), self.w.T )) print("Y = 1的概率被估计为：{}".format(p[0][0])) p[np.where(p > 0.5)] = 1 p[np.where(p < 0.5)] = 0 return p def score(self, x, y): y_c = self.predict(x) error_rate = np.sum(np.abs(y_c - y.T)) / y_c.shape[0] return 1 - error_rate

这是一个逻辑回归的类，包含了预处理、sigmoid函数、拟合、预测和评分等方法。其中，预处理方法将输入的x矩阵增加一列全为1的列，sigmoid函数是逻辑回归中的激活函数，拟合方法使用梯度下降法来更新权重，预测方法将输入的x矩阵预处理后，使用训练好的权重来计算Y=1的概率，并将概率大于0.5的预测为1，小于0.5的预测为0，评分方法计算预测结果与真实结果的误差率。

from scipy.io import loadmat import numpy as np import math import matplotlib.pyplot as plt import sys, os import pickle from mnist import load_mnist # 函数定义和画图 # 例子：定义step函数以及画图 def step_function(x): y=x>0 return np.array(y,int) def show_step(x): y=step_function(x) plt.plot(x,y,label='step function') plt.legend(loc="best") x = np.arange(-5.0, 5.0, 0.1) show_step(x) ''' 1. 根据阶跃函数step_function的例子，写出sigmoide和Relu函数的定义并画图。 ''' ''' 2. 定义softmax函数，根据输入x=[0.3,2.9,4.0]，给出softmax函数的输出，并对输出结果求和。 ''' #获取mnist数据 def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False) return x_train,t_train,x_test, t_test #c初始化网络结构，network是字典，保存每一层网络参数W和b def init_network(): with open("sample_weight.pkl", 'rb') as f: network = pickle.load(f) return network #字典 ''' 3. 调用get_data和init_network函数， 输出x_train, t_train，x_test,t_test，以及network中每层参数的shape（一共三层） ''' ''' 4. 定义predict函数，进行手写数字的识别。 识别方法： 假设输入手写数字图像为x，维数为784（28*28的图像拉成一维向量）， 第一层网络权值为W1（维数784, 50），b1（维数为50），第一层网络输出：z1=sigmoid(x*W1+b2)。 第二层网络权值为W2（维数50, 100），b2（维数为100），第二层网络输出：z2=sigmoid(z1*W2+b2)。 第三层网络权值为W3（维数100, 10），b3（维数为10），第三层网络输出（即识别结果）：p=softmax(z2*W3+b3)， p是向量，维数为10（类别数），表示图像x属于每一个类别的概率， 例如p=[0, 0, 0.95, 0.05, 0, 0, 0, 0, 0, 0]，表示x属于第三类（数字2）的概率为0.95， 属于第四类（数字3）的概率为0.05，属于其他类别的概率为0. 由于x属于第三类的概率最大，因此，x属于第三类。 ''' ''' 5. 进行手写数字识别分类准确度的计算（总体分类精度）,输出分类准确度。 例如测试数据数量为100，其中正确分类的数量为92，那么分类精度=92/100=0.92。 '''

1. Sigmoid函数的定义和画图：

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def show_sigmoid(x):
    y = sigmoid(x)
    plt.plot(x, y, label='sigmoid function')
    plt.legend(loc="best")
    
x = np.arange(-5.0, 5.0, 0.1)
show_sigmoid(x)

ReLU函数的定义和画图：

def relu(x):
    return np.maximum(0, x)

def show_relu(x):
    y = relu(x)
    plt.plot(x, y, label='ReLU function')
    plt.legend(loc="best")
    
x = np.arange(-5.0, 5.0, 0.1)
show_relu(x)

2. Softmax函数的定义：

def softmax(x):
    exp_x = np.exp(x)
    sum_exp_x = np.sum(exp_x)
    return exp_x / sum_exp_x

对于输入x=[0.3,2.9,4.0]，softmax函数的输出为：

softmax(x)
array([0.01821127, 0.24519181, 0.73659691])

输出结果求和为1.

3. 调用get_data和init_network函数，输出x_train, t_train，x_test,t_test，以及network中每层参数的shape（一共三层）：

x_train, t_train, x_test, t_test = get_data()
network = init_network()
for i, (w, b) in enumerate(network.items()):
    print(f"Layer {i+1}: W shape:{w.shape}, b shape:{b.shape}")
print(f"x_train shape: {x_train.shape}")
print(f"t_train shape: {t_train.shape}")
print(f"x_test shape: {x_test.shape}")
print(f"t_test shape: {t_test.shape}")

4. 手写数字的识别代码如下：

def predict(network, x):
    W1, b1 = network['W1'], network['b1']
    W2, b2 = network['W2'], network['b2']
    W3, b3 = network['W3'], network['b3']
    z1 = sigmoid(np.dot(x, W1) + b1)
    z2 = sigmoid(np.dot(z1, W2) + b2)
    y = softmax(np.dot(z2, W3) + b3)
    return y

# 获取测试数据
x_train, t_train, x_test, t_test = get_data()
network = init_network()

# 使用测试数据进行预测
accuracy_cnt = 0
for i in range(len(x_test)):
    y = predict(network, x_test[i])
    p = np.argmax(y)
    if p == t_test[i]:
        accuracy_cnt += 1

# 输出分类准确度
accuracy = float(accuracy_cnt) / len(x_test)
print("Accuracy:" + str(accuracy))

5. 进行手写数字识别分类准确度的计算（总体分类精度）：
代码中已经实现，输出分类准确度即可。