softmaxLayer的python代码和测试

softmaxLayer是一个常用的神经网络层，用于多分类问题中将原始输出转化为概率分布。其公式如下：

$$y_i = \frac{e^{x_i}}{\sum_{j=1}^{n} e^{x_j}}$$

其中，$x_i$表示原始输出的第$i$个元素，$y_i$表示通过softmax函数计算后的第$i$个输出元素。

以下是softmaxLayer的Python代码和测试：

import numpy as np

class SoftmaxLayer:
    def __init__(self):
        self.output = None

    def forward(self, input):
        # 对每个样本进行softmax计算
        exp_input = np.exp(input - np.max(input, axis=1, keepdims=True))
        self.output = exp_input / np.sum(exp_input, axis=1, keepdims=True)
        return self.output

    def backward(self, input, grad_output, learning_rate):
        # 计算softmax的梯度
        softmax_grad = self.output * (1 - self.output)
        # 计算损失函数对输入的梯度
        grad_input = grad_output * softmax_grad
        return grad_input

测试代码：

np.random.seed(0)

# 构造输入和梯度
input = np.random.randint(0, 10, size=(3, 5))
grad_output = np.random.randn(3, 5)

# 创建Softmax层
softmax_layer = SoftmaxLayer()

# 前向传播
output = softmax_layer.forward(input)
print("Softmax层前向传播输出：")
print(output)

# 反向传播
grad_input = softmax_layer.backward(input, grad_output, 0.1)
print("Softmax层反向传播输出：")
print(grad_input)