CNN中的softmax函数

在CNN中，softmax函数通常用于多分类问题的输出层。它将每个类别的得分转换为概率分布，以便我们可以根据概率来预测每个类别的可能性。softmax函数的公式如下：

$$
\sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^{K} e^{z_k}}
$$

其中，$z$是一个向量，表示每个类别的得分，$K$是类别的数量，$j$表示第$j$个类别。$\sigma(z)_j$表示第$j$个类别的概率。

在CNN中，softmax函数通常作为输出层的激活函数，用于将卷积层的输出转换为概率分布。在训练过程中，我们使用交叉熵损失函数来衡量预测值与真实值之间的差距，并通过反向传播算法来更新模型参数。

下面是一个使用softmax函数进行手写数字识别的例子：

import tensorflow as tf
from tensorflow import keras

# 加载MNIST数据集
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

# 数据预处理
x_train = x_train.reshape(-1, 28, 28, 1) / 255.0
x_test = x_test.reshape(-1, 28, 28, 1) / 255.0
y_train = keras.utils.to_categorical(y_train, 10)
y_test = keras.utils.to_categorical(y_test, 10)

# 构建模型
model = keras.Sequential([
    keras.layers.Conv2D(filters=32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)),
    keras.layers.MaxPooling2D(pool_size=(2, 2)),
    keras.layers.Flatten(),
    keras.layers.Dense(units=10, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# 训练模型
model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test))