cross_entropy

`cross_entropy()` 是一种常见的损失函数（loss function），通常用于分类问题中。对于二分类问题，它可以被定义为：

$$
L(y, \hat{y}) = -y\log(\hat{y}) - (1-y)\log(1-\hat{y})
$$

其中，$y$ 是真实标签（0 或 1），$\hat{y}$ 是模型预测的概率（0 到 1 之间的实数）。这个损失函数的基本思想是：当模型的预测与真实标签相符时，损失函数的值最小；当预测错误时，损失函数的值会增大。

对于多分类问题， `cross_entropy()` 的定义会有所不同，但基本思想是相似的。在训练神经网络时，我们通常会使用反向传播算法（backpropagation）来计算梯度并更新网络参数，以最小化损失函数的值。

相关问题

tot_cross_entropy += sub_cross_entropy

这段代码看起来像是在计算一个总的交叉熵损失，其中sub_cross_entropy是一个小批量数据的交叉熵损失。通常在训练神经网络时，我们会使用随机梯度下降等优化方法，每次只使用一部分数据进行训练，这个部分就被称为一个小批量数据。而交叉熵损失是一种常用的损失函数，用于度量模型输出与真实标签之间的差异。因此，在每个小批量数据上计算交叉熵损失后，可以通过对它们进行累加，来计算整个训练集上的总交叉熵损失。

cross_entropy_error

交叉熵误差（cross entropy error）是一种用于衡量分类模型预测结果与真实结果之间差异的指标。它是通过计算预测结果的概率分布与真实结果的概率分布之间的交叉熵来衡量的。交叉熵误差越小，说明模型的预测结果越接近真实结果，模型的性能越好。