tensorflow训练loss: 0.7590 - output_1_loss: 0.1068 - output_2_loss: 0.6523

时间: 2024-05-26 17:13:20 浏览: 153

tensorflow四种交叉熵的计算

### TensorFlow 四种交叉熵计算方法详解 #### 一、TensorFlow 交叉熵函数概述在机器学习领域，特别是深度学习中，交叉熵损失函数是非常常见的损失函数之一，主要用于度量预测分布与真实分布之间的差异。TensorFlow 提供了多种交叉熵函数来满足不同场景的需求。本文将详细介绍 TensorFlow 中四种交叉熵函数的计算方法及其 Python 实现。 #### 二、`tf.nn.sigmoid_cross_entropy_with_logits` ##### 1. 函数介绍此函数用于计算 sigmoid 交叉熵损失。它首先通过 sigmoid 函数转换 logits 的值，然后计算这些经过转换后的值与标签之间的交叉熵。此函数特别适用于多标签分类任务，即每个样本可以属于多个类别。 ##### 2. 参数说明 - `_sentinel`: 这是一个保留参数，通常不需要填写。 - `logits`: 形状为 `[batch_size, num_classes]` 或单样本 `[num_classes]` 的张量，其数据类型为 float32 或 float64。 - `labels`: 与 `logits` 具有相同类型和形状的张量，表示样本的真实标签。 - `name`: 可选参数，指定操作的名字。 ##### 3. 输出 - `loss`: 形状为 `[batch_size, num_classes]` 的张量，表示每个样本每类别的损失。 ##### 4. 计算公式 \[ E = -\left[ y \cdot \log(\sigma(\text{logits})) + (1 - y) \cdot \log(1 - \sigma(\text{logits})) \right] \] 其中 \(\sigma\) 表示 sigmoid 函数。 ##### 5. Python 示例代码 ```python import tensorflow as tf import numpy as np def sigmoid(x): return 1.0 / (1 + np.exp(-x)) # 5 个样本三分类问题，且一个样本可以同时拥有多类 y = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 1, 0], [0, 1, 0]]) logits = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]]) y_pred = sigmoid(logits) E1 = -y * np.log(y_pred) - (1 - y) * np.log(1 - y_pred) sess = tf.Session() y = np.array(y).astype(np.float64) # labels 是 float64 的数据类型 E2 = sess.run(tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits)) print("按照公式计算的结果:\n", E1) print("使用 TensorFlow 计算的结果:\n", E2) ``` #### 三、`tf.nn.softmax_cross_entropy_with_logits` ##### 1. 函数介绍该函数用于计算 softmax 交叉熵损失。它首先通过 softmax 函数转换 logits 的值，然后计算这些经过转换后的值与标签之间的交叉熵。此函数特别适用于多分类任务，即每个样本只属于一个类别。 ##### 2. 参数说明 - `_sentinel`: 这是一个保留参数，通常不需要填写。 - `logits`: 形状为 `[batch_size, num_classes]` 的张量，其数据类型为 float32 或 float64。 - `labels`: 与 `logits` 具有相同类型和形状的张量，表示样本的真实标签。要求是一个有效的概率分布，即 `sum(labels) = 1`。 - `name`: 可选参数，指定操作的名字。 ##### 3. 输出 - `loss`: 形状为 `[batch_size]` 的张量，表示每个样本的损失。 ##### 4. 计算公式 \[ E = -\sum_{i} y_i \log(p_i) \] 其中 \(p_i = \frac{\exp(\text{logits}_i)}{\sum_j \exp(\text{logits}_j)}\)。 ##### 5. Python 示例代码 ```python import tensorflow as tf import numpy as np def softmax(x): sum_raw = np.sum(np.exp(x), axis=-1) x1 = np.ones(np.shape(x)) for i in range(np.shape(x)[0]): x1[i] = np.exp(x[i]) / sum_raw[i] return x1 y = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 0, 0], [0, 1, 0]]) # 每一行只有一个 1 logits = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]]) y_pred = softmax(logits) E1 = -np.sum(y * np.log(y_pred), axis=-1) sess = tf.Session() y = np.array(y).astype(np.float64) # labels 是 float64 的数据类型 E2 = sess.run(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=logits)) print("按照公式计算的结果:\n", E1) print("使用 TensorFlow 计算的结果:\n", E2) ``` ### 小结通过上述介绍和实例代码可以看出，无论是 `tf.nn.sigmoid_cross_entropy_with_logits` 还是 `tf.nn.softmax_cross_entropy_with_logits`，都可以有效地计算交叉熵损失。前者适用于多标签分类任务，后者则适用于多分类任务。在实际应用中，开发者可以根据具体需求选择合适的交叉熵函数，并结合 TensorFlow 提供的其他功能进一步优化模型训练过程。

这是一个使用tensorflow训练的模型的loss值。其中，output_1_loss和output_2_loss是两个不同输出的loss值。通常情况下，我们会将多个输出的loss值加权平均，作为整个模型的loss值。在这个例子中，output_2_loss的值比output_1_loss的值大很多，说明模型在这个输出上的表现相对较差。我们可以通过调整模型结构或者调整训练参数来提高模型的表现。

阅读全文

tensorflow训练loss: 0.7590 - output_1_loss: 0.1068 - output_2_loss: 0.6523

相关推荐

Keras+CNN+CTC_loss：实现不定长字符图片识别

TensorFlow网络构建：tf.nn、tf.layers与tf.contrib解析

tensorflow训练模型出现loss: 0.7590 - output_1_loss: 0.1068 - output_2_loss: 0.6523，此时我应该如何调整学习率参数

Epoch 00019: val_loss did not improve from 1.18629 Epoch 20/20 - 51s - loss: 1.2196 - acc: 0.5283 - val_loss: 1.1793 - val_acc: 0.5461

Epoch200-Total_Loss2.0690-Val_Loss2.3955.pth

fire,somke,7k,Epoch200-Total_Loss2.7966-Val_Loss1.1419.pth

fire,2k,50-Total_Loss6.0214-Val_Loss9.0994.pth

CycleGAN-master_loss_www.764.comgan_www.764gan.com_cyclegan_.764

PL_logdist_or_norm.zip_path loss Matlab_site:www.pudn.com_对数正态衰落

Python库 | tensorflow_similarity-0.13.10-py3-none-any.whl

mnist.rar_68B9_MNIST_MNIST 数据集_site:en.pudn.com_tensenflow

Path-Loss-Model-Paper_2.zip_Windows_Phone_WORD_

TensorFlow-2.x-Tutorials-master.zip

csce664-project-master_http://www.csce?_http://www.csce_currentt

SRGAN-tensorflow-master.zip_loss_srgan tensorflow_tensorflow srg

TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法

GAN-minist-tensorflow-master.zip_GaN_tensorflow_对抗生成网络_对抗网络_生成对抗

最新推荐

上市公司企业澄清公告数据（2001-2023年） .xlsx

深入浅出：自定义 Grunt 任务的实践指南

管理建模和仿真的文件

数据可视化在缺失数据识别中的作用

ABB机器人在自动化生产线中是如何进行路径规划和任务执行的？请结合实际应用案例分析。

网络物理突变工具的多点路径规划实现与分析

"互动学习：行动中的多样性与论文攻读经历"

自动化缺失值处理脚本编写

SQLite在非易失性内存环境下如何进行事务处理和缓冲区管理的优化？

multifeed: 实现多作者间的超核心共享与同步技术