7_交叉熵_softmax_损失函数loss_分析_CrossEntropyLoss - CSDN文库

5星 · 超过95%的资源 146 浏览量更新于2023-05-04 评论 1 收藏 356KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

7_交叉熵交叉熵_softmax_损失函数损失函数loss_分析分析

文章目录文章目录一、softmax二、损失函数loss1、均值平方差2、交叉熵3、损失函数的选取三、softmax 算法与损失函数的综合应用1 验证softmax_cross_entropy_with_logits包

含softmax函数2 验证非标准one_hot的交叉熵结果对于错误分类不明显3 验证labels = [2 , 1] 即 001 与 0104 验证loss =

tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits))5 验证loss_2 = -tf.reduce_sum(labels * tf.log(tf.nn.softmax(logits)))四、总结:

一、一、softmax

常见的激活函数输出值只有两种,现实中需要多种分类,需要判断输入属于分类的概率,

这样就引入了分类函数分类函数softmax函数函数,

softmax = exp( logits)/reduce_sum( exp( logits), dim)

softmax网络模型

二、损失函数二、损失函数loss

用真实值与预测值的距离来指导模型的收敛万向

1、均值平方差、均值平方差

tf方法

MSE=tf.reduce_mean (tf.pow(tf.sub(logits, outputs) ,2.0))

MSE=tf.reduce_mean (tf.square(tf.sub(logits, outputs)))

MSE=tf.reduce_mean (tf.square(logits-outputs))

Rmse= tf.sqrt(tf.reduce_mean(tf.pow (tf. sub(logits, outputs) , 2.0 ) ))

mad= tf.reduce_mean (tf.complex_abs(tf.sub(logits, outputs))

2、交叉熵、交叉熵

一般用在分类问题上，表达的意识为预测输入样本属于某一类的概率。

其表达式见式 (6-1 3) ，其中 y 代表真实值分类 ( 0 或 1) , a代表预测值。

tf方法

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论5

陌陌的日记

2023-07-27

作者用通俗易懂的语言讲解了交叉熵和softmax损失函数的原理，没有使用过多的数学公式，让我更容易理解。

weixin_38741030

粉丝: 3
资源: 924

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈