Softmax函数原理及Python实现过程解析_softmax - CSDN文库

36 浏览量更新于2023-03-16 评论 1 收藏 60KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Softmax函数原理及函数原理及Python实现过程解析实现过程解析

主要介绍了Softmax函数原理及Python实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工

作具有一定的参考学习价值,需要的朋友可以参考下

Softmax原理原理

Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式

为：

对于k维向量z来说，其中zi∈R，我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果

缩放到[0,1],形成概率分布。

常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。

Softmax性质性质

输入向量x加上一个常数c后求softmax结算结果不变，即:

我们使用softmax(x)的第i个元素的计算来进行证明：

函数实现函数实现

由于指数函数的放大作用过于明显，如果直接使用softmax计算公式

进行函数实现，容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质：先对输入数据进行处理，之后再利用计算公式

计算。具体使得实现步骤为：

查找每个向量x的最大值c；

每个向量减去其最大值c, 得到向量y = x-c;

利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下：

import numpy as np

def softmax(x):

"""

softmax函数实现

参数：

x --- 一个二维矩阵, m * n,其中m表示向量个数，n表示向量维度

返回：

softmax计算结果

"""

assert(len(X.shape) == 2)

row_max = np.max(X, axis=axis).reshape(-1, 1)

X -= row_max

X_exp = np.exp(X)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38681318

粉丝: 2
资源: 888

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈