SaaS：作为半监督学习
3
我
k
=1
i
j
我
t
i i
不
我
我
在第3节中，我们在SSL基准测试上测试SaaS算法，并在第3节中测
试SaaS算法。4我们把我们的贡献在相关文献的背景下。接下来，我
们更详细地描述该算法。
2
模型的推导
我们将一个具有参数（权重）w的深度神经网络表示为函数
f
w
（
x
）
∈
R
K
，其中
x
是输入（测试）数据，输出的第k个分量近似于后验概率
f
w
t
（
x
i
）[
k
]<$
P
（
y
i
=
k
|
x
i
）。随机梯度下降（SGD）执行未知参数的
增量更新，其中每次迭代
t
通过对训练集的称为“m i n i- b at c h“B t
的随机子集求和来计算损失
。
所需的用于填充所有
数据的数据
集的
数量
称为一个时期。我们将SGD表示为算子
G
（·）：
w
t
→
w
t+1
，其将
权重的当前估计映射到下一个估计。请注意，
G
取决于给定的（真实
的）标签，以及未标记数据的假设标签。为了量化
学习速度
，我们使
用固定时间（epoch）间隔内的累积损失：对于给定的训练集{x
，
y}，
它是T opti期间的聚合损失。
化步骤，
即
，学习曲
1
Σ
T
L
T
=
T
t
=1
1
|
B
t
|
Σ
|
B
t
|
i
=1
（
x
i
，
y
i
;
w
t
）（1）
哪里|
B
t
|表示由样本组成的小批次的基数
（
xi
，
yi
）
P
（
x
，
y
）
;
表示与权重
wt
相对应的分类损失。在所有数据点
上计算上述损失需要已知标签。可替代地，它可以被解释为针对权重
Wt
和
标签
yi
的联合假设的损失。 我们使用交叉熵损失，其是
HP
，
Q
（
y
）的采样版本
|
x
）= E
P
（
x
）
E
P
（
y
|
x
）
− log
Q
（
y
|其中
Q
（
y
=
k
|
x
）=
f
w
（
x
）[
k
]是
网络
输出的第k个坐标。
真联合分布
P
（
x
）
P
（
y
|
x
）=
P
（
x
，
y
）是未知的，但数据集是从
中采样的。特别地，如果
yi
=
k
是xi的真标签，则我们
有
P
（
yi
|
x
i
）
=
δ
（
yi
−
k
）
其中
δ
是
D
i
r
ac
的D e l t a
。
另外，我们
将
其表示为具有第
k
个分量的未知
K
维概率向量
P
u
Pu
[
k
] =
P
（
yi
=
k
|
x
i
）
，
k
= 1
，
. . .
，
K
，与未知一起被推断
我
重量
w
.我们可以写出
Σ
K
P
[
k
]
P
[
k
]作为之间
概率向量<
P
i
，
P
j
>=
P
T
P
j
，因此
累积损失
可以是
写为
L
T
（P
u
）=
1
Σ
T
不
1
|
B
u
|
u
|
Σ
B
t
|
-
∠ log
f
w
（
x
u
）
，
P
u
∠
联系
我们
（
二
）
t
=1
t
i
=1
u u
其中
B
u
（
x
i
，
P
i
;
w
t
）
是迭代
t
时未标记样本的小批量。注意交叉-
熵取决于未知标签的
后验分布
P
u
，而不是它们的样本值
y
u
。损失取决
于整个后部
剩余14页未读，继续阅读
cpongm
- 粉丝: 5
- 资源: 2万+
我的内容管理
展开
最新资源
- JDK 17 Linux版本压缩包解压与安装指南
- C++/Qt飞行模拟器教员控制台系统源码发布
- TensorFlow深度学习实践：CNN在MNIST数据集上的应用
- 鸿蒙驱动HCIA资料整理-培训教材与开发者指南
- 凯撒Java版SaaS OA协同办公软件v2.0特性解析
- AutoCAD二次开发中文指南下载 - C#编程深入解析
- C语言冒泡排序算法实现详解
- Pointofix截屏：轻松实现高效截图体验
- Matlab实现SVM数据分类与预测教程
- 基于JSP+SQL的网站流量统计管理系统设计与实现
- C语言实现删除字符中重复项的方法与技巧
- e-sqlcipher.dll动态链接库的作用与应用
- 浙江工业大学自考网站开发与继续教育官网模板设计
- STM32 103C8T6 OLED 显示程序实现指南
- 高效压缩技术：删除重复字符压缩包
- JSP+SQL智能交通管理系统：违章处理与交通效率提升
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
