![](https://csdnimg.cn/release/download_crawler_static/88744576/bg4.jpg)
小行星
772
A.J. Bhatt
等人
/
Journal of King Saud University- Computer and Information Sciences 33
(
2021
)
769- 786
Fig. 1. 主动学习方法的分类。
主动学习可以用于标记数据集非常有限,难以获得,耗时,需要人
工努力和昂贵的地方。主动学习系统通过以未标记实例的形式向
Oracle
( 例 如 人 类 注 释 者 ) 查 询 来 克 服 标 记 未 标 记 数 据 的 问 题
(
Settles
,
2009
)。通过这种技术,主动学习器的目标是通过使用
较少的标记实例来实现更高的准确性,从而降低标记数据集的成
本。有许多不同的查询策略用于选择最具信息性的实例。常用的主
动 学 习 场 景 是
基 于 流 的
选 择 性 采 样 和
基 于 池 的
主 动 学 习 场 景
(
Settles
,
2009; Moskovitch
等人,
2007
年)。
3.1.1.
基于流的选择性采样
该方法也被称为
顺序
主动学习方法,因为每个未标记的实例在数据
源中一次选取一个。该方法的主要假设是,首先从实际分布中抽取未标
记的样本,然后由学习器决定是否查询或丢弃该样本。然后,学习者可
以决定请求其标签(Settles,2009)。
3.1.2.
基于池的主动学习场景
在基于池的主动学习场景中,通过使用不确定性采样查询策略从未
标记数据集的大池中挑选查询(Settles,2009;Ramirez-Loaiza等人,
2017年)。不确定性抽样查询策略从池中选择模型对其标签最不确定的
实例。 在基于池的主动学习阶段,学习器可以从标记的训练数据集中
有限数量的实例开始。接下来,学习器可以请求所选实例的标签,从查
询结果中学习,并利用新的知识来选择接下来可以查询的实例。一旦查
询,就不会对学习者做出额外的假设,并且新的标记实例被添加到标记
数据集。此后,学习者可以以标准的监督方式进行。基于池的主动学习
方法可以用于现实世界的学习问题,其中可以收集大量的未标记的数据
集。该方法假设有一小部分标记数据,并从池中提取查询(Settles,
2009)。
基于流的选择性采样与基于池的选择性采样的区别
基于流的选择性采样和基于池的主动学习方法之间的主要区别在
于,基于流的选择性采样方法顺序扫描数据,然后单独做出查询决
策 , 而 基 于 池 的 评 估 和 排 名 整 个 数 据 集 , 然 后 选 择 最 佳 查 询
(
Settles
,
2009
)。
本文采用了基于池和基于流的选择性抽样和主动学习技术,采用
了不同的查询策略框架。第六节对实证结果进行了详细分析。以下小
节描述了在基于池和基于流的选择性采样主动学习场景上采用的查询
策略框架。
3.2.
查询策略框架
不同的主动学习场景评估从给定分布中采样的未标记实例的信息
(Settles,2009)。
参考
(
Rashidi
,
2017
),
我们
使用
符号
x
ω
A
,
其
是
指参考查询选择
算法
A
的
数据集中的最重要实例(即,最优查询)。
3.2.1.
不确定性抽样
它是最常用的查询框架。两个查询框架可用于挑选信息量最大的实
例(Settles,2009;Ramirez-Loaiza等人, 2017年)。
3.2.1.1.
最不自信。
在这个查询框架中,学习者对标记最不自信的实例
使用Eq. (1)(Settles,2009; Settles,2012)。
x
ω
LC
¼
argmax
x
1
-
P
h
y
^
j
x
1
其中
y
'
表示
具有
最高概率的
类别标签,即
,
y
^
^
argmax
y
P
h
y
j
x
2
3.2.1.2.
熵抽样。
不确定性采样的更一般形式是熵采样(
Settles
,
2009
),其由等式
2
描绘。(
3
)和(
4
)(定居点,
2012
年)。关
于二进制分类,基于熵的采样选择后验概率接近
0.5
的实例,也可以
推广到多标签分类器(
Settles
,
2009
)。
x
ω
H
¼
argmax
x
H
h
Y
j
x
3
H
h
y
j
x
-
X
P
h
y
j
x
ω
log
P
h
y
j
x
4
3.2.1.3.
保 证 金 抽 样 。
查 询 策 略 直 接 面 向 线 性 支 持 向 量 机 分 类 器
(Moskovitch等人,2007年)。一个线性超平面分离的实例相对于一
个 给 定 的 类 被 生 成 。 它 由 来 自不 同 类 的 实 例 之间的垂直距离 定 义
(Moskovitch等人,2007年,获得最大利润。超平面根据类拆分实
例。当量 (5)可用于选择 使用边际抽样查询的最具信息性的实例
(Settles,2009; Settles,2012)。
其中
y
<$1
和
y
<
$2
表示
模型h下的
第一
个
和
第二
个
可能
的
类标签
(Settles,
2009; Settles,2012)。
3.2.2.
委员会的质询
的 查询 通过 委员会 方法 保持 一个委员会
C
¼ f
h
1
;.
不同模型的
h
C
图,这些模型是在标记的