![](https://csdnimg.cn/release/download_crawler_static/88587861/bg4.jpg)
4 J. Ye
等人。
除了上述从一个网络传输知识的方法之外, 另一方面,它可以以多
种形式发生。例如,为了组合或整合多源知识,Gao
等人
[12]引入了
多教师和单一学生的知识集中方法。为了在一个网络中处理多任务问
题,提出了知识融合[56]来训练学生网络进行多个场景理解任务,从
而获得比教师更好的为了更进一步,Ye
等人。
[58]应用两步过滤策略
来自定义TargetNet上的任意任务集。此外,多阶段的知识转移是由袁
等。
[
62]设计一个多阶段知识提炼范式,对提炼过程进行分解。
知识蒸馏也可以是将知识从旧数据转移到新数据的可靠方法,并
且也有一些基于蒸馏的工作[8,21,45,11]用于解决终身学习环境中
即将到来的新数据Cheraghian
等人
[
8]利用语义信息解决了少样本类增量
学习问题。 Hu
等人
[
21]提出了一种新的数据效果淹没旧的效果的提取
方法,从而减轻了测试中对旧类的遗忘。
这些知识转移方法将知识从网络转移到网络,我们首先要做的是
知识的过滤和存储。
2.3
机器学习
不学习的概念首先由Bourtoule
等人引入。
[2]以消除数据点对已训练模
型的影响。沿着这条线,Neel
et al. [
31]给出了第一个数据删除算法。
为了最大限度地减少重新训练时间,引入了数据删除森林[3]作为随机
森林的变体Sekhari
等人
[38]发起了一项严格的机器非学习泛化研究,
目标是在以前看不见的数据点上表现良好,重点是计算和存储复杂
性。 Gupta
等人
[
13]使用差分隐私及其与最大信息的联系,给出了从针对
自适应序列的删除保证到针对非自适应序列的删除保证的一般简化。
Nguyen
等人
[
33]研究从要删除的训练数据的一个小子集中近似取消学习
贝叶斯模型的问题。由于机器非学习是为了数据隐私目的而研究的,
Chen
等人
[7]首先研究了机器非学习导致的非预期信息泄漏以前的工作
只考虑数据删除,优化目标是在没有删除数据的情况下获得与重新训
练相同的模型
所提出的LIRF框架只删除了样本特定的知识,这些知识可以存储以供将
来使用。
3
知识存取
建议LIRF框架专注于类级的生命周期问题,其中多个类的样本可能会
被存放或撤回。