深度神经网络的域适应方法d-SNE及其在多个数据集中的优越性

2497伊什第1章i ii=1J Jj=1d-SNE：使用随机邻域嵌入的Xiang Xu<$，XiangXiong ZhouXiao， Ragav VenkatesanXiao，Gurumurthy SwaminathanXiao，OrchidMajumderXiao计算生物医学实验室，休斯顿大学，休斯顿，美国AWSAI，西雅图，美国†xxu18@central.uh.edu，{xiongzho，ragavven，gurumurs，orchid}@ amazon.com摘要深度神经网络通常需要大量的标记数据来训练它们的大量参数。培训期望值：st=t������直接部署更大更深的网络是很难没有适当的监管，特别是在使用小数据集时。从长远来看，收集注释良好的数据是昂贵的，耗时的，往往是不可行的。一种流行的方法来调节这些网络是简单地训练网络与更多的数据从一个替代的代表性数据集。如果代表性数据集的统计数据与我们的目标不相似，则这可能导致不利影响。这种预测是由于域转移的问题。当使用来自代表域的特征提取器时，来自移位域的数据可能不会产生定制特征。在本文中，我们提出了一种新的技术（d-SNE）的域适应，巧妙地使用随机邻域嵌入技术和一个新的修改Hausdorff距离。所提出的技术是端到端可学习的，因此非常适合训练神经网络。大量实验表明，d-SNE优于当前最先进的技术，并且对不同数据集的方差具有鲁棒性，即使在单次和半监督学习设置中也是如此d-SNE还展示了并发泛化到多个域的能力。1. 介绍在当今以深度学习为中心的计算机视觉中，使用预训练模型和迁移学习已经变得司空见惯考虑一个预训练模型使用大型数据集Ds={（xs，ys）}Ns进行训练，其中Reality：���February2009���域适应第二章标记训练集的分布，标记评估集的分布，未标记评估集的分布图1：真实数据空间中的域适配：期望值与现实用户应该能够将模型M_D_s重新用于与数据集D_t一起工作。除非用户非常幸运（如图1中顶部的情况所示），否则这样的部署不会工作这是由于域转移。特征变得没有意义，它们的空间被转换，因此分类器的边界必须重新绘制。这类问题中的知识从另一个领域被回收到一个新的目标域称为域适应。如果解决方案在两个域中的性能相同，则称为域泛化。源数据集的典型选择是大规模数据集，如ImageNet[3]。Donahue等人流行了重新利用在此数据集上训练的网络作为通用特征提取器的想法[5]。他们假设-xs是第s个域的第i个样本，Ns是我样品在sth域假设一个典型的用户并成功地证明了在许多情况下，一个较小的数据集Dt={（x t，y t）}Nt，其中N t<

下载后可阅读完整内容，剩余1页未读，立即下载