没有合适的资源?快使用搜索试试~ 我知道了~
基于规范化流的无监督数据增强
6619基于规范化流的语义扰动改进泛化Oguz Kaan Yu¨ ksel†Sebastian U.Stich†Martin Jaggi†T atjana Cha vdarova†,‡†EPFL机器学习与优化实验室‡电气工程与计算机科学系,加州大学伯克利分校摘要数据增强是一种广泛采用的技术,用于在训练深度神经网络时避免过拟合。然而,这种方法需要特定于域的知识,并且通常限于一组固定的硬编码变换。最近,几项工作提出使用生成模型来生成语义上有意义的扰动以训练分类器。然而,因为准确的编码和解码是至关重要的,所以这些使用近似潜变量干扰的架构的方法仍然限于小数据集上的试点研究利用规范化流的完全可逆的编码器-解码器结构,我们在潜在空间中执行流形扰动以定义完全无监督的数据增强。我们证明,这种扰动匹配先进的数据增强技术的性能达到96。使用ResNet-18的CIFAR- 10的测试准确度为6%,并且优于现有方法,特别是在低数据方案中,从经典训练中产生10- 25%的测试准确度的相对改进。 我们发现,在整个训练过程中,我们的潜在对抗性扰动自适应分类器是最有效的,在现实世界中产生了第一个测试精度提高的结果数据集-CIFAR-10/100-通过潜在空间扰动。1. 介绍深度神经网络(DNN)在几个机器学习任务中显示出令人印象深刻的结果[17,40],并且由于其自动特征学习,已经彻底改变了计算机视觉领域然而,它们的成功取决于手头任务的大型注释数据集的可用性。因 此, 在 其他 过拟 合 技术 中 -例 如L1/L2 正 则化 ,dropout [52],早期停止等-数据增强仍然是实践中经常使用的强制性组件。传统的数据增强(DA)技术将预定义的一组变换应用于训练样本电子邮件:oguz.yuksel@www.example.comepfl.ch。不改变相应的类标签,以增加训练样本的数量。由于这种方法限于使分类器仅对固定的硬编码变换集鲁棒,因此高级方法在数据空间中包含更松散定义的变换例如,mixup[66]使用示例对及其标签的凸组合,而cutout[9]随机屏蔽输入样本的方形区域。尽管隐含地,这些方法仍然需要特定于域的知识,例如,这种掩蔽不会改变标签。令人惊讶的是,在计算机视觉的背景下,已经表明,人眼不可见的图像空间中的小扰动可以欺骗性能良好的分类器做出错误的预测。这一观察激发了对抗性训练的积极研究[见4,以及其中的参考文献]-即,用这种对抗性样本进行训练以获得鲁棒的分类器。然而,进一步的实证研究表明,这种培训降低了培训准确性,表明这两个目标是竞争性的[58,54]。Stutz等人[53]假设这种鲁棒性-泛化权衡是由于使用离开数据流形的流形外对抗攻击而出现的,并且流形上对抗攻击可以改善泛化。为了验证这一假设,作者提出在生成模型的潜在空间中使用扰动。他们提出的方法采用名为VAE-GANs [33,48]的(特定于类的)模型-基于生成对抗网络[16],并且为了解决其不可逆性,进一步将GANs与变分自动编码器[28]相结合。然而,VAE-GAN模型引入了难以调整的超参数,并且值得注意的是,它优化了数据的对数似然的下限。此外,仅在玩具数据集上显示出改进的测试准确性[53,图5],但在某些情况下,测试准确性相对于经典训练没有提高。我们观察到,在真实世界的数据集上,这样的训练会降低测试的准确性,见§5。在这项工作中,我们专注于使用高级规范化流程(如Glow[27])来定义完全无监督的增强的可能性-与6620预定义的固定变换-具有改进深度分类器的泛化的相同目标。尽管相对于GAN和自回归模型,标准化流在我们的社区中几乎没有得到关注,但它们提供了比这些模型更有吸引力的优势,即:(i)精确的潜变量推理和对数似然评估,以及(ii)可以并行化的高效推理和合成[27]。我们利用规范化流的完全可逆的编码器-解码器结构在学习的流形空间中执行有效和可控的增强。捐款.我们的贡献可概括为:• 首先,我们通过数值实验证明,以前提出的方法来生成流形上的扰动未能提高训练的分类器在现实世界 的 数 据 集 上 的 特 别 地 , 测 试 准 确 度 随 着 在CIFRAR-10/100上的这种训练而降低。在这项工作中,我们假设,这ocurs由于近似的编码器-解码器映射。• 出于这一观察,我们提出了一个数据增强方法的基础上完全可逆的规范化- ING流。也就是说,它首先训练生成模型,然后使用简单的随机或对抗性的领域不可知语义扰动来训练分类器,如§4所定义。• 我们证明了我们的对抗性数据增强方法生成流形上和语义上有意义的数据扰动。因此,我们认为,我们的技术是一种新的方法,用于生成感知上有意义的(自然对抗性的例子),不同于以前的建议。• 最后,我们经验证明,我们的流形上的扰动始终优于使用ResNet-18的 CIFAR-10/100上的标准训练此外,在低数据状态下,这种训练比经典训练产生高达25%的相对改进,其中最有效的是,我们发现了适应分类器的对抗性扰动,见§5。2. 相关工作数据增强技术通常用于改进分类器的泛化[50,31]。虽然大多数经典技术需要数据集中的不变性的先验专家知识来在训练数据中的每个样本周围生成虚拟示例,但最近已经提出了许多自动化技术,例如在图像及其标签之间进行线性插值[66],用黑色斑块[9]或另一图像的一部分[64]替换图像的一部分。与这些数据不可知的过程相反,一些最近的工作提出了学习有用的数据扩充策略,例如通过优化[14,45],强化学习技术[7,8,69],专门训练的增强网络[43,56]或由生成式对抗网络[44,1,68,57]辅助,例如也在[39]中提出了用于增强数据集的神经风格转移。潜在空间中的扰动允许使用GAN进行自然数据例如,Antoniou et al.[1],Zhao et al.[70]建议在潜空间中应用随机扰动,最近Manjunath等人。[38]使用Style-GAN 2[24]通过潜在空间操作生成图像的新视图。然而,这些技术中的关键弱点是从潜在空间到训练数据空间的映射通常是不可逆的,即,不可逆的。在潜在空间中找到数据样本的表示(以开始搜索过程)是一项重要的任务。例如,Zhao et al.[70]建议单独训练用于到潜在空间的逆映射的逆变换器。在我们的方法中省略了这个关键的瓶颈,因为我们依赖于一个可逆的架构,这使得逆变器的学习是多余的。潜在攻击,即在[3,51,62,67]中提出了在潜在空间中搜索以找到Volpi等人[60]提出了一种自适应数据增强方法,该方法在每次迭代时附加对抗性示例,并注意到在一系列先验未知目标域上改进了泛化。作为补充,对抗性学习和泛化的联系也在[55,49,22,59,15,70]中进行了研究。Stutz等人[53]通过特别展示常规对抗性示例离开数据流形以及流形上对抗性训练促进泛化来澄清鲁棒性和泛化之间的关系。这些重要的见解支持了以前的发现,即生成模型辅助的数据增强(正如我们在这里建议的那样)可以提高泛化能力[60]。感知(或自然)对抗示例最近在社区中越来越受关注,作为人类感知的替代方案,通常难以解释标准对抗威胁模型[70,47,61,36,32,29,13]。我们认为,流形上的扰动,获得与我们的方法或类似的生成技术,可以隐式地学习这样的自然变换,并可以作为一种替代方法来定义和生成感知和语义上有意义的数据增强。与Wong和Kolter [61]提出使用一组预定义的图像空间变换经由条件变分自动编码器的潜在空间来学习扰动集相反,在我们的方法中,我们不限于固定的变换集,因为我们利用通过归一化流提供的可逆映射学习的6621Z轴F2 Z 2 XF!ⓈFG GF⇠NFF!其中,雅可比矩阵@F(x)的行列式被用作vol。F◦ ◦···◦l 〇 g pZ(F(x)i|r))+l 〇 g. det我@x>i.3.2.规范化流程3. 规范化流及其在语义扰动中的优势在本节中,我们首先描述了基本概念-G(x)z·VAE-GAN·x流量正常化的概念然后,我们将讨论他们的能力,以执行精确的推理,有助于在潜在的空间中应用扰动。3.1. 背景:规范流假设观测值x2Rd是从未知的数据分布pX在XRd上采样的,并且是一个易处理的z·G-1(z)• x~=G-1(G(x))• x=F-1(F(x))先验概率分布Rk根据我们对潜在变量z进行采样。基于流的生成模型寻求找到可逆的,也称为双射函数F:X! Z,使得:F ( x ) =z和F-1 ( z ) = x ,( NF),其中z和x。也就是说,映射观测值x到潜在码z,并且-1将潜在码z映射回原始观测值x。规范化流背后的关键思想是使用变量的变化,即通过使用可逆变换,我们跟踪分布的变化。因此,pX通过F诱导pZ,而相反的情况通过F-1成立。我们拥有:.F(x)、图1. NF编码-解码的精确性。 这里描述了诸如VAE或VAE-GAN之类的inex- act方法的双射NF和i-1编码器/解码器对,由于固有的解码器噪声,其仅近似双射。其中是Hadamard乘积,s和t是来自Rc的缩放和平移函数RC-c。此外,雅可比矩阵不需要对s和t求导,这意味着我们可以用任意深度神经网络来建模这些函数。为了允许每个组件都可以改变,通常,耦合层被放置在交替模式下工作的排列层中间。Glow模型[27]使用可逆的1 1卷积层,该卷积层概括了这种置换操作。p X(x)= p Z(F(x))·。det@x>。见附录A.1。UME校正实际上,F@x>也是可微的最流行的计算机视觉用参数r参数化,我们有有限的样本xipD,1 iN,并且训练经由最大化对数似然:X.@F(x|r)。任务是变分自动编码器[VAE, 28]或Gener-对抗网络[GANs,16]。GAN在深度学习中的广泛应用主要是由于他们令人印象深刻的样品质量,以及高效的采样。 然而,通过构造,这些方法不因为计算逆和行列式是对于高维空间计算昂贵,被约束到具有某种结构的线性变换-通常被选择为三角形雅可比矩阵,其在两个方向上提供有效的计算。为了构建一个有表现力但易于处理的函数,我们依赖于可微函数在复合下是封闭的这一事实=f`f`-1f1,`>1,也是可逆的。在深度学习的背景下,这意味着我们可以堆叠简单可逆映射的层然而,由于这仍然产生单个线性变换,因此插入耦合层[11] f(x)=y,其中f:RC RC,其可以以多种方式定义[10,21]。在这项工作中,我们使用仿射耦合变换,经验表明其对图像表现特别好,并且用于Glow模型[27]:y1:c=x1:c和yc+1:C=xc+1:Cexp(s(x1:c))+t(x1:c),表示z,也不估计其在IM下的可能性planarily学习数据分布pX(x),除了有显著的额外妥协[25]。此外,尽管取得了显著的进展,但设计稳定的两人优化方法仍然是一个活跃的研究领域[6]。另一方面,VAE似乎解决了这两个问题,因为这类算法是近似可逆的,并且特别容易训练。然而,VAE是通过最大化边际似然的界限来训练的,并且仅提供pX(X)的近似评估。此外,由于它们的样本质量相对于GANs更差,研究人员建议将两者结合起来[33,48]-使它们的性能对其超参数调整高度敏感。相反,标准化流程:(i)执行精确的编码和解码-由于它们的构造(参见上面,以及图1中的图示),(ii)是高度表达的,(iii)是有效的采样以及评估。F(x标准化流程F-1(z).休息吗?=arg maxvi=1提供从图像x到其潜在6622PPP·PZ! ZXZFX! ZNF我pL FPzizizizip• z+P(z,)摄动∆zzz+∆z潜在z虚拟x~样本x流形上/语义数据扩充对抗扰动通过使用来自分类器损失L的反馈r L(F-1(z))图2.通过潜在空间中的扰动的数据。 给定数据样本x,通过扰动潜在空间中的编码z = F(x)并解码扰动的z + Δz来生成自然流形上数据扩充。对抗性扰动需要访问损失函数L,以找到被错误分类的样本,或者对于当前模型参数最困难的样本。atepX(x),(iv)直接训练,以及(v)它们具有有用的潜在表示-由于它们从图像到潜在表示的直接映射。总之,除了在执行潜在空间扰动时快速编码和解码的明显益处之外,为了保证小的潜在空间扰动不会修改样本的标签,归一化流的最突出的特征是它们的在介绍了我们对潜在空间中扰动的方法和我们的实验结果之后,我们在§6中进一步讨论了规范化流的优点。4. 潜空间归一化流的可逆性使得能够实现图像空间和潜在空间之间的双向转换,参见上文§3。这又允许直接在潜在空间而不是图像空间中应用扰动。我们记得我们表示为:训 练 的 归 一 化流,从数据流形映射到潜在空间。给定一个扰动函数:, 定 义 在 潜在空间上,我们将其在图像空间中的对应物定义为F-1(P(F(x)。我们的目标是定义潜在扰动函数(),使得我们在图像域中的原始图像X上获得保持身份的语义修改。为此,我们以两种方式限制可能的结构。首先,我们直接考虑形式为z+(z)的增量扰动。其次,我们使用一个额外的参数来控制所允许的扰动的大小(见图首先,作为扰动函数,我们考虑潜在空间中的简单高斯噪声:Prandd(·,I)=N· N(0,I),(其独立于Zi。围绕原始Z1的任何这样的分布等于从学习的流形采样。在这种情况下,归一化流程将以Z1为中心的这个简单高斯分布推到图像空间上的X1=Z2附近的分布。-I(zi)。因此,从简单的先验分布(0,I)采样相当于从数据流形上的原始图像周围的复杂条件分布采样。我们还定义范数截断版本如下:Prandd(·,)=(· N(0,I)),其中`p表示所选择的范数,例如、‘2或‘1。对于`2范数,被定义为`2范数缩放,并且对于`1,是下面定义的分量裁剪操作((x))i:=max(-,min(+,xi)).4.2.对抗性潜在攻击类似于上述随机化的潜在攻击,在训练时间,给定数据点xi及其相关联的标签li,其中,使用训练的归一化流,我们获得其对应的潜在码zi = F(xi)。我 们 搜 索 Δzi2Z , 使 得 所 生 成 的 图 像 x~i=F-1(zi+Δz)获得的损失最大:在图2中)。更准确地说,我们有:F-1 F(x)+P(F(x),)Σ.?=argmax(-1(zik∆ ziklp“是吗?+zi),1i),为了简洁起见,我们将其称为潜在攻击(LA),并且我们考虑下面描述的两个变体。4.1.随机化潜在攻击Padv(zi,)=∆zi,(其中L是分类器的损失函数,并且`p表示所选择的范数,例如,、‘2或‘1。在实践中,我们定义要优化的步骤数k为?2 Z,以及步长[类似于53,61],在训练时,给定数据点X1,其中1是N,并且我们具有以下过程:使用训练的归一化流,我们获得其对应的归一化流。ing潜在码zi=F(xi)。• 初始化随机∆0kk编码器F(x)解码器F-1(z+∆z)∆·6623x~rand-xziziziziziziP PPzizip。Σ⌘✓我zi我p供试品随机LA差异不利LA差异xx~randx~adv图3. 我们的潜在空间扰动的说明性结果。 模型在CIFAR-10上进行训练。第一列描绘了从测试集中随机选择的样本。我们描绘了与Eq. R–LA A–LA 通过观察差异,我们看到添加的扰动取决于输入图像的语义内容。进一步讨论见§5.4• Iterativ elyupdate∆j对于j=1,. ..,k个模型对于FashionMNIST,我们使用条件12步步长为的步骤如下:基于辉光耦合块和控制的标准化流近似100K参数的演化网络,如∆j=100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000+·rL✓(F -1(zi+∆j-1),li)在[53]中。对于SVHN和CIFAR-10/100的实验,我们分别使用Glow [27]和ResNet-18 [17]。 见Ap-ZiZiJ-1krL(F-1(z+∆),l)k其中,是确保条件的投影算子。k∆jk`,梯度相对于∆j-1。• 输出Padv(zi,)=∆k对于` 1的情况,我们用符号(·)算子代替梯度的归一化,即:∆j=∆j-1+·signrL✓(F-1(zi+∆j-1),li)并使用分量式裁剪进行投影,这相当于标准的“1-PGD对抗攻击Madry et al. [37 ]第37段。类似地,由于归一化流直接对底层数据流形进行建模,因此这种扰动相当于对流形上对抗样本的搜索[53]。5. 实验数 据 集 。 我 们 评 估 我 们 提 出 的 语 义 扰 动 的FashionMNIST,SVHN,CIFAR-10,和CIFAR-100数据集。有关MNIST的其他结果,请参见附录B。 对于受限数据集上的实验,例如,CIFAR-10的5%,我们总是使用相同的样本集进行公平比较。关于实施的进一步细节,请参见本附录A指标. 为了评估分类器的泛化能力,我们使用标准测试精 度 。 从 GAN 的 文 献 中 , 我 们 使 用Fre'chetInceptionDistance[FID,越低越好,见附录A.3,20]来衡量CIFAR-10训练数据与我们的潜在扰动产生的样本方法. 我们比较以下方法:(i)标准-经典训练,没有攻击,(ii)图像空间PGD:投影梯度下降作为图像空间,对抗扰动基线[ 37 ],(iii)VAE-GAN[ 53 ]-流形上扰动 方法 的 使用VAE-GAN,(iv)Cutout[9](v) Mixup[66]-(vi) 使用归一化流的随机化-LA(ours)-随机化潜伏 攻 击 , 以 及 ( vii ) 使 用 归 一 化 流 的 对 抗 性 -LA(ours)-对抗性潜伏攻击,其中我们的方法在§ 4中描述,其余方法在§ 2中描述。为了简洁起见,PGD、随机化-LA和对抗性-LA有时分别用pgd、rand和adv表示。x~adv-x66242个方法低数据成套标准品(无DA)四十九889岁。7标准+通用DA六十四1九十五2VAE-GAN [53]五十八994 2开孔[9]66岁。8九十六。0[66]第六十六话七十三。4九十五9随机化-LA七十1九十六。3逆境-LA八十4九十六。6表1. CIFAR-10上的测试准确度(%),与完整训练集相比,在低数据状态下。对于前者,我们分别使用5%和100%的训练集和测试集。除了标准训练之外,我们还考虑使用图像空间中常用的数据增强(DA)进行标准训练,包括旋转和水平翻转[65],以及最近的Cutout[9]和Mixup[66]方法。讨论见§5.1图4.在CIFAR-10数据集的5%上训练并在其完整测试集上测试时的准确性讨论见§5.15.1. CIFAR-10的推广我们主要感兴趣的是我们的扰动在低数据制度的性能时,只使用一个小子集的CIFAR-10作为训练集。我们只在完整训练集的5%上训练ResNet-18分类器,并在完整测试集上评估模型我们将我们的方法与一些最常用的数据增强方法进行比较,例如Cutout[9]和Mixup[66],以及基于VAE-GAN的方法[53]。对于[53],我们使用作者对于[9],我们报告了在学习率0的网格搜索中观察到的最佳测试准确率。1,0。01.类似地,对于[66],我们报告了学习率2{ 0}的网格搜索的最佳准确性。1,0。01}和混合系数 λ2{. 1 、 . 2 、 . 3 、 。 四 , 一 。 0} 。 对 于Randomized-LA,我们使用`=`1,=0。25,对于不利的LA,我们使用`=`2,= 1。0,= 0。5,k=3。表1总结了我们在低数据体制下的泛化实验-与完整的CIFAR-10训练集相比,仅使用5%的CIFAR-10进行图4描述了整个训练过程中的训练和测试准确度。随机LA和对抗LA均显著超过标准训练基线。特别是,我们观察到(i)我们的简单随机LA方法已经优于一些最近的强数据增强方法,和(ii)对抗LA实现低数据和全集制度的最佳测试精度有关VAE-GAN [53]的其他基准,请参见下面的§5.35.2. 迁移学习实验为了进一步分析我们的基于归一化流的潜在攻击对现实世界用例的潜在应用,我们研究了在大型数据集上预训练的归一化流是否可以用于在不同的较小数据集上训练分类器。特别地,我们使用CIFAR-10来训练非-扰动精度标准36。4随机化-LA,`=`1,=。2397随机化-LA,`=`1,=。3410随机化-LA,`=`2,= 1040。4随机化-LA,`=`2,= 2042。3逆境-LA,`=`2,=。5,k=3.45。0表2.CIFAR-100上的测试准确度(%),在低数据状态下,我们使用10%的训练集和完整的测试集。使用的归一化流程在CIFAR-10上训练。malizing流,然后我们的潜在攻击,以训练分类器的10%和5%的CIFAR-100和SVHN训练数据集分别。表2显示了我们对CIFAR-100使用一系列潜在攻击的结果。随机LA和对抗LA在标准基线上分别改善了16%和24%结果表明,归一化流能够将从CIFAR-10学到的有用增强转移到CIFAR-100。表3显示了我们对SVHN的结果为了提供使用不同数据集对流和分类器进行归一化的效果的从CIFAR- 10转移的潜在攻击在SVHN上直接进行预训练时具有更好的性能,这表明跨数据集转移增强确实是一个有前途的方向。5.3. 与VAE-GAN的其他比较Stutz et al.[53],我们研究了我们基于潜在扰动的训练策略在不同环境中的性能,从低数据状态到全集。对于VAE-GAN结果,我们使用作者提供的源代码,同时使用相同数据集的默认超参数。对于我们的方法,我们复制相同6625`2`2AR-10--XNF扰动精度-标准81 2SVHNPrandd,=15。八点四9Pad v,=. 5,=. 25,k=28 6。9模型或扰动FID基线:GANsDCGAN [20] 36.9WGAN-GP [20] 24.8BigGAN [5] 14.73`2兰德`2,m=15。九十0StyleGAN [23] 2.92Pad v,=. 3,=. 15,k=290。5表3. SVHN的测试准确度(%),在低数据状态下,我们使用5%的训练集和完整的测试集。在CIFAR-10上训练的标准化流与SVHN的比较。图5.在FashionMNIST数据集上,针对不同数量的训练样本,在全测试集上测试准确度(%)。为了复制VAE-GAN[53]的设置,仅使用数据集的一部分我们用三个不同的随机种子运行每个实验,并报告测试准确度的平均值和标准参见§5.3。分类器和超参数设置。对于Randomized-LA,我们使用`=`1,=0。15,对于不利的LA,我们使用`=`1,= 0。05,= 0。01,k=10。图5显示了我们在训练大小为600、2400、6000、50000的情况下3次运行的平均结果。我们观察到随机LA的表现与标准训练基线相比,而对抗LA在所有训练集大小上都优于标准基线请注意,随着分类器可用样本数量的增加,与标准基线的根据我们的研究结果,Stutz et al.[53]当使用其中基于VAE-GAN的方法时,报告针对诸如FashionMNIST到CelebA的日益具有挑战性的数据集的性能增益减小。一个潜在的原因可能是近似的编码和解码映射或对超参数调整的敏感性。相对于VAE-GAN,标准化流具有显著更少的超参数,参见附录A.2。事实上,我们的研究结果支持了将流动正常化的众多吸引人的优势。基线:图像空间PGD[37],`=`1,=. 03,=. 008,k=10 23.61我们的:潜在空间随机化-LA,`=`1,=。253.71Ad v ersarial-LA,`=`2,λ=1., =. 5,k=33.65表4.生成的GAN样本的FID评分(越低越好),图像空间PGD扰动,以及我们的随机LA和对抗LA方法。对于使用分类器的PGD和Adversarial-LA扰动,我们使用相同的标准训练的ResNet-18。参见§5.4。基线:图像空间PGD兰德表5. 使用CIFAR-10测试样本在图像空间中计算的平均`2和`1扰 动大小。对于使用分类器的PGD和Adversarial-LA扰动,我们使用相同的标准训练的ResNet-18。潜在空间扰动,并表明他们有更好的能力,以产生有用的增强训练样本。5.4. 生成图像图3描绘了我们的随机化-LA和对抗性-LA方法的样品。首先,与随机图像空间扰动相反,我们观察到随机LA和对抗LA都产生依赖于输入图像的语义内容的有趣的是,人们可以争辩说,对抗性LA进一步掩盖了分类器可以学习的潜在捷径,例如。通过遮蔽窗户,它迫使分类器实际上学习汽车的形状。此外,我们观察到,相对于图像空间扰动,潜在攻击产生的样本在语义上更接近CIFAR-10训练集-FID分数见表4,同时,在图像空间中更清晰-见表5。5.5. 对潜在攻击在表6中,我们评估了分类器对我们的潜在攻击的鲁棒性,并观察到两个标准X中的扰动`2X中的`1`1P,=. 03,=. 008,k = 101。130的情况。03`2Ppgd,= 2., =. 5,k =101。980的情况。15我们的:潜在空间`1P,=. 254.180.416626P1PGDP1兰德!`2Adv攻击训练扰动下降标准90.5 4.8`基本数据流形的近似。由于固有的解码器噪声,这不一定适用于近似方法。P`1Ppg1d,=. 03,=. 008, k=10 76.9 9.4兰德`兰德`2,=. 2594.1 2.1可控性。在§4中,我们介绍了la的两个变体-Padv,= 1.,=. 5,k= 394.6 2.0标准58.8 38.2P`1,=. 03,=. 008, k=1036.2 57.3在原始样本的潜在代码周围定义不同过程的帐篷扰动。每个变体采用归一化流程来有效地映射复杂的Padv`兰德`2,=. 2571.2 25.9将流形目标转化为潜空间中的局部目标。随机化潜伏攻击定义了一个采样操作Padv,= 1.,=. 5,k= 376.4 20.8表6. 对扰动P`1的鲁棒性 ,=. 25和P `2,= 1.,=. 5,在CIFAR-10数据集上k = 3。训练扰动:用于训练模型的训练时间扰动;下降:相对于CIFAR-10测试样本的准确度,潜在扰动的测试准确度下降并且图像空间对抗训练遭受对抗LA的性能的显著损失。结合§5.4中的观察结果,这表明我们的对抗性潜在攻击是一种生成现实主义对抗性样本的新方法。有趣的是,使用图像空间对抗扰动训练的分类器比标准训练的分类器更容易出现大的准确率下降。此外,虽然用我们的扰动训练的分类器对随机化LA是鲁棒的,但它们对对抗性LA不是完全鲁棒的,这表明使用潜在攻击进一步改进泛化的可能性。6. 讨论精确编码。如§3中形式化的,规范化流可以通过它们的重复执行精确的编码和解码也就是说,解码操作恰好是编码操作的逆操作。任何连续编码器将样本的邻域映射到其潜在表示的某个邻域。然而,归一化流的可逆性还将潜在代码的任何邻域映射到原始样本的邻域。原则上,该性质也适用于非流形样本,并且可以解释我们的方法在转移增广中的有效性。增加数据集大小。精确编码的主要优点是通过潜在扰动生成的样本提高了分类器的泛化能力,如§5.1所示。为了理解为什么会发生这种情况,考虑潜在扰动的极限情况0。假设一个数值稳定的归一化流,我们恢复原始数据样本,因此训练分布。随着我们增加,这个分布在每个数据点周围都在增长。因此,通过增加,我们向训练集添加了更多合理的数据点,只要学习到的潜在表示是好的在数据流形上,和对抗性潜在攻击,一个随机搜索过程,以找到流形上的样本,在- taining高分类器损失。原则上,任何其他流形上目标也可以利用到潜在空间的这种映射,并且潜在地使用由归一化流提供的密度此外,条件规范化流可以实现更有表达力的、类特定的增强和控制机制。与数据扩充的兼容性。重 要 的是要注意,我们的方法是正交的图像空间数据增强方法。换句话说,我们可以用常用的数据扩充来训练归一化流。如图3所示,经过训练的模型可以将一些训练时间增强应用于CIFAR-10测试样本。这允许我们对CIFAR-10的增强样本以及原始样本进行编码和解码此外,我们可以使用DeVries和Taylor [9],Zhang et al.[66]与我们的潜在扰动同时训练分类器。7. 结论受归一化流的众多优点的启发,我们提出了基于流的潜在扰动方法来增强训练数据集以训练分类器。我们在几个真实世界数据集上的大量实证结果证明了这些扰动在全数据和低数据状态下改善泛化的有效性特别地,这些扰动可以提高低数据状态下的样品效率,并且在实践中减少标记工作。进一步的方向包括(i)通过消融研究将精确编码的效果与任何建模增益解耦,以及(ii)组合图像和潜在空间增强。致谢TC的部分资金来自瑞士国家科学基金会的P2ELP2199740赠款。作者要感谢Maksym Andriushchenko和Suzan U¨sk u¨ darlı提供了有见地的反馈和讨论。6627引用[1] Antreas Antoniou,Amos Storkey,and Harrison Edwards.数 据 增 强 生 成 对 抗 网 络 。 arXiv 预 印 本 arXiv :1711.04340,2017。2[2] LyntonArdizzone,CarstenLüth,Jak obKruse,CarstenRothe r和UllrichK¨the。使用条件可逆神经网络的引导图像生成arXiv预印本arXiv:1907.02392,2019。12[3] Shumeet Baluja和Ian Fischer。对抗变换网络:学习生成对抗性示例。arXiv预印本arXiv:1703.09387,2017。2[4] 巴蒂斯塔·比吉奥和法比奥·罗利。野生图案:十年后-对抗性机器学习的兴起。模式识别,84:317-331,2018。1[5] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安大用于高保真度自然图像合成的缩放GAN训练arXiv预印本arXiv:1809.11096,2018。7[6] Tatjana Chavdarova 、 Matteo Pagliardini 、 Sebastian UStich、Fran coisFleuret和MartinJaggi。用Lookahead-Minmax驯服GAN在2021年的学习代表国际会议上。3[7] Ekin D Cubuk , Barret Zoph , Dandelion Mane , VijayVasude-van和Quoc V Le。自动扩增:从数据中学习增强策略。在IEEE计算机视觉和模式识别会议(CVPR)论文集,第113-123页,2019年。2[8] Ekin D. Cubuk,Barret Zoph,Jonathon Shlens和Quoc V.乐随机扩增:实用的自动数据扩充,减少搜索空间。在IEEE/CVF计算机视觉和模式识别会议(CVPR)研讨会上,2020年6月。2[9] 作者声明:Dr. Taylor. 改进的Reg-带截断的卷积神经网络的模型化。arXiv:1708.04552,2017。 arXiv:1708.04552。 一二五六八十二、十三[10] Laurent Dinh , David Krueger , and Yoshua Bengio.NICE:非线性独立分量估计。在Yoshua Bengio和YannLeCun,编辑,国际学习代表会议,ICLR,2015年。3[11] Laurent Dinh,Jascha Sohl-Dickstein,and Samy Bengio.使用真实NVP进行密度估计。在国际学习表征会议上,ICLR,2017年。3[12] Laurent Dinh,Jascha Sohl-Dickstein,and Samy Bengio.使用Real NVP的密度估计。国际学习表征会议(ICLR),2017年。12[13] Hadi M Dolatabadi,Sarah Erfani,and Christopher Leckie.Advflow:使用规范化流的不显眼的黑盒对抗攻击arXiv预印本arXiv:2007.07435,2020。2[14] A. Fawzi , H.Samulowitz , D.Turaga , 和 P. 弗 罗 萨 德Adap-用于图像分类的有效数据增强。在IEEE国际图像处理会议(ICIP),2016年。2[15] 贾斯汀·吉尔默 卢克·梅斯 法塔什·法格里 塞缪尔·SSchoenholz,Maithra Raghu,Martin Wattenberg,伊恩 · 古 德 费 洛 敌 对 领 域 。 arXiv 预 印 本 arXiv :1801.02774,2018。2[16]Ian Goodfellow,Jean Pouget-Abadie,Mehdi Mirza,BingXu,David Warde-Farley,Sherjil Ozair,Aaron Courville,andYoshua Bengio生成性对抗网。在Advances in NeuralInformation Processing Systems(NeurIPS),第27卷,第2672-2680页,2014中。第1、3条[17] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。一、五[18] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习在Proceedings of the IEEEConference on Computer Vision and Pattern Recognition(CVPR),第770-778页12[19] Kaiming He , Xiangyu Zhang, Shaoying Ren , and JianSun.深度剩余网络中的身份映射。在欧洲计算机视觉会议上,第630-645页。施普林格,2016年。12[20] 马丁·赫塞尔 休伯特·拉姆绍尔 Thomas Unterthiner,Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统进展,第6626-6637页,2017年五七十三[21] Jonathan Ho、Xi Chen、Aravind Srinivas、Yan Duan和彼得·阿比尔Flow++:通过变分去量化和架构设计改进基于流的生成模型。在第36届机器学习国际会议论文集,第2722-2730页3[22] Ajil Jalal 安德鲁·伊利亚斯 Constantinos Daskalakis和亚历山德罗斯湾迪马基斯强大的流形防御:使用生成模型的对抗性训练。arXiv预印本arXiv:1712.09196,2017。2[23] Tero Karras , Miika Aittala , Janne Hellsten , SamuliLaine,Jaakko Lehtinen和Timo Aila。用有限的数据训练生成对抗网络。arXiv预印本arXiv:2006.06676,2020。7[24] Tero Karras , Samuli Laine , Miika Aittala , JanneHellsten,Jaakko Lehtinen和Timo Aila。分析和改进StyleGAN的图像质量。 In Pr
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功