没有合适的资源?快使用搜索试试~ 我知道了~
具有流形边界的正则化GAN及其效果证明
具有流形边界的Marzieh Edraki和Guo-JunQi机器感知与学习实验室http://maple.cs.ucf.edu/University of Central Florida,Orlando FL 32816,美国m. knights.ucf.edu,guojun. ucf.edu抽象。经典的生成对抗网络及其变体可以大致分为两大家族:未正则化与正则化GAN。通过放松经典GAN中关于鉴别器的非参数假设,正则化GAN具有更好的泛化能力,以产生从真实分布中提取的新样本众所周知,像自然图像这样的真实数据在整个数据空间上不是均匀分布的相反,它们通常被限制在周围空间的低维流形这样的流形假设表明流形上的距离应该是表征真实样本和假样本之间的差异的更好度量因此,我们定义了一个回调算子来将样本映射回它们的数据流形,并且流形余量被定义为回调表示之间的距离,以区分真实和虚假样本并学习最佳生成器。我们证明了所提出的模型的有效性,从理论和经验。关键词:正则化GAN,图像生成,半监督分类,Lipschitz正则化。1介绍自Goodfellow等人[4]提出生成对抗网(GAN)以来,它在文献中引起了广泛的关注,已经提出了简而言之,GAN试图训练一个生成器和一个鉴别器,它们玩一个对抗游戏,以相互改进[4]。鉴别器被训练成尽可能多地区分真实样本和生成样本,而生成器试图生成可以欺骗鉴别器的好样本。最终,达到平衡,其中生成器可以产生不能被良好训练的鉴别器区分的高质量样本。经典的GAN及其变体可以大致分为两大家族:非正则化和正则化的GAN。前者包含原始GAN和许多变体[11,24],其中通讯作者:G.- J. Qi,电子邮件:guojunq@gmail.com2Marzieh Edraki和祁国军基于它们的鉴别器具有无限建模能力的非参数假设来建立它们所生成的样本和真实数据的分布。换句话说,非正则化GAN假设鉴别器可以采用任意形式,使得生成器可以产生遵循任何给定真实样本分布的样本。相反,正则化GANs关注真实数据潜在分布的一些规律性条件,并且它对鉴别器有一些约束来控制它们的建模能力。这一类中最具代表性 的两 个模 型是 损失 敏 感GAN( LS-GAN) [11]和Wasserstein GAN(WGAN)[1]。两者都在训练他们的鉴别器时执行Lipschitz约束此外,已经表明,LS-GAN的损失函数上的Lipschitz正则化产生可以产生根据任何Lipschitz密度分布的样本的生成器,Lipschitz密度是真实数据的支持流形上的分布的正则化形式。与非正则化GAN家族相比,正则化GAN牺牲了它们生成无约束样本分布的能力,以获得更好的训练稳定性和泛化性能。例如,LS-GAN和WGAN都可以产生未折叠的自然图像,而不涉及批量归一化层,并且都在训练它们的生成器时解决消失梯度问题。此外,还利用Lipschitz正则性条件证明了LS-GAN的推广性,表明该模型仅需合理数量的训练样本就能生成符合真实密度的数据,换句话说,概化性断言模型将不会过度拟合以仅仅记住训练示例;相反,它将能够外推以产生超出所提供的真实示例的看不见的示例。虽然正则化GAN,特别是本文中考虑的LS-GAN [11]LS-GAN的损失函数是基于在环境空间上定义的裕度函数来设计的虽然对训练损失函数的基于边缘的约束是直观的,但是直接使用环境距离作为损失边缘可能不能准确地反映数据点之间的不相似性。众所周知,像自然图像这样的真实数据并不均匀地分布在整个数据空间上。相反,它们通常被限制在周围空间的低维流形这样的流形假设表明,“几何平均”分布克服了所述机制,所述机制被认为是利用裕度来分离真实示例和伪示例之间的损失函数。为此,我们将定义一个回调映射,它可以通过将样本映射回数据流形来反转生成然后,流形边缘被定义为流形上的数据点的表示之间的距离,以近似它们的损失函数,生成器和回调映射共同学习的三重对抗游戏。我们将证明,这个游戏的特点是不动点将能够产生一个生成器,可以产生的样本以下的真实分布的样本。带流形边的32相关工作原始GAN [4,14,17]可以被视为最经典的非正则化模型,其鉴别器基于无限建模能力的非参数假设。从那时起,已经做出了巨大的研究努力,以通过不同的标准和架构有效地训练GAN [15,22,19]。与 未 正 则 化 的 GAN 相 比 , 最 近 提 出 了 Loss-Sensitive GAN ( LS-GAN)[11],以正则化Lipschitz空间中损失函数的学习,并证明了所得模型的可推广性[1]还提出了最小化生成的样本的密度和真实数据密度之间的地球移动器距离,并且他们示出了所得到的Wasserstein GAN(WGAN)可以解决经典GAN遭受的消失梯度问题。巧合的是,WGAN的学习也被限制在Lipschitz空间中。最近的努力[2,3]也已经学习生成器以及相应的编码器以获得输入数据的表示。生成器和编码器通过共同区分真实和生成的样本以及它们在对抗过程中的潜在变量来同时学习。这两种方法仍然专注于学习没有正则化约束的非正则化GAN模型研究人员还利用深度生成网络的学习表示来提高分类准确性,当标记足够的训练示例太困难或太例如,Qi等人[13]提出了一种局部化的GAN,以探索半监督学习的数据点附近的数据变化。它可以直接计算Laplace-Beltra算子,这使得它适合于处理大规模的数据,而不诉诸于图Laplace-cian近似。[6]通过结合深度生成模型和近似变分推理来探索标记和未标记数据,提出了变分自动编码器[7][17]将来自GAN生成器的样本视为一个新类,并通过将它们分配到与新类不同的类来探索未标记的示例。[15]提出通过反向传播最小化监督和无监督成本函数的总和来训练梯形网络[22],这避免了传统的逐层预训练方法。[19]提出了一种通过权衡观察到的示例及其预测类之间的互信息来学习判别分类器的方法。[3]试图在对抗过程中不仅共同区分真实样本和生成样本,而且还共同区分这些方法通过利用深度生成模型,在分类任务中显示出了有希望的结果3制定3.1损失函数和边际损失敏感对抗学习(LSAL)旨在通过学习生成器G来生成数据,该生成器G将从分布PZ(z)提取的随机变量的潜在向量z∈ Z变换为真实样本x,G(z)∈ X,其中Z和4Marzieh Edraki和祁国军X分别是噪声空间和数据空间。通常,空间Z的维数比X低,生成映射G可以被认为是Z到低维流形G(Z)X的嵌入。在这个意义上,每个z可以被认为是G(z)∈ X在流形G(Z)上的紧表示。然后,我们可以在数据域X上定义损失函数L来表征如果样本x是真实或不真实。损失L越小,x越可能是真实样本。为了学习L,将定义度量样本之间的相异性的裕度Δ x(x, x′)以分离一对样本x和x′之间的损失函数,使得真实样本的损失应该比伪样本x′的损失小至少Δx(x, x′)。由于边缘Δx(x, x′)是直接在样本的原始环境空间X中定义的,我们称之为环境边缘。同时,我们还可以在流形表示上定义流形裕度Δz(z, z′),以分离真实样本和生成样本之间的损失这是因为单独的环境裕度可能不能很好地反映样本之间的差异,特别是考虑到像自然图像的真实数据通常仅占据嵌入在环境空间中的小的低维流形或者,流形将更好地捕获数据点之间的差异,以分离它们在真实数据流形上的损失。为此,我们提出学习另一个拉回映射Q,其将样本X投影回潜在向量Z,Q(X),其可以被视为底层数据流形上X的低维表示然后,利用隐向量之间的距离Δz(z, z′)来近似数据流形上投影点之间的测地线距离,并利用它来定义流形边缘,以分离不同数据点的损失函数3.2学习目标形式上,让我们考虑定义在数据和潜在向量的联合空间X × Z上的损失函数L(x, z)对于真实样本x及其对应的潜在向量Q(x),其损失函数L(x,Q(x))应小于伪样本G(z)及其潜在向量z的L(G(z),z)。它们之间所需的间隔被定义为数据样本和潜在向量Δμ,ν(x, z),Δ μx(x,G(z))+ν∆z(Q(x),z)(1)其中,第一项是在环境空间X中的数据点之间分离损失函数的环境裕度,而第二项是基于潜在向量之间的距离分离损失函数的流形裕度当假样本与真样本相距较远时,将在它们之间施加较大的保证金以分离它们的损失;否则,将使用较小的保证金这使得模型可以专注于改善那些仍然远离真实样本的差样本,而不是浪费精力改善那些已经接近真实样本的良好生成的数据。然后,我们将使用以下目标函数通过解决以下优化问题来学习损失函数L*、生成元G*和拉回映射Q* 的不带流形边的5(I) 用固定的G和Q学习L:L*= arg minS(L,G*,Q*),ELxPx( X)zPZ(z)ΣC∆µ,ν(x, z)+L(x,Q*(x))−L(G*(z),z)Σ(II) 学习具有固定L*和Q*的G:G= argminT(L,G,Q),EzPGZ(III) 在固定L*和G* 的情况下学习Q:(z)L*(G(z),z)Q*=argmaxR(L*,G*,Q),ExPQX(x)L*(x,Q(x))其中,1)上述三个目标函数中的期望值是相对于真实样本X的概率度量PX和/或lat_t_v_t或s_z的概率m_e作为u_e_P_Z而获得的。2)函数C[·]是损失函数L违反所需裕度Δμ,ν(x, z)的程度的成本函数,并且它应满足以下两个条件:C [a]=a 对于a≥ 0, 且C [a] ≥a 对于任意a∈ R.例如,铰链损耗[a]+= max(0,a)满足这两个条件,并且其通过惩罚对裕度要求的违反而导致LSAL模型任何斜率η≤1的整流器线性函数ReLU(a)= max(a,ηa)也满足这两个条件。稍后,我们将证明满足这两个条件的LSAL模型可以产生遵循真实数据的真实分布的样本,即,真实样本和生成样本之间的分布一致性。3)问题(II)和(III)以对抗的方式学习生成器G和拉回映射Q:G是通过最小化损失函数L* 来学习的,因为真实样本及其潜在向量应该具有较小的损失。相比之下,Q是通过最大化损失函数L* 来4理论证明在本节中,我们将通过证明真实样本和生成样本之间的分布一致性来证明所提出的LSAL模型的学习目标通常,我们将如何在节点D处定义PGZ(x,z)=PZ(z)PX|Z(x|z),并且潜在向量z匹配关于PQX(x,z)=PX(x)PZ的联合分布。|X(z|x),并且z = Q(x),即,PGZ=PQX。然后,通过mar∫ginalizing出z,我们将能够显示生成样本的边际分布PGZ(x)=zPGZ(x, z)dz与实际样品的PX(x)一致因此,主要结果证明LSAL模型的分布一致性是下面的定理1。6Marzieh Edraki和祁国军GQGQ4.1辅助函数及其性质首先,让我们定义两个辅助函数,它们将用于证明:fQX(x, z)=dPQX,fdPGQGZ(x, z)=dPGZdPGQ(二)其中 PGQ=PGZ+PGX,并且定义辅助函数的上述两个导数是存在的Radon-Nikodym导数,因为PGX和PGZ关于PGQ绝对连续。在这里,我们在理论论证中需要关于这两个函数的以下性质引理1. 如果fQX(x, z)≥fGZ(x, z),对于PGQ-几乎处处,我们必须有PGZ= PQX。证据 为了证明PGZ= PQX,考虑一个任意子集R X × Z。我们有∫PQX(R)=∫dPQX=∫dPQXdP=fQXdPGQ∫R≥fdP∫RdPGQ=dPGZdP∫R=dP=P(R)。(三)GZGQRRdPGQR类似地,我们可以证明以下关于Ω\R的不等式,其中Ω=X × ZPQX(Ω\R)≥PGZ(Ω\R)。由于PQX(R)= 1−PQX(Ω\R)且PGZ(R)= 1−PGZ(Ω\R),我们有PQX(R)= 1 − PQX(Ω\R)≤ 1 − PGZ(Ω\R)= PGZ(R)。(四)将Eq.(3)和(4),我们有PQX(R)=PGZ(R),对于任意的R,因此PQX=PGZ,这完成了证明。4.2一致性的主要结果现在,我们可以证明生成样本和真实样本之间的一致性,其中f QX和f GZ具有以下Lipschitz正则性条件。假设1fQX(x,z)和fGZ(x,z)在(x,z)中都有界Lipschitz常数。注意,两个函数的有界Lipschitz条件仅适用于(x, z)的支撑。换句话说,我们只需要在数据和潜在向量的联合空间X ×Z然后,我们可以证明以下主要定理。定理1. 在假设1下,PQX= PGZ对于PGQ-几乎处处具有最优生成元G*和拉回映射Q*。此外,fQx=fGZ1 =最佳值。2GZGZ带流形边的7µ,νµ,νµ,νµ,νµ,νµ,ν定理的第二部分由第一部分引出。因为PQX=PGZ对于最优G*和Q*,f=dPQXdPQX1==。同样地,QXdPGQd(PQX+PGZ)2fGZ1=. 这表明fQX2和fGZ都是在所描绘的固定点处的Lipschitz问题(一)-(三)这里我们给出了这个定理的详细证明。的证明将为我们揭示一些光的作用,环境和流形的利润,以及Lipschitz正则性,保证生成的和真实的样本之间的分布一致性。证据步骤1:首先,我们将展示S(L*,G*,Q*)≥Ex,z[∆**(x, z)],(5)其中,(x, z)在等式(1)中定义(1)G和Q被替换为最佳G*和Q*。这可以通过下面的推论来证明S(L*,G*,Q*)≥Ex,z[∆** (x,z)]+ExL*(x,Q*(x))−EzL*(G*(z),z)这由C[a]≥a得出。继续推导,我们得到最后一个不等式的RHS等于∫Ex,z[∆*∫(x,z)]+x,zL*(x,z)dPZ|X(z)=Q*(x)|x)dPX(x)−x, zL*(x,z)dPX|Z(x=G*(z)|z)dPZ(z)∫ ∫≥Ex,z[∆*=Ex,z[∆*(x,z)]+(x,z)],x,zL*(x, z)dPZ(z)dPX(x)−x,zL*(x, z)dPX(x)dPZ(z)它由问题(II)和(III)得出,其中G*和Q*分别最小化和最大化L*因此,LHS中的第二项和第三项是下界的,当P| X(z)= Q*(x)|x)和PX| Z(x = G*(z)|z)分别被替换为Pz(z)和PX(x)。第二步:我们将证明对于PGQ-几乎处处,fQX≥fGZ,这样我们就可以应用引理1来证明相容性。根据假设1,我们可以定义以下Lipschitz连续损失函数L(x, z)=α[−fQX(x, z)+fGZ(x, z)]+ (6)有足够小的α >0。因此,L(x, z)也将是Lipschitz连续的,其Lipschitz常数分别小于x和z中的μ和ν这将导致以下不等式∗µ,ν(x,z)+L(x,Q*(x))− L(G*(z),z)≥ 0。∆8Marzieh Edraki和祁国军µ,νµ,νµ,ν+µ,ν然后,通过C[a]=a,对于a≥0,我们有∫ ∫S(L,Q*,G*)=Ex,z[∆*∫(x,z)]+x,zL(x, z)dPQX−∫x,zL(x, z)dPGZ=Ex,z[∆*(x,z)]+x,zL(x, z)fQX(x,z)dPGQ−x,zL(x, z)fGZ(x, z)dPGQ其中最后的等式由Eq.(二)、通过将(6)代入上述等式的RHS,我们有S(L,Q*,G*)=Ex,z[∆*(x,z)]−α∫x,z[−fQX(x, z)+fGZ(x, z)]2dPGQ设fQX(x, z)0,我们有S(L*,Q*,G*)≤S(L,Q*,G*)Ex,z[∆**(x, z)]第一个不等式来自问题(I),其中L*最小化S(L,Q*,G*)。显然,这与(5)矛盾,因此我们必须有fQX(x, z)≥fGZ(x, z),对于PGQ-几乎处处。这就完成了步骤2的证明。步骤3:现在可以通过结合引理1和步骤2的结果来证明定理。作为推论,我们可以证明最优Q*和G*是相互逆的。推论1. 对于最优的Q*和G*,几乎处处Q* −1= G*。换句话说,Q*(G*(z))= z,对于PZ-几乎每个z ∈ Z,以及G*(Q*(x))= x,对于PX-几乎每个x ∈ X。这个推论是[2]中所证明的最优Q_∞和G_∞的分布一致性P_QX=P_GZ的一个推论这意味着最优拉回映射Q*(x)形成x的潜在表示,作为最优生成函数G*的逆。5半监督学习LSAL也可以用于训练半监督分类器[25,21,12],当标记样本稀缺时,通过探索大量未标记的示例。为了用作分类器,损失函数L(x,z, y)可以在X X Z X Y的联合空间上重新定义,其中Y是标签空间。现在,损失函数通过最小化Y上的L(x, z,y)来测量将样本x及其流形表示Q(x)联合分配给标签yy*= arg minL(x, z, y)(7)y∈Y为了以半监督的方式训练LSAL的损失函数,我们定义以下目标函数S(L,G,Q)=Sl(L,G,Q)+λSu(L,G,Q)(8)带流形边的9uY其中Sl是用于标记的示例的目标函数,而Su是用于未标记的样本,并且λ是在标记的数据和未标记的数据的贡献之间平衡的正系数。由于我们的目标是将一对(x,Q(x))分类到标签空间Y中的一个类,因此我们可以通过网络输出的负log-softmax来定义损失函数L所以我们有L(x, z, y)=− logΣexp(ay(x, z))y′exp(ay′(x, z))其中y(x, z)是类y的激活输出通过LSAL公式,给定标签示例(x,y),L(x,Q(x),y)应至少比L(G(z),z, y)小Δμ,ν(x,z)的裕度。因此目标Sl被定义为Sl(L,G*,Q*),EΣ中国 (9)x,y Pdata(x, y)C∆µ,ν(x, z)+L(x,Q(x),y)−L(G(z),z,y)z PZ(z)对于未标记的样本,我们依赖于这样一个事实,即样本x的标签的最佳猜测是在标签空间y∈ Y上最小化L(x, z,y)的猜测。因此,未标记样本的损失函数可以定义为:Lu(x, z),minL(x, z, y)(10)y我们还将L(x, z, y)更新为−logΣexp(ay(x,z)).搭载全新1+y′exp(ay′(x, z))Lu,我们可以将未标记样本的损失敏感目标定义为Su(L,G*,Q*),EΣ∗ ∗Σx,y Pdata(x, y)C∆µ,ν(x, z)+Lu(x,Q(x),y)−Lu(G(z),z,y)z PZ(z)与LSAL中一样,G*和Q*可以通过解决以下优化问题来找到。– 学习具有固定L*和Q*的G:G*=argminT(L*,G,Q*),EyP(y)L*(G(z),z)+L*(G(z),z,y)uGzPZ(z)– 在固定L*和G* 的情况下学习Q:Q*=argmaxR(L*,G*,Q),Ex,yPQ数据 (x, y)L*(x,Q(x))+L*(x,Q(x),y)在实验中,我们将评估半监督LSAL模型在图像分类任务。10Marzieh Edraki和祁国军(a) LSAL(b) DC-GAN(c) LS-GAN(d) 开始图1.一、通过各种方法生成样品CelebA数据集上的尺寸为64× 64最好在屏幕上看到。图二、损失函数L(x,z)的网络架构所有卷积层的步长为2,以将其输入特征图的大小减半。6实验我们在四个数据集上评估了LSAL模型的性能,即Cifar10 [8],SVHN[10],CelebA [23]和64× 64裁剪中心ImageNet [16]。我们比较了图像生成能力的LSAL,定性和定量,与其他国家的最先进的GAN模型。我们还以半监督的方式训练LSAL模型用于图像分类任务。6.1架构与培训虽然这项工作的目的不是为了测试GAN设计架构的新想法,但我们采用现有的架构来尽可能公平地三个convnet模型已被用来表示带流形边的11生成器G(z)、拉回映射Q(x)和损失函数L(x, z)。我们使用hinge_los 作 为 我 们 在 C[·]= max ( 0 , · ) 上 的 成 本 函 数 。 类 似 于DCGAN[14],我们使用跨越卷积而不是池化层来下采样特征图,并使用分数卷积用于上采样目的。批量归一化[5](BN)也已在生成器和回调映射网络中的整流线性(ReLU)激活函数之前使用,而权重归一化[18](WN)应用于损失函数的卷积层。我们还应用比率为0的dropout [20]。2在所有完全连接的层上。损失函数L(x,z)在联合空间X × Z上计算,因此其输入由两部分组成:第一部分是将输入图像x映射到n维向量表示的卷积网络;第二部分是全连接层的序列,其也将本征向量z连续映射到m维向量。则(n+m)-dim向量通过这两个向量的级联来生成,并且进一步通过一系列完全连接的层来计算最终的损失值。对于半监督LSAL,损失函数L(x, z, y)也在标签空间Y上定义。在这种情况下,上面定义的损失函数网络可以有多个输出,每个输出对应Y中的一个标签。损失函数网络的主要思想如图2所示。LSAL代码也可以在这里找到。Adam优化器已用于在四个数据集上训练所有模型对于图像生成任务,我们使用10 −4的学习率和β 1 = 0的一阶和二阶矩衰减率。5和β2= 0。99.在半监督分类任务中,学习率设置为6× 10−4,每50个epoch衰减5%,直到达到3× 10−4。对于Cifar10和SVHN数据集,基于每个数据集的验证集选择未标记样本的系数λ以及流形和环境边缘的超参数μ和νL1范数已被用于所有的实验中的两个利润率。模型初始评分实际数据11.24 ±0.12ALI[3]4.98±0.48LS-GAN[11]5.830.22LSAL 6.43 ±0.53表1. Cifar10数据集上各种GAN模型的Inception评分比较。真实数据的初始得分表示得分的上限最后,注意,从理论角度来看,我们不需要在生成的样本和真实样本之间进行任何类型的配对,以显示第4节中的分布一致性。因此,我们可以随机地选择在一个“绿色的”单元中的真实图像r(例如,G. 所述最小值(例如,最小图像)与所产生的样本配对下面的实验还经验性地证明了随机采样策略在生成高质量图像以及训练竞争性半监督分类器方面效果良好。12Marzieh Edraki和祁国军6.2图像生成结果定性比较:为了展示LSAL模型的性能,我们定性地比较了CelebA数据集上的模型与其他最先进的GANs模型生成的图像。如图1所示,与其它方法相比,LSAL可以产生面部图像的细节。面部具有良好定义的边界,并且鼻子和眼睛具有真实形状,而在LS-GAN1(c)和DC-GAN1(b)中,大多数一般样本具有真实的面部边界图3显示了LSAL为Cifar10、SVHN和微小ImageNet数据集生成的样本。我们也走过流形空间Z,由拉回(a) Cifar10(b)SVHN(c)Tiny ImageNet图3.第三章。通过LSAL在不同数据集上生成样本(a)Cifar10和(b) SVHN的尺寸为32× 32。(c)Tiny ImageNet的样本大小为64× 64。映射Q. 为此,回拉映射网络Q已被用于找到来自i on s et t处的值的两个随机选择的样本的流形表示Z1和Z2。 G被用来对z的z 1和z 2的线性插值进行新的采样。如图4所示,图像对之间的过渡是平滑且有意义的。定量比较:为了定量评估LSAL生成样品的质量,我们使用了[17]提出的初始评分。我们选择了这个指标,因为它已被广泛应用于文献中,所以我们可以公平地直接与其他模型进行比较。我们将Inception模型应用于在Cifar10上训练的各种GAN模型生成的图像表1中报告了由每个模型生成的50,000个图像的Inception分数的比较。6.3半监督分类使用半监督LSAL来训练图像分类器,与其他GAN模型相比,我们取得了表3示出了半监督LSAL以及其他半监督GAN模型的错误率,当仅使用1,000个标记示例在SVHN上训练时,使用其他半监督GAN模型。带流形边的13见图4。为CelebA数据集的回调映射Q学习的第一列和最后一列是来自验证集的真实样本未标记的示例。对于Cifar10,使用各种数量的标记示例训练LSAL。在表2中,我们显示了具有1,000、2,000、4,000和8,000个标记图像的LSAL的错误率。实验结果表明,所提出的半监督LSAL方法的性能优于其他方法.标签样本数量1000 2000 4000 8000模型分类错误梯形网络[15] 20.40[19] 2016年10月19日CLS-GAN[11] 17.3改进GAN [17]21.83± 2.01 19.61± 2.32 18.63±2.32 17.72 ± 1.82ALI[3] 19.98± 0.89 19.09± 0.44 17.99±1.62 17.05 ± 1.49LSAL 18.83± 0.44 17.97± 0.74 16.22± 0 31 14.17± 0.62表2.Cifar10分类错误比较6.4环境和歧管裕度我们还在图5中说明了随着学习算法在历元上进行,环境和流形边缘的趋势。这些曲线是通过在Cifar10上用4000个标记的示例训练LSAL模型获得的,两个边缘都是在每个时期采样的小批量真实和虚假对上平均的。从图示的曲线中,我们可以看到流形余量继续减小,并且在大约270个时期之后最终稳定随着流形余量的减少,我们发现生成的图像的质量继续提高,即使环境余量波动的时期。由此可见…的重要性14Marzieh Edraki和祁国军图五. Cifar10数据集上各时期的流形和环境边缘的趋势。在时期10、100、200、300、400处生成示例模型分类误差跳过深度生成模型[9] 16.61±0.24改进的GAN [17] 8.11 ±1.3ALI[3]7.42±0.65CLS-GAN[11] 5.98 ±0.27LSAL 5.46 ±0.24表3. 使用1000个标记示例比较半监督学习的SVHN测试集的分类错误。歧管利润,激励拟议的LSAL模型。它还证明了真实图像和假图像之间的流形边缘应该是我们可以用于生成图像质量的更好指标。7结论在本文中,我们提出了一个新的正则化LSAL模型,并证明它从理论和实证的角度。基于真实数据分布在低维流形上的假设,我们定义了一个回调算子,将样本映射回流形。流形余量被定义为回拉表示之间的距离,以区分真实样本和伪样本,并学习最佳生成器。所得到的模型也表明,它可以产生高质量的图像相比,其他国家的最先进的GAN模型。确认该研究得到了NSF资助#1704309和IARPA资助#D17PC00345的部分支持。我们也感谢NVIDIA慷慨捐赠GPU卡支持我们的研究。带流形边的15引用1. Arjovsky,M.,Chintala,S.,Bottou,L.:Wasserstein gan arXiv预印本arX-iv:1701.07875(2017年1月)2. 别这样,杰, Kr¨ahenb u¨hl,P., 达尔尔,T. :一个开发者有一个很好的解决方案。预印本:1605.09782(2016)3. Dumoulin,V.,贝尔加齐岛Poole,B.Lamb,A.,Arjovsky,M.,马斯特罗 彼 得 罗 岛 Courville , A. : 逆 向 学 习 推 理 。 arXiv 预 印 本 arXiv :1606.00704(2016)4. 古德费洛岛Pouget-Abadie,J. Mirza,M.,徐,B.,沃德-法利,D.,Ozair,S.,Courville,A.Bengio,Y.:生成性对抗网。在:神经信息处理系统的进展。pp. 26725. Ioffe,S.,Szegedy,C.:批次标准化:通过减少内部协变量偏移来加速深度网络训练。国际机器学习会议。pp. 4486. 金玛,D.P.,Mohamed,S.,Rezende,D.J.,Welling,M.:使用深度生成模型的半监督学习。神经信息处理系统进展。pp. 35817. 金玛,D.P.,Welling,M.:自动编码变分贝叶斯。arXiv预印本arX-iv:1312.6114(2013)8. Krizhevsky,A.:从微小图像中学习多层特征(2009)9. 马洛伊湖Sønderby,C.K.,Sønderby,S.K.,Winther,O.:辅助深度生成模型。arXiv预印本arXiv:1602.05473(2016)10. Netzer,Y.,王,T.,Coates,A. Bissacco,A.,吴,B.,Ng,A.Y.:使用无监督特征学习读取自然图像中的数字(2011)11. Qi,G.J.:基于Lipschitz密度的损失敏感生成对抗网络arXiv预印本arXiv:1701.06264(2017年1月)12. Qi,G.J.,Aggarwal,C.C.,Huang,T.S.:对具有离群链接的异构社交媒体对象进行聚类在:第五届ACM国际会议的论文集。pp. 553- 562。ACM(2012)13. Qi,G.J.,张,L.,Hu,H.,Edraki,M.,王杰,Hua,X.S.:全局生成对抗网与局部生成对抗网。在:IEEE计算机视觉和模式识别会议论文集(2018)14. Radford,A.梅斯湖Chintala,S.:使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv:1511.06434(2015)15. Rasmus,A.,Berglund,M.,Honkala,M.,Valpola,H.,Raiko,T.:使用梯形网络的半监督学习。神经信息处理系统进展。pp. 354616. Russakovsky,O.,Deng,J.,Su,H.,Krause,J.,Satheesh,S.,妈妈,S.,黄志,Karpathy,A.,Khosla,A.Bernstein,M.Berg,A.C.,李菲菲:ImageNet大规模视觉识别挑战。International Journal of ComputerVision(I-JCV)115(3),211 http://doi. org/10。1007/s11263-015-0816-y17. Salimans,T.古德费洛岛Zaremba,W.,Cheung,V.Radford,A.Chen,X.:改进训练gans的技术神经信息处理系统进展。pp. 222618. Salimans,T. Kingma,D.P.:权重归一化:一个简单的重新参数化,以加速深度神经网络的训练。在:神经信息处理系统的进展。pp. 90116Marzieh Edraki和祁国军19. Springenberg,J.T.:无监督和半监督学习与分类生成对抗网络。arXiv预印本arXiv:1511.06390(2015)20. Srivastava,N.,Hinton,G. Krizhevsky,A.,萨茨克弗岛Salakhutdinov,R.:Dropout:一种防止神经网络过度拟合的简单方法。The Jour-nalofMac hi neLearni ng Reserc h15(1),192921. 唐,J.,Hua,X.S.,Qi,G.J.,吴X:通过半监督多实例学习的典型性排名。第15届ACM国际会议论文集。pp. 297ACM(2007)22. Valpola,H.:从神经主元分析到深度无监督学习。Adv. in IndependentComponentAnalysisandLearningigMachinespp. 14323. 杨,S.,Luo,P.,Loy,C.C.,唐X:从面部部位反应到面部检测:一种深 度 学 习 方 法 。 In : Proceedings of the IEEE International ConferenceonComputerVisin. pp. 367624. 赵,J,Mathieu,M.,LeCun,Y.:基于能量的生成对抗网络。arXiv预印本arXiv:1609.03126(2016)25. Z hu,X. :S em i-su per v i sedl earni g。 In:En c y c l o ped i a fmach i nelearn i n g,pp. 892 -897斯普林格(2011)
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)