注意力感知人脸幻觉：基于深度强化学习的人脸超分辨率方法

690基于深度强化学习的中山大学数据与计算机科学学院，广州，中国caoqx@mail2.sysu.edu.cn，www.example.com，linliang@ieee.org，www.example.com，网址shiyk3@mail2.sysu.edu.cn，网址：xdliang328@gmail.com，网址：www.example.comliguanbin@mail.sysu.edu.cn摘要人脸幻觉是一个特定领域的超分辨率问题，其目标是从低分辨率（LR）输入图像生成高分辨率（HR）人脸。与现有的方法相比，这些方法通常从LR到HR图像学习单个块到块的映射，并且不考虑块之间的上下文相互依赖性，我们提出了一种新的注意力感知人脸幻觉（Attention-FH）框架，该框架采用深度强化学习来顺序地发现注意的块，然后通过充分利用图像的全局相互依赖性来执行面部部分增强。具体而言，在每个时间步中，经常性的政策网络被提议动态地指定一个新的参加区域，通过合并过去发生的事情。国家（即，整个图像的面部超分辨率结果）因此可以由局部增强网络在所选区域上利用和更新。Attention-FH方法通过最大化反映整个图像上的幻觉性能的长期奖励来联合学习递归策略网络和局部增强网络因此，我们提出的Attention FH能够根据每个人脸图像的自身特征自适应地个性化最佳搜索路径。大量的实验表明，我们的方法显着超过了国家的最先进的在野外的脸与大的姿态和照明变化。1. 介绍人脸超分辨率是指从低分辨率的输入图像生成高分辨率的人脸图像，这是人脸分析领域的一个非常基本的问题，可以促进几个与人脸相关的任务，如人脸属性识别[16]，人脸对齐[34]，人脸识别[35]通讯作者为梁琳。这项工作得到了国家重点发展计划基金2016YFB1001004 的 部分 支持 ，部 分 得到 了国 家自 然科 学 基金61622214的支持。本工作得到了国家自然科学基金-广东省联合基金超级计算应用研究专项（二期）的资助。在复杂的真实世界场景中，面部图像通常质量非常低。现有的人脸超分辨率方法[32，31，17，23]通常集中在如何学习从LR图像到HR图像的区分性块到块映射。特别是，最近通过采用先进的卷积神经网络（CNN）[36]和多个级联CNN [37]取得了很大进展。面部结构先验和空间配置[15，3]通常被视为用于增强面部/面部部分的外部然而，在幻觉加工过程中，根据人类感知过程的研究[19]，人类从感知整个图像开始，并利用注意力转移机制依次探索一这一发现启发我们探索一种新的人脸半透明化途径，即从全局的角度出发，通过顺序搜索注意局部区域并考虑它们的上下文依赖性受到最近在各种计算机视觉任务上的注意力和回流模型的成功的启发[22，1，6]，我们提出了一种注意力感知的面部幻觉（Attention-FH）框架，该框架通过充分利用图像的全局相互依赖性来循环发现面部部分并增强它们，如图所示。1.一、特别地，考虑到人脸图像在模糊度、姿态、光照和外观等方面的多样性，我们尝试为每一种人脸幻觉寻找一种最优的适应增强路径。我们采用深度强化学习（RL）方法[21]来利用模型学习，因为这种技术已经证明了其在全局优化顺序模型而无需监督每一步的有效性具体来说，我们的Attention-FH框架通过考虑整个面部的先前增强结果，联合优化了一个循环策略网络和一个局部增强网络，该循环策略网络学习策略以在每个步骤中选择优选的面部部分，该局部增强网络用于面部部分幻觉。以这种方式，不同面部部分之间的丰富相关线索可以明确地并入局部en中691图1：在我们的Attention-FH框架中顺序发现和增强面部部位在每一个时间步，我们的框架指定一个关注区域的基础上，过去的幻觉结果，并加强它考虑到全球的角度，整个脸。红色实心边界框表示每个步骤中最新感知的补丁，蓝色虚线边界框表示所有先前增强的区域。我们在序列的末尾采用全局奖励来驱动强化学习范式下的框架学习。在每一个步骤中加强过程例如，该试剂可以通过考虑眼睛区域的更清晰版本来改善嘴部区域的增强，如图1所示。1说明。我们通过超分辨率人脸的整体性能来定义强化学习的全局奖励，这驱动了经常性的策略网络优化。循环策略网络按照强化学习（RL）过程[26]进行优化，该过程可以被视为具有长期全局奖励的最大化马尔可夫决策过程（MDP）。在每个时间步中，我们学习的政策，以确定下一个关注的区域的最佳位置，通过调节当前增强的整体脸和历史动作。一个长短期记忆（LSTM）层用于捕获所关注的面部部分的过去信息。同时，历史动作也被记忆，以避免陷入重复动作循环的推理给定每个步骤中所选择的面部部分，本地增强网络执行超分辨率操作。增强的损失基于面部部分幻觉质量来定义。值得注意的是，来自面部部分增强的监督信息有效地减少了增强优化期间不必要的尝试和错误。我们比较了所提出的注意FH方法与其他国家的最先进的人脸超分辨率方法在约束和无约束的设置。大量的实验表明，我们的方法大大超过他们所有。此外，我们的框架可以明确地产生一系列的注意力区域在幻觉-这与人类的感知过程非常吻合。2. 相关工作面部幻觉， 图像 超分辨率。人脸超分辨率问题是图像超分辨率问题的一个特例早期的技术人员假设这些面孔是在一个受控的环境中，只有很小的变化。Wang等人[25]通过特征变换实现了低分辨率和高分辨率人脸之间的映射。 Yang等人[32]提出了低分辨率和高分辨率人脸具有相似的稀疏先验，并且高分辨率人脸可以从低维投影中准确地恢复。特别是，Yang等人。[31]用特定面部组件之间的映射代替了补丁到补丁的映射然而，组件之间的匹配是基于地标检测结果，当下采样因子较大时，这是不可用的最近，深度卷积神经网络已成功应用于面部幻觉[37，36]以及图像超分辨率[13，20]。Zhen等人[2]建议使用网络级联用于具有局部自动编码器架构的图像SR[3]中也使用了类似的FCN，将基于稀疏编码的SR方法形式化为3层卷积神经网络。Zhou等人[36]提出了外观不变方法的重要性，并采用全连接层进行人脸识别。Ren等人[20]提出，不均匀分布的像素可能具有不同的影响。他们用692t−1不不t−1tt−1Shepard插值有效地实现了在-然后，我们增强每个局部滤波器部分，我的心，变分插值（TVI）。强化学习和注意力网络。cal增强网络fe.所得到的增强的局部块I_t被计算为：注意力机制最近已经得到应用，受益于各种任务，如目标提案[12]，Ilt=fe（Ilt，我t−1;θe），（3）主题分类[18]，关系检测[27]，图像字幕[30]和视觉问答[28]。由于上下文信息对计算机视觉问题很重要，这些工作大多试图通过将其注意过程描述为顺序决策问题来关注多个区域。引入强化学习技术对具有延迟报酬的序贯模型进行优化这项技术已经应用于面部其中θe是局部增强网络参数。 因此，通过将输入图像It-1在位置It处的局部块替换为增强块It-1t来获得每个第t步处的输出图像It。我们的整个顺序注意FH过程可以写为：I0=Ilr检测[5]和目标定位[1]。这些方法学习了主动定位目标区域（ob-It=f（It−1;θ）1≤t≤T，Ihr=IT（四）代替在IM上穷尽地滑动子窗口年龄例如，Goodrich et al. [5]定义了32个行动，以转移焦点，并在找到目标时奖励代理。Caicedo等人。[1]定义了一个包含边界框的几个变换的动作集，如果边界框在每一步中更接近地面实况，则奖励代理。这两种方法都是通过Q学习来学习目标定位的最优策略。3. 注意力感知的面部幻觉给定具有低分辨率的面部图像Ilr，我们的注意力-FH框架通过学习投影函数F以其对应的高Ihr= F（Ilr|θ），（1）其中θ表示函数参数。我们的Attention-FH建议在每个步骤中顺序定位和增强参与的我们的框架由两个网络组成：动态确定在当前步骤中要增强的特定面部部分的循环策略网络和进一步用于增强所选面部部分的局部增强网络。具体来说，我们的注意力-FH的整个幻觉过程可以用公式表示给定第t步的输入网络工作选择一个本地字段与位置其中T是局部补丁挖掘步骤的最大数目，θ=[θπ;θe]且f=[fπ;fe]。在本文中，我们根据经验设定T = 25。3.1. 经常性政策网络递归策略网络执行顺序局部补丁挖掘，可以看作是离散时间间隔上的决策过程在每个时间步，代理采取行动，以确定一个最佳的图像补丁，以增强条件的当前状态，它已经达到目前为止。给定所选的位置，通过所提出的局部增强网络来增强所提取的局部在每个时间步长期间，通过用增强的面部部分再现超幻觉面部图像来策略网络循环地选择和增强局部补丁，直到达到最大时间步长。在这个序列的最后，延迟的全局奖励，这是衡量最终的脸幻觉结果和地面实况高分辨率图像之间的均方误差，用于指导代理的政策学习。因此，智能体可以为每个单独的人脸图像探索最佳搜索路线，以最大化全局整体奖励。状态：第t步的状态st应该能够为智能体提供足够的信息，以便在不回顾多个步骤的情况下做出决定。 因此，它由两部分组成：1）来自先前步骤的增强的超幻觉面部图像It，其使得代理能够感测丰富的上下文信息。lt：lt=fπ（st−1;θπ），形成待处理的新贴片，例如，的部分斯太尔tt−1=g（lt，It−1（二））的情况下，该图像仍然是模糊的，需要增强; 2）该图像的LA-通过转发编码的历史而获得的帐篷变量ht其中fπ表示递归策略网络，θπ是网络参数。 st-1是递归策略网络的编码输入状态，它由输入图像It-1和编码历史动作ht-1构成。 g表示裁剪操作，该裁剪操作从It−1，位置lt作为选定的面部部位。对于所有面部图像，补丁大小设置为60×45action vectorht−1到LSTM层，用于合并所有先前的动作。 以这种方式，代理的目标是通过顺序地观察状态st={It，ht}来确定下一个被关注的局部块的位置，以生成高分辨率图像Ihr。动作：给定一个大小为W×H的人脸图像I，智能体的目标是从所有可能的位置中选择一个动作。我693t−1t−1t−1不图2：我们的经常性政策网络和本地增强网络的网络架构。在每个时间步，递归策略网络将当前幻觉结果It-1和由LSTM编码的动作历史向量（512个隐藏状态）作为输入，然后输出所有W×H位置的动作概率，其中W，H是输入图像的高度和宽度策略网络首先用一个全连接层（256个神经元）对It-1进行编码，然后用LSTM层融合编码后的图像和动作向量最后，通过添加一个全连通的线性层来生成W×H路概率。 给定概率图，我们提取局部补丁，然后将补丁和It-1传递到局部增强网络以生成增强补丁。 局部增强网络由两个全连接层（每个层有256个神经元）和8个级联卷积层构成，用于编码It-1和图像补丁增强。因此，可以通过用增强的补丁替换局部补丁来生成新的面部超分辨率结果lt=（x，y|1≤x≤W，1≤y≤H）。如图2，在每个时间步长t，策略网络fπ首先用全连接层对当前超分辨率人脸图像It-1进行编码。然后，策略网络中的LSTM单元将编码向量与历史动作向量ht-1融合。最后，附加一个最后的线性层以产生一个W ×H路向量，该向量指示所有可用动作P（l，t=（x，y））的概率|st-1），其中每个条目（x，y）指示位于位置（x，y）的下一个附着的贴片的概率。然后，代理将通过随机绘制遵循动作概率分布的条目来采取动作lt在测试期间，我们选择具有最高概率的位置。奖励：奖励用于指导智能体学习序列策略以获得整个动作序列。由于我们的模型的目标是生成半透明的人脸图像，我们定义的奖励根据均方误差（MSE）后，增强T参加局部补丁在选定的位置与本地增强网络。给定固定的局部增强网络fe，我们首先通过顺序地增强由l=l1，2，.挖掘的局部块的列表来计算最终的面部超分辨率结果I T，T.因此，通过计算获得MSE损失Lθπ=Ep（l;π）[<$Ihr−IT<$2]，其中p（l;π）是策略网络fπ产生的概率分布。的第t步的奖励r可以被设置为：.3.2. 本地增强网络局部增强网络f-e用于增强提取的低分辨率补丁。它的输入包含由所有先前增强结果渲染的整个面部图像It-1和所选局部补丁It-1t在当前步骤。如图2，我们将输入It-1传递到两个完全连接的层中，以生成具有与扩展补丁It相同大小的特征图为了对It-1的整体信息进行编码。然后，将此要素地图与扩展修补程序I连接起来并办理卷积层，以获得增强的贴片I.我们采用类似于一般图像超分辨率方法的级联卷积网络架构[3，13]。在卷积层之间不使用池化层，并且特征图的大小在所有卷积层中保持固定。我们遵循Tuzel等人所采用的网络的详细设置。[24]第10段。两个完全连接的层包含256个神经元。级联卷积网络由八层组成。 Conv1conv 7层有16个通道的3×3核; conv 2和conv 6层有32个通道的7×7核; conv 3、conv 4和conv 5层有64个通道的7×7核; conv 8层有5×5核，输出与提取的图像块大小和通道相同的补丁.在初始化中，我们首先使用Bicubic将图像Ilr上采样为与高分辨率图像IhrRt=0t T− Lθπ t=T。（五）法我们的网络首先生成一个残差图，然后将输入的低分辨率补丁与残差图相结合，以生成最终的高分辨率补丁。学习通过将折扣因子设置为1，总折扣奖励将为R=−Lθπ。已被证实比直接从原始高分辨率694[13]第十三话3.3. 深度强化学习我们的Attention-FH框架联合训练递归策略网络fπ的参数θπ和局部增强网络fe的参数θe。我们引入了一个再增强学习方案来进行联合优化.首先，我们使用RE-INFORCE算法[26]优化递归策略网络，该算法由顺序增强结束时给出的奖励指导局部增强网络利用增强后的图像块和来自地面真实高分辨率图像的对应图像块之间的均方误差进行优化这种监督损失在每个时间步计算，并且可以根据以下条件最小化：反向传播由于我们联合训练了递归策略网络和局部增强网络，局部增强网络中参数的变化我们进一步采用[18]中提到的方差减少策略来减少训练过程中由于移动奖励而引起的方差4. 实验4.1. 数据集和实现细节在BioID[11]和LFW[9]数据集上评估了大量实验。BioID数据集包含在实验室约束设置下收集的1521张我们使用1028张图像进行训练，493张图像进行评估。LFW数据集包含在无约束环境中拍摄的5749个身份和13233张人脸图像，其中9526张图像用于训练，其余3707张图像用于评估。该训练/测试分割遵循LFW数据集提供的分割。在我们的实验中，我们首先使用SDM方法[29]对齐BioID数据集上的图像，然后使用尺寸为160×120的图像作为待处理的面部图像。对于LFW数据集，我们使用LFWfunneled[8]中提供的对齐人脸图像，并提取中心128×128图像块进行处理。我们评估两个缩放因子4和8，在下面的图和表中表示为4×和8×。输入的低分辨率图像是通过对具有固定缩放因子的原始图像。因此，BioID中的输入图像大小分别为40×30和20×15，LFW中的输入图像大小分别为32×32和16×16我们在Attention- FH模型中为两个数据集设置了最大 时 间 步 长 T=25 所 有 实 验 的 人 脸 面 片 尺 寸 均 为H×W=60×45该网络使用ADAM梯度下降更新[14]。学习率和动量项分别设置为0.0002和0.54.2. 评价方案和比较我们采用广泛使用的峰值信噪比（PSNR）、结构相似性（SSIM）以及特征相似性（FSIM）[33]作为我们的评估指标。我们比较了我们的方法与几个国家的最先进的人脸幻觉和图像超分辨率的方法。对于人脸幻觉方法，我们与SFH [31]，MZQ [17]，BCCNN [36]，GLN [24]进行了比较。 我们还比较了两种一般的图像超分辨率方法：SRCNN [3]和VDSR [13]。对于VDSR和SRCNN的结果，我们仔细地重新实现了缩放因子为4和8的模型。 我们首先对提出的模型进行预训练在VDSR和SRCNN中使用PASCAL的7，000张图像VOC2012[4]，然后在LFW和BioID的训练集上对其进行微调4.3. 定量和定性比较表1显示了我们的模型的性能，并与其他最先进的方法进行了比较。我们的模型在PSNR、SSIM和FSIM指标上基本上击败了LFW和BioID数据集上的所有比较方法。具体来说，我们的模型实现的平均增益在PSNR方面是2.59dB，1.66dB，2.43dB和1.8dB相比，第二个最好的方法。在比例因子为4时，我们的方法比LFW中的第二好方法的最大改进为2.59dB。传统的脸幻觉方法，SFH[31]和MZQ[17]高度依赖于面部标志检测的性能。当缩放因子设置为8时，在非常低分辨率的输入下，地标检测结果不可靠，因此它们的性能不如我们的模型。至于基于深度学习的方法，我们提出的方法在不同的实验结果上比最好的通用图像超分辨率方法VDSR[13]高出3.68dB，2.05dB，3.04dB和2.25dB。此外，我们的模型比第二好的人脸超分辨率方法GLN[24]有显著的优势。注意到GLN[24]与我们的本地增强网络共享类似的模型架构因此，我们的模型所实现的高度改善的性能证实了利用注意力代理的有效性。LFW数据集和BioID数据集上的人脸幻觉结果的定性比较如图所示。图3和图4。从这些结果中可以看出，我们的模型产生的图像比GLN和VDSR清晰得多，尽管变化很大。例如图3、最左边一列的人的眼睛只能被我们的Attention-FH成功地重新覆盖，这证明了我们的循环增强模型的有效性。4.4. 消融研究我们进行了广泛的消融研究，并证明了我们框架中几个重要组件的效果695图3：LFW漏斗的定性结果，比例因子为8。SFH和MZQ方法的结果不显示，因为它们依赖于面部标志，而这些标志在这种低分辨率图像中通常无法检测到。(a) Bicubic（b）BCCNN（c）SFH（d）MZQ（e）SRCNN（f）VDSR（g）GLN（h）我们的（i）原始(j)Bicubic（k）BCCNN（l）SFH（m）MZQ（n）SRCNN（o）VDSR（p）GLN（q）我们的（r）原始图4：LFW漏斗的定性结果，比例因子为4。696方法LFW-漏斗形4×LFW-漏斗形8×BioID4×BioID8×PSNRSSIMFSIMPSNRSSIMFSIMPSNRSSIMFSIMPSNRSSIMFSIM双三26.790.84690.894721.920.67120.782425.180.81700.860820.680.64340.7539[31]第三十一话26.590.83320.891722.120.67320.783225.410.80340.849420.310.62340.7238BCCNN[36]26.600.83290.898222.620.68010.790324.770.80340.842121.400.65040.7621MZQ[17]25.930.83130.886522.120.67710.780224.660.80030.857321.110.64810.7594SRCNN[3]28.940.86860.906923.920.69270.831427.020.85170.877122.340.69800.8274VDSR[13]29.250.87110.912324.120.70310.839128.520.86270.891424.310.73210.8465GLN[24]30.340.89220.915124.510.71090.840529.130.87940.896624.760.74210.8525我们32.930.91040.942726.170.76040.863031.560.90020.934326.560.78640.8748表1：我们的方法与其他方法在PSNR，SSIM和FSIM评估指标方面的比较。 我们采用粗体表示第一位结果，下划线表示每列中的第二位结果。SRCNN（3层）VDSR（20层）OURS（8层）时间20ms100ms81ms表4：128×128张图像检测的计算成本。表2：使用不同数量的步骤来顺序增强LFW数据集上的面部部分的Attention-FH的变体的比较。LFW4×LFW8×CNN-1629.1124.02我们的w/o注意32.2625.71随机补丁31.6025.76I032.1025.92空间变换28.1325.75我们32.9326.17表3：我们的模型与不同架构设置的比较，包括16层卷积网络工作：增加递归深度的有效性。 首先，我们探讨了使用不同的递归步骤T顺序增强面部部分的效果。 我们用四个不同的设置T = 5，15，25，35来训练我们的模型。 表2示出了面部幻觉性能随着更多的注意步骤而逐渐增加。当递归步数较小时，由于提取的块不能覆盖整个图像，PSNR测量显著改善。当递归步数大于15时，提取的块可以覆盖整个图像，PSNR的逐步性能改善变得很小。当步数接近25时，这种现象变得更加明显。分块增强方式的有效性 我们进一步评估我们的补丁式增强方式的有效性。在表3中，通过将我们的模型与“CNN-16”进行比较我们还进行了另一项消融研究，在每一步循环增强整个图像，该模型与我们的模型具有相同的架构，并且循环步骤的数量设置为5，这几乎覆盖了与我们的完整模型相同的重叠区域。从表3中我们可以看到，虽然没有注意力的递归模型可以获得有希望的结果，但我们的模型注意力在LFW4倍和LFW8倍时仍分别提高0.67 dB和0.46 dB，说明了注意力感知模型和强化学习序贯贴敷的有效性。为了证明我们提出的模型感知有意义的注意序列的能力，我们进行了两个实验：1）在每个步骤中随机挑选补丁，而不是由代理选择; 2）使用原始LR图像作为策略网络的输入，而不是在先前步骤中已经局部增强的图像。 据报道，表3中，随机选取的斑块在LFW 4 ×和8 ×上分别下降了1.33dB和0.41dB，表明我们模型中的智能体在定位有意义的注意序列方面是有效的，这可以在图3中进一步验证。五、第二个实验表明，性能将分别-在没有先前增强信息的情况下，有效地降低了0.83dB和0.25dB，这证实了补丁之间的上下文相关性可以帮助我们的注意力代理挖掘下一个补丁强化学习的有效性我们也LFW4×LFW8×T = 528.8923.55T = 1531.5125.25T = 2532.9326.17T = 3532.9126.31697图5：增强序列和代理选择的相应补丁的示例结果。某些补丁中的灰色表示原始图像之外的区域。最好通过放大电子版查看。将我们的强化学习与端到端反向传播方法进行比较。Jaderberg等人提出的空间变换网络。[10]能够计算与所提取的补丁的位置相对应的子梯度。比较结果在表3中给出。具体来说，对于 变换尺度s是固定的，因此提取的斑块大小也为60×45。空间变换层将{x，y，s}以及在前一步骤中生成的面部图像作为输入，并提取补丁增强。我们通过空间变换层用变换向量{−sx，−sy，1/s}扩展填充0s的增强补丁。然后，可以将扩展的补丁添加到低分辨率面部图像。我们计算在每一步中，在地面实况和当前增强结果之间的MSE损失，并以端到端的方式训练整个递归模型除了空间变换层，所有其他设置和模型架构都与我们的方法保持相同4.5. 关注区域我们可视化代理如何在我们的Attention-FH框架中工作的详细步骤。我们展示了中间局部增强结果的序列 ， 以 及 代 理 定 位 的 目 标 区 域 。 如 图 5 、 我 们 的Attention-FH能够首先定位图像的角点，这些区域通常是平坦的背景，并且容易在不知道特定人脸特征的情况下被增强其次，模特转身参加面部护理例如耳朵、眼睛、鼻子和嘴巴。最后，该模型在最后几步细化细节和高频区域。4.6. 复发性幻觉的复杂性我们比较了我们的方法与其他一次通过全图像SR方法的计算成本。在TITANX上运行的单个128×128图像的测试时间见表4。SRCNN[3]是一种3层CNN，它是比较方法中最快的。VDSR[13]使用非常深20层的CNN，虽然它达到了最先进的性能，但它需要更长的处理时间。我们的本地增强网络是一个8层CNN。虽然它需要多次通过，但运行时间仍然相当。重要的是，我们的方法中的额外的递归迭代是在补丁上执行的，即。每个补丁一个前向传递，它比其他SR模型执行得更快[13]。5. 结论在本文中，我们提出了一种新的注意力感知人脸幻觉（Attention-FH）框架，并使用深度强化学习对其进行优化与现有的人脸幻觉方法相比大量的实验表明，我们的模型不仅在流行的评估数据集上实现了最先进的性能在未来，我们将尝试将我们的模型扩展到一个更一般的形式，它可以处理其他低层次的视觉问题。698引用[1] J. C. Caicedo和S. Lazebnik使用深度强化学习进行主动目标定位。在ICCV，第2488- 2496页[2] Z. Cui，H.张，S。尚湾，澳-地Zhong和X.尘用于图像超分辨率的深度网络级联在ECCV，第49[3] C.东角，澳-地C. Loy，K.他，还有X。唐学习用于图像超分辨率的深度卷积网络在ECCV，第184-199页[4] M. 埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I. 威廉斯，J.Winn和A. 齐 瑟 曼 。 PASCAL Visual Object Classes Chal-lenge2012（VOC2012）[5] B.古德里奇和我。阿雷尔基于视觉注意力的强化学习及其在人脸检测中的应用。在CVPR，第19-24页[6] K.格 雷 戈 尔 岛Danihelka ， A.格 雷 夫 斯 D.J.Rezeland，以及D.维尔斯特拉DRAW：用于图像生成的递归神经网络。ICLR，第1462-1471页，2015年[7] S. Gu，W.左角，澳-地Xie，黄胸拟谷盗D.孟，X. Feng和L.张某图像超分辨率卷积稀疏编码。在ICCV，第1823-1831页[8] G. B. Huang，V. Jain，and E.学习米勒。复杂图像的无监督联合对齐。载于ICCV，2007年。[9] G. B. Huang，M. Ramesh，T. Berg和E.学习米勒。在野外贴上标签的脸：研究无约束环境下人脸识别的数据库。技术报告07-49，马萨诸塞大学，阿默斯特，2007年10月。[10] M.贾德伯格K.西蒙尼扬A.齐瑟曼 和K.卡武克丘奥卢。空间Transformer网络。在NIPS中，第2017-2025页。2015年。[11] O. Jesorsky ，K. J. Kirchberg 和R. 弗 里希 霍尔 茨使 用Hausdorff距离的鲁棒人脸检测AVBPA，第90[12] Z. Jie，X. Liang，J. Feng，X. Jin，W. Lu和S.燕.用于序列目标局部化的树结构强化学习NIPS，第127-135页。2016年。[13] J. Kim，J. K. Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率。2016年。[14] D. P. Kingma和J. BA. Adam：随机最佳化的方法。2015年，国际会议[15] C. 刘洪Y. Shum和W.T. 弗里曼。 面容幻觉：理论和实践International Journal of Computer Vision，75（1）：115[16] Z. Liu，P. Luo，X. Wang和X.唐在野外深度学习人脸属性。在ICCV，第3730-3738页[17] X. Ma，J. Zhang，and C.气通过位置贴片产生幻觉。Pattern Recognition，43（6）：2224[18] V.Mnih，N. Heess，A.格雷夫斯和K。卡武克丘奥卢。视觉注意的再现模型。NIPS，第2204-2212页。2014.[19] J. Najemnik和W.S. 盖斯勒视觉搜索中的最佳眼动策略Nature，434（7031）：387[20] J. S. 伦湖，澳-地徐，智-地Yan和W.太阳Shepard卷积神经网络在NIPS，第901-909页[21]D. Silver，黑胫拟天蛾A.黄角J. Maddison，A.盖兹湖，澳-地西弗G. van den Driessche， J. Schrittwieser I. 安东诺格鲁V. Panneershelvam，M.兰克托特，S。迪尔曼，D. 格瑞J. Nham， N. Kalchbrenner I. 萨茨科弗 T. 利利卡普M.利奇，K。卡武克库奥卢T. Graepel和D.哈萨比斯用深度神经网络和树搜索掌握围棋游戏。Nature，529：484[22] Y. Sun，D. Liang，X. Wang和X.唐Deepid3：使用非常深度的神经网络进行人脸识别。arXiv预印本arXiv：1502.00873，2015。[23] M. F. Tappen和C.刘某一种基于对齐的图像超分辨率的有效方法在ECCV，第236-249页，2012年。[24] O. Tuzel，Y. Taguchi和J. R.好时 全局-局部人脸上采样网络。arXiv预印本arXiv：1603.07235，2016年。[25] X. Wang 和 X. 唐 通 过 本 征 变 换 产 生 幻 觉 。 IEEETransactions on Systems，Man，and Cybernetics，Part C（Applications and Reviews），35（3）：425[26] R. J·威廉姆斯简单的统计梯度跟踪算法用于连接主义强化学习。Machine Learning，8（3）：229[27] L. 小丹湖Lisa和P.X. Eric. 用于视觉关系和属性检测的深度在CVPR，2017年。[28] C. Xiong，S. Merity和R.索彻用于视觉和文本问题回答的动态记忆网络。在ICML中。2016.[29] X. Xiong和F.德拉·托雷监督下降法及其在人脸配准中的应用。在CVPR，第532[30] K. Xu，J. Ba，R. Kiros、K. Cho，A.库维尔河萨拉胡迪诺 夫 河 Zemel 和 Y. 本 吉 奥 。 Show ， attend and tell ：Neural image caption generation with visual attention. 在ICML，第2048-2057页[31] C.- Y. Yang，S.Liu和M.-H. 杨结构化的脸幻觉。在CVPR，第1099-1106页[32] J. Yang，J. Wright，T. S. Huang和Y. MA.基于稀疏表示的 图 像 超 分 辨 率 . IEEE transactions on imageprocessing，19（11）：2861[33] L.张丽Zhang，X. Mou和D.张某一种用于图像质量评价的 特 征 相 似 性 指 数 。 IEEE transactions on ImageProcessing，20（8）：2378[34] Z. Zhang，P. Luo，C. C. Loy和X.唐使用辅助属性学习人 脸 对 齐 的 深 度 表 示 。 IEEE transactions on patternanalysis and machine intelligence，38（5）：918[35] E. Zhou，Z.和Q.尹朴素深度人脸识别：是否触及lfw基准的极限？arXiv预印本arXiv：1501.04690，2015。[36] E. Zhou，H.范，Z。Cao，Y.Jiang和Q.尹在野外学习脸部在AAAI，第3871-3877页[37] S. Zhu，S. Liu，C. C. Loy和X. 唐 深度双网络，用于面部幻觉。arXiv预印本arXiv：1607.05046，2016.