人群中闪光灯和环境光对数据集的影响

人群中的闪光灯和环境光对数据集YagızAksoy1，2，ChangilKim1，PetrKelllnhofer1，SylvainParis3，MohamedElgharib4，Marc Pollefeys2，5，and Wojciech Matusik11MIT CSAIL，Cambridge MA，USA2ETHZu¨rich，Zu¨rich，Switzerland，ya@inf.ethz.ch3Adobe Research，Cambridge MA，美国4QCRI，多哈，卡塔尔5Microsoft，Redmond WA，美国抽象。照明是摄影的关键要素，并且对于许多计算机视觉任务是必不可少的。闪光灯是独特的，因为它是一种广泛可用的工具，可以轻松地操纵场景照明。我们提出了数千个环境和闪光照明对的数据集，以使研究闪光摄影和其他应用程序，可以受益于具有单独的照明。与通常使用众包生成计算机视觉数据集不同，我们利用人群直接拍摄构成数据集的照片因此，我们的数据集涵盖了许多休闲摄影师拍摄的各种场景。 我们详细介绍了我们的方法的优势和挑战，众包以及计算工作，以产生完全独立的闪光灯照明从环境光在一个不受控制的设置。我们提出了一个简短的检查照明分解，一个具有挑战性的和不足的问题，在闪光灯摄影，演示使用我们的数据集在数据驱动的方法。关键词：闪光摄影·数据集收集·众包·光照分解1介绍众包一直是计算机视觉数据集的驱动力，特别是随着数据驱动方法的兴起众包在该领域的典型用途是获得关于照片的高级问题的答案[7]或获得地面实况注释[21]，用于简单的任务，例如以可扩展和经济的方式进行分割然而，依赖于用户交互的常见策略不适用于涉及复杂物理过程的场景，例如闪光灯/无闪光灯、短/长曝光、高/低动态范围或浅/深景深。随着当前移动相机的广泛可用性和高质量，众包具有更大的潜力，包括收集2Y. Aksoy等人图1.一、我们引入了一个多样化的数据集，通过众包收集的数千张照片对，直接的照片。随着可扩展性和多样性的动机，我们解决了众包计算摄影数据集的挑战我们介绍了一种新的方法，人群捕捉的图像，直接组成的数据集，并说明我们的战略闪光灯/无闪光灯的任务。照明是摄影最重要的方面之一。场景照明决定了照片的主要美学方面，以及对场景中对象的可见性和注意力的控制。此外，它是视觉计算中的重要课题，并且相同场景的不同照明的可用性允许研究照片的许多不同方面，诸如重新照明、白平衡和照明分离。然而，在不同照明下捕获相同场景是具有挑战性的，因为在没有摄影工作室条件的情况下照明不容易控制。由于其广泛的可用性，闪光灯是最简单的方法，为一个casual摄影师改变现场照明。因此，我们专注于收集闪光灯/无闪光灯数据集，以展示我们的众包策略。与Frankencamera [1]类似这使我们能够在不同条件下获得几乎对齐的图像对;在我们的情况下，一个是闪光照片，另一个是仅由场景中存在的环境光源照亮的照片。我们提出了一个数据集的环境照明和匹配的对，捕捉相同的场景下，只有闪光灯照明下的数千张图像。图1显示了来自我们数据集的照明对的几个示例我们已经众包了照片对的集合，导致各种各样的场景。这在完全受控的制片厂是不可能的我们详细介绍了我们的方法，众包的照片集的挑战，以及处理管道，以提供闪光灯和环境照明对。我们设想，具有两个单独的照明可以帮助高级任务，例如语义分割或单幅图像深度估计闪光灯和环境光照明对3高级信息是照明不变。具有直到照明相同的图像对的数据集也可以帮助照明分析[13]或内在图像分解。此外，由于每对图像中的一个是闪光照明，我们希望我们的数据集将鼓励开发用于移动设备的自动图像增强和照明操纵方法，例如[8，27]或支持类似于[31]的计算机视觉应用。光照分析一直是视觉计算中的一个重要问题例如固有图像分解的经典研究问题[4，5，20，23]，其中图像被分解为反照率和阴影层。我们的数据集有两个单独的照明，使一个新的和相关的问题，单图像照明分解。我们对照明分解进行了简要的研究，以了解我们的数据集的实际情况，我们训练了一个网络，将闪光照片分解为相应的环境和闪光照明，并列出了这个约束不足的问题所产生的挑战我们表明，尽管这仍然是一个未解决的问题，但用我们的数据集训练的网络可以推广到完全不同的图像。2相关工作单独照明的数据集在不同照明下捕获相同场景是一项具有挑战性的任务，通常需要专门的设置和受控的环境。他和Lau [11]提供了一个由120张用DSLR相机和三脚架拍摄的闪光灯/无闪光灯照片对组成的数据集，用于显着性检测。数据集包括若干对象，其定义图像中的显著区域Hui等人[12]还提供了一小套5闪光/无闪光照片对。Murmann等人[24]展示了14组使用其专用设置捕获的图像，每组由4张在不同闪光灯方向下拍摄的照片组成Krishnan和Fergus [18]还提供了使用他们的硬件设置拍摄的5个场景的闪光图像我们的新数据集比以前可用的示例大得多，这使得它可以用于对数据要求更高的机器学习方法。另一个主要区别是我们分别提供环境照明和闪光灯照明，而大多数先前工作中的闪光灯照片确实是闪光灯主导的照片，也包括环境照明。Weyrich等人[33]提供了在不同照明下的面部图像的大数据集，这些图像是在演播室条件下使用照明圆顶为具有变化的日光和天气条件的室外场景提供了单独的照明[25]。Vonikakis等人[32]在工作室条件下，在两个单独的照明下拍摄了15个场景相比之下，我们通过在野外的众包收集了我们的照片，这允许一个更大的数据集，具有多种场景。众包数据集。众包已经成为生成大规模计算机视觉数据集的重要工具。人群通常用于标记图像[7]，为交互式任务注释图像[4，15，17]，4Y. Aksoy等人或者绘制详细的对象分割[21]。这些数据集和许多其他数据集使用群组来针对给定的图像集合进行更高级别的任务。然而，在我们的数据收集设置中，人群自己拍摄照片这种方法的主要优点是可以收集各种各样的输入图像我们将在本文中进一步讨论通过众包直接收集数据所带来的挑战。闪光摄影。以往的闪光照片处理工作主要集中在闪光和无闪光对的联合处理上。Eisemann和Durand [27]和Petschnigg等人。[8]独立地提出了使用闪光照片去噪和改善在低光条件下拍摄的相应的无闪光照片。Agrawal等[2]类似地，使用闪光灯/无闪光灯对来去除闪光灯照片中的高光。除了图像处理之外，闪光灯/无闪光灯对还用于改善图像抠图[31]、自动对象分割[30]、图像去模糊[35]、显著性检测[11]和立体匹配[34]。最近，这样的对已经被示出用于具有多个环境照明的白平衡场景[12]，以及这样的不同光源的分离[13]。这些工作指向了一组广泛的闪光/无闪光图像对的用例通过提供大量的闪光灯/环境照明对，所呈现的数据集使得能够在这些和其他领域中进行进一步的研究，并且使得能够实现数据驱动的方法。3闪光环境光对我们介绍了一个数据集的闪光灯和环境照明对。具体地，每一对由在良好照明的室内环境中仅具有环境照明的照片组成，伴随着仅用闪光灯照明的相同场景。照明以1440×1080分辨率和12位深度的线性图像提供当在场景中存在多个光源时利用光的叠加，这些对可以用于生成多个版本的光。同一个场景不同的灯光。例如，为了模拟在黑暗环境中拍摄的常规闪光照片，闪光灯的典型使用情况，可以将环境照明的一图3示出了若干这样的变型。两个照明的白平衡也可以单独改变，以创建更多的选择。我们的数据集包括超过2700照明对各种各样的场景。我们将数据集分为6个松散定义的类别，每个类别的几个示例如图2所示。大致上，12%的图像对属于人物类别，15%属于货架和玩具类别，10%属于植物类别，30%属于房间类别，其余属于通用对象类别。闪光灯摄影中的先前工作呈现了在黑暗环境中拍摄的闪光灯/无闪光灯照片对[8，27]，因此闪光灯照片包含一部分环境光。我们的数据集的一个重要优点是闪光灯对不包含任何环境照明，使得两个照明完全分离。闪光灯和环境光照明对5人架子玩具植物房间物件图二.我们提出了一个数据集的闪光灯照明与相应的环境照明。该数据集由通过众包收集的数千对照片组成各种各样的图像涵盖了定义松散的类别，如图顶部所列6Y. Aksoy等人α = 0.0（Flash）α = 0.1α = 0.3α = 0.5α = 1.0（环境）图3.第三章。闪光灯和环境照明对可以与变化的贡献（α）线性组合，以模拟在较暗环境中拍摄的闪光照片。理想地，获得这样的单独的照明对需要受控的设置，其中环境照明可以被打开和关闭。然而，这样的受控设置使得缩放数据集大小非常具有挑战性，并且限制了可以捕获的照片的种类。而不是一个受控的设置，我们使用一个专用的移动应用程序来捕捉闪光灯/无闪光灯的照片对，然后计算生成的闪光灯只有照明。我们的设置还实现了收集过程的众包，这反过来增加了包括在我们的数据集中的场景的多样性。我们在第4节中详细说明了我们的收集程序。我们将向公众开放我们的数据集，以促进进一步的研究。以前的文献在闪光摄影表明，我们的数据集可以用于研究- ING白平衡，增强闪光照片，显着性和更多。这种数据集的可用性使得能够以数据驱动的方式研究这些问题。此外，单独的照明的可用性可以用于研究在各种情况下的照明不变性，以及开辟了新的问题，如照明分解的研究。我们提供了一个简单的检查照明分解，即。从单个闪光照片估计闪光照明，作为第5节中我们的数据集的示例用例。4数据集集合我们从一对照片中计算仅闪光灯照明，一张用闪光灯拍摄利用照相机看到的不同光源的叠加，闪光照片和无闪光照片之间的差异包含了在一定条件下闪光光源的信息首先，需要来自相机的原始值来正确地估计闪光灯。曝光和白平衡等相机参数也必须与两张照片相匹配。此外，照片，特别是无闪光灯照片，不应包含饱和像素。最后，两张照片必须对齐。为了允许众包，我们需要设计一个简单且不受控制的捕获设置。我们通过一个专用的移动应用程序实现了这一点，该应用程序只需单击一下即可拍摄照片对应用程序保存原始闪光灯和环境光照明对7图像文件，并允许用户将其上传到服务器。在计算闪光灯照明之前，我们使用照片元数据匹配图像相机参数两张连续照片的手持捕获不可避免地导致小的未对准。在从闪光灯照片中减去无闪光灯照片之前，我们通过计算将两张照片对齐我们将在本节的其余部分详细介绍这些程序和我们的众包框架照明条件与以前的闪光摄影工作不同，照片通常在黑暗的环境中拍摄，我们希望环境中有足够的环境照明，以生成不同的照明条件，如图3所示，并为我们的数据集提供更大的可能用途。此外，我们希望可靠地估计闪光灯照明，因此闪光灯相对于环境光应该足够亮这使我们无法在日光下拍照，因为闪光灯的光线比阳光弱得多。因此，我们将我们捕获的场景限制为具有足够环境照明的室内环境，并且没有直接可见光源以避免饱和。闪光灯和无闪光灯照片由我们的移动应用程序顺序拍摄，两次曝光之间有半秒至一秒的延迟。这导致必须校正的小的未对准然而，具有不同照明的两个图像的准确且可靠的对准是一项具有挑战性的任务，因为对准方法所依赖的图像特征在闪光灯存在的情况下可能完全一个特别的挑战是闪光灯投射的硬阴影，这导致其中一个图像中的强烈梯度。因此，我们限制我们的对齐是刚性的，并使用两种不同的方法估计两个图像然后，我们检查两个比对，并通过目视检查选择成功的一个，或者如果两种方法都失败，则从数据集中删除该对。我们利用的第一种方法是来自图像对准工具箱[9]的双逆合成对准算法（DIC）[3]DIC同时估计几何和光度变换，并且以其对照明变化的鲁棒性而闻名DIC在环境照明较强时有效，但在存在硬阴影时无效我们通过为两张照片生成无阴影梯度图并在这些表示之间使用Lucas-Kanade图像配准[22]来我们观察到，当白平衡与闪光灯颜色匹配时，闪光灯投射的阴影边缘看起来是无色的我们利用这一事实的优势，以消除阴影边缘，如图4所示我们为两张照片生成RGB梯度图像，并将其转换为HSV颜色空间。然后，我们乘以饱和度和价值渠道在这个表示，这有效地减少了无色的边缘，包括闪光阴影。虽然一些自然无色的边缘丢失，我们能够使用这种表示正确地对齐两张照片8Y. Aksoy等人闪光/无闪光对RGB边缘无阴影仅闪光见图4。对于未对准的闪光灯和无闪光灯照片对（a），我们从RGB图像梯度（b）计算无阴影边缘表示（c）插图示出了闪光图像（b）中的阴影的边缘在我们的表示（c）中消失我们使用无阴影表示来估计对准，并且在对准之后从闪光图像减去无闪光图像以得到仅闪光照明（d）。通过众包收集照片对多样化的图像对于生成具有代表性和可推广的数据集非常重要。这是一个主要的优势，驱使我们众包我们的数据集收集。我们使用亚马逊的Mechanical Turk平台招募了一大批不同类型的摄影师。使用众包术语，我们将这些任务称为人类智能任务（HIT），而摄影师则称为工作者。在这一部分中，我们列出了为收集数据集而框架. 我们众包工作的一个重要组成部分是我们用于捕获数据集的移动应用程序这款为iOS设备开发的移动应用程序使许多休闲摄影师能够在家中参与我们的我们的HIT定义详细说明了我们先前列出的照明预期，为我们的应用程序提供了链接和说明，并为每个HIT分配了唯一的标识符要求工作人员安装应用程序并在应用程序中输入HIT标识符。拍摄照片后，工作人员通过应用程序将照片上传到我们的服务器。然后，我们将土耳其机械公司和我们的服务器上的标识符进行匹配，以确认上传。补充材料中提供了HIT定义的示例场景类别。经过初步试验，我们观察到，指定场景类别指导工人找到合适的场景，并增加了参与和照片的质量这引导我们定义图2中所示的前五个这些类别被松散地定义，以允许工作人员容易地找到他们周围的匹配场景，通常在他们的家中或工作场所。对于大多数类别，我们要求工人每次拍摄十张照片。我们在下面的人员类别中提供更多详细信息。并不是所有的工作人员都严格遵循类别定义，因此，我们为不适合其他地方的照片添加了最后一个类别对象人员类别。土耳其机械公司的工人通常独自工作。这使得需要拍摄其他人的HIT更具挑战性。闪光灯和环境光照明对9此外，两张照片之间的主体移动使得对准过程更加困难。然而，由于闪光灯的主要用例之一一个独特的指示是，我们要求工人从不同的角度拍摄同一个人的五张照片，而不是要求不同的人拍摄十张这使得工作者更快地完成每个HIT我们要求工作人员指示拍摄对象在拍摄过程中保持静止，但拍摄对象通常无法做到这一点，特别是由于闪光灯。这使得我们不得不丢弃的肖像照片的比例高于平均水平。拥有同一个人的五张照片增加了使用至少一个姿势的机会，因此不会浪费工作人员我们还要求工作人员解释我们的数据集收集工作，并从受试者那里获得明确的确认以参与研究，以及避免拍摄未成年人。补偿和噪声。并不是我们收到的所有照片都包含在我们的数据集中。一些常见的问题是在非常黑暗或非常明亮的环境中拍摄的照片除此之外，亦有工人不上载任何照片或多次上载同一场景的情况在这种情况下，我们直接与工人联系，通常得到积极的回应。我们保留了从工人那里收到的图像的三分之一我们把赔偿金定为一美元。每击1美元5行动中的数据集：光照分解闪光摄影中的先前工作集中于使用匹配的闪光灯对[8，27]或组合多个闪光图像[24]来改善低环境光虽然这些方法专注于通过组合多个图像来估计一个高质量图像，但数据驱动方法允许解决更困难但也更一般的问题。为了测试我们的数据集，我们提出了一个数据驱动的方法来照明decom-位置作为未来工作的基线照明分解的目标是从单个闪光照片中估计和分离环境照明和闪光照明我们定义的应用程序的情况下，包括典型的闪光照片，在黑暗的环境中采取的。我们通过组合数据集中的照明对来生成输入图像，以模拟如图3所示的暗环境。环境照明和闪光照明则用作地面真实。照明分解是一个约束不足的问题，即使当照明之一是来自闪光灯。我们提出了几种策略，我们发现是有用的，在解决这个问题，并提出出现的挑战我们使用标准架构来测试我们的数据集，并表明尽管分解问题远未解决，但使用我们的数据集训练的网络可以帮助编辑遗留照片。10Y. Aksoy等人网络结构和实施细节我们采用了由Isola等人提出[14]对于一般的图像到图像的转换和实验，具有用于损失函数的几个备选方案和对比率图像的估计，如在本节的其余部分中详细描述的网络的生成器部分利用具有八个卷积-反卷积层对和跳过连接将全分辨率信息传递到下一阶段。它预测r_i 〇图像r_a，其中使用r_i 〇图像r_a来重建估计的环境。我会让我在我的房间里。我们是亚当求 解 器 [16] ， 初 始 学 习 率 为2· 10−4，用于训练主−6网络和2·10的较低速率来训练机器人我们每30个epochs将学习率降低10倍，并在150个epochs后终止训练，这在我们的设置中大约需要2个小时包括所有其他处理的前向传递对于交互式应用来说足够快。图五.网络结构中的损耗用橙色表示。我们观察到，直接估计环境或闪光照明导致高频细节和周期性噪声结构的丢失试图通过联合滤波（例如域变换[10]）来校正此类伪影，要么无法去除此类伪影，要么会使图像过平滑。代替直接估计的照明，我们选择首先估计比率图像的中间表示。受面部重新照明文献[6，26]中比率图像的使用的启发，我们将网络的输出定义为输入图像Im与环境照明Ia之间的比率。尽管如何计算该比率的确切定义对网络没有实质性影响，但我们将该比率定义为范围[0， 1]并相应地计算估计的环境照明：2·（Ia+1）1r= −I=3·（ra+Im ra）+Im−1（一）a3·（Im+1）3a 2上述伪影也出现在比率图像中，但是当应用域变换时，我们能够在不损失输出环境照明中的高频细节的情况下去除它们。使用比率图像的另一个优点是易于放大。网络工作在图像的缩小版本上，并且我们在域滤波之前放大比率图像通过这种方式，我们能够生成高分辨率输出，而无需将全分辨率图像馈送到网络。图6显示了我们的工作流程。目标I输出IFF知觉丧失P重建损失E输入IMU-net 256比率r一输出I比率ra目标I一...比率损失R重建损失E知觉丧失P对抗性损失α鉴别器混合环境FlashCONVCONVCONV-TCONCATCONV-TTANH闪光灯和环境光照明对1122a）输入（HD）b）原始输出c）原始比率d）滤波比率e）滤波输出f）HD输出图六、高分辨率输入图像（a）被下采样并馈送到网络中环境照明图像输出可能包含残余噪声（b），其将在其他平滑比率图像（c）中突出我们使用输入图像作为引导（d）对比率图像进行滤波，同时保留其边缘重建图像没有噪声（e）。使用相同的方法将输出上采样到原始高分辨率（f）。在每个时期，我们通过随机采样α（图3）来生成输入图像，以确定环境照明与闪光灯相比有多暗这使得学习过程对不同的光照条件更加鲁棒我们还随机裁剪，旋转，翻转和缩放每个时期的图像，然后将其输入网络。损失函数原始的Pix2Pix [14]结合了对抗损失A和L1损失R：R=ra−ra1，（2）我们称之为比率损失，因为网络的输出是我们方法中的比率除此之外，我们还定义了一个L2损失，它适用于在ion和fl处的bthetimatedambientilluminionIf=Im−Ifa：E=I−I2+I− I2。（三）a a2f f 2我们观察到，虽然等式3的两项是相关的，但是包括闪光灯和环境照明两者的损失导致更好的性能。我们还测试了由Sajjadi等人提出的感知损失P。[29]保持感知的图像质量：P=P（Ia，Ia）2+P（If，If）2（四）其中P从预先训练的网络中提取特征[19]。我们在实验中将这些损失的一个子集与经验确定的权重100·R + 1000·E +1000·P+A相结合。我们已经测试了这些损失函数的几种组合的定量结果，结果总结在表1中。我们观察到，对抗性损失A的使用导致强高频噪声。另一方面，使用感知损失P导致一些图像区域的颜色偏移去除损失R或E通常导致与基线RE类似的结果，因为它们是相关的度量。然而，我们得到了最好的视觉以及定量结果使用这两种损失。12Y. Aksoy等人表1.估计环境照度的测试误差峰值信噪比（dB）SSIMαRERERepREARERERepREA0.115.22014.80114.70815.16314.0990.5830.5160.5050.5670.3340.318.04617.33817.28817.67616.4310.7200.6380.6340.6940.4270.520.26119.19919.33319.56818.1160.8040.7070.7160.7730.495定性评估图7示出了展示所提出的照明分解方法的优点和缺点的若干示例。例如，网络估计环境照明的均匀照明，以及闪光照明的暗背景和亮前景（图中的绿色高亮即使当输入图像中的环境照明非常暗时，诸如在（1，2，5）中，估计的环境照明也是均匀且明亮的。来自闪光灯的高光通常被网络很好地检测到，如示例（3、4）中所示然而，存在若干限制。闪光高光可能渗入估计的环境照明（2，5）中，或者闪光⑴和环境⑷阴影不能可靠地分离。在分析了我们的结果之后，我们认为一种更专用的面部图像方法将是有用的。在一些图像中，我们的网络更善于识别面部的高光，但错过了更微妙的环境照明细节（3）。在其他情况下，它可能无法产生令人满意的环境光，特别是如果环境是黑暗的（5）。随着各种各样的图像，一些不寻常的例子也出现了。例如，我们的网络在（6）中的分解中工作得很好，但在花的镜像周围会感到困惑这些例子证明了光照分解的困难。我们认为，其欠约束的性质强调需要数据驱动的ap-方法，因为它们可以潜在地从许多示例中学习闪光照明的强先验，以更好地约束问题。泛化我们在从胶片扫描的旧照片中呈现照明分解示例，以测试我们的数据集是否可以训练网络进行泛化分解。我们应用反伽马映射线性化输入图像，然后将它们送入网络。在图8中，从单个图像中，我们使用实际的闪光灯和环境照明重新创建了具有变化的环境照明的照片，我们在图3中示出了这些照片。这样，使用照明分解，艺术家可以根据需要改变环境照明。分解的照明也可以用来创造更愉快的照片，通过软化闪光灯。图9示出了这样的示例，其中分解的闪光照明被编辑以匹配环境照明的颜色，并且使环境照明更强以给予照片更自然的外观。这些例子表明，即使具有几千对的适度大小，通过允许大范围的增强，例如变化的双闪光灯和环境光照明对13输入图像闪光灯。估计的闪光环境照明。Est. 环境图7.第一次会议。使用我们的数据集的几个照明分解示例突出显示的区域（红色方块表示限制）将在正文中进一步讨论。14Y. Aksoy等人见图8。所估计的环境照明和闪光照明可以用于生成两个照明的宽范围的可能组合。图9.第九条。最初在胶片上拍摄的输入图像（a）被分解成环境图像（b）。(c)和闪光（D）照明。分解的照明可以单独编辑，然后组合以获得更令人愉快的外观（b）。我们的数据集可以用来训练一个网络，该网络可以推广到以前看不见的图像。6结论我们使用智能手机摄像头展示了一个大规模的众包闪光灯和环境照明对的集合。我们的数据集是独特的，因为它在其照片集合中提供了闪光灯和环境照明的完全分离，这与以前的数据集不同，并且由大量的照片组成我们提供了我们的数据收集管道的细节，该管道利用众包和当前智能手机不断增加的功能，设计用于不受约束的环境。我们展示了使用我们的数据集在单图像照明分解的问题，并提供进一步的研究在这条途径的鸣谢。我们要感谢Alexandre Kaspar对众包的支持，感谢James Minor和Valentin Deschaintre对这一项目的反馈，感谢MichaéelGharbi对我们的客户服务。Y. 本文是由麻省理工学院的QCRI-CSAIL计算机科学研究计划和C.Kim获得了瑞士国家科学基金会奖学金P2EZP2 168785的支持。闪光灯和环境光照明对15引用1. Adams，A.，Jacobs，D.E.，Dolson，J.，Tico，M.，普利，K.，Talvala，E.V.，Ajdin，B.，Vaquero，D.，Lensch，H.，Horowitz，M.，等：弗兰克照相机：一个实验性的平台，用于将一个复杂的图形输入到一个复杂的图形。ACM55（11），90- 98（2012）的共同体2. 阿 格 拉 瓦 尔 ， A. ， 拉 斯 卡 尔 河 Nayar ， S.K. ， 李 玉 ： 使 用gradient_t_p_o_je_t_t_o_t_o_t_o_t_o_n 和 fla_e_x_p_s_u_s_u_p_u_p_u_l_g来去除摄影伪影。 ACMTrans. Graph. 24（3），8283. Bartoli ， A. ： 分 组 几 何 和 光 度 直 接 图 像 配 准 。 IEEET 系 列PattternAnal.Mach。我告诉你。30（12）、20984. Bell，S.，Bala，K.，Snavely，N.：在野外的内在图像。ACM Trans. Graph.33（4）（2014）5. Bonneel，N.，科瓦奇湾巴黎，S.，Bala，K.：图像编辑的本征分解。 来吧。 Graph. Forum36（2），5936. 陈杰，Su，G.，他，J.，本，S.：基于局部约束全局优化的人脸图像重光照。欧洲计算机视觉会议（ECCV）（2010）7. Deng，J.，Dong，W.，索赫尔河Li，L.J.，Li，K.，李菲菲：ImageNet：一个大规模的分层图像数据库。计算机视觉和模式识别会议（CVPR）（2009年）8. Eisemann ， E. ， Durand ， F. ： 通 过 内 在 重 新 照 明 的 闪 光 摄 影 增 强ACMTrans.Graph. 23（3），6739. Evangelidis ， G. ： IAT ： 一 个 用 于 图 像 对 齐 的 Matlab 工 具 箱 。http://www.iatool.net（2013）10. Gastal，E.S.L.，Oliveira，M.M.：用于边缘感知图像和视频处理的域变换。 ACMTrans. Graph. 30（4），69：111. 他S刘瑞华：闪光和无闪光图像对的显著性检测。欧洲计算机视觉会议（ECCV）（2014）12. 许志，Sankaranarayanan，A.C.，Sunkavalli，K.，Hadap，S.：使用闪光摄影的混合照明下的白平衡。国际计算摄影会议（ICCP）（2016）13. 许志，Sunkavalli，K.，Hadap，S.，Sankaranarayanan，A.C.：使用闪光照相术的基于光源光谱的源分离在：计算机视觉和模式识别会议（CVPR）（2018）14. Isola，P.，Zhu，J.，周，T.，Efros，A.A.：使用条件对抗网络的图像到图像翻译。计算机视觉和模式识别会议（CVPR）（2017）15. Kaspar，A.，Patterson，G.金姆角Aksoy，Y.，Matusik，W.，Elgharib，M.：人群引导的合奏：我们如何为视频分割设计人群工作者ACM CHI计算机系统中的人为因素会议（2018）16. Kingma，D.Ba，J.：Adam：随机最佳化的方法国际学习表征会议（International Conference on Learning Representations，ICLR）（2014）17. 科瓦奇湾Bell，S.，Snavely，N. Bala，K.：野外阴影注释。计算机视觉和模式识别会议（CVPR）（2017）18. Krishnan，D.，Fergus，R.：暗闪光摄影。ACM事务处理图表28（3），96：119. Krizhevsky，A.，萨茨克弗岛Hinton，G.E.：使用深度卷积神经网络的ImageNet分类。在：神经信息处理系统会议（NIPS）（2012）16Y. Aksoy等人20. 莱特里湖Vanhoey，K.，Van Gool，L.：DARN：一种用于内在图像分解的深度逆残差网络在：计算机视觉应用冬季会议（WACV）（2018）21. 林，T. 是的， 我是M Belongie，S.， 嗨，J.， Perona，P.， Ramanan，D. ，Dolla'r，P.，Zitnick，C.L.：Microsoft COCO：上下文中的公用对象。欧洲计算机视觉会议（ECCV）（2014）22. 卢卡斯，B.D.Kanade，T.：一种迭代图像配准技术及其在立体视觉中的应用。国际人工智能联合会议（International Joint Conference on ArtificialIntelligence，IJCAI）（1981）23. Meka，A.， Zollhofer，M.， Ri chardt，C.， C. ：Liveintrinsicvideo. ACMTrans.Graph. 35（4），109：124. 穆尔曼湖戴维斯，A.，Kautz，J.，Durand，F.：计算反弹闪光灯的内部或外部雷达。ACMTrans.Graph. 35（6），190：125. Narasimhan，S.G.，Wang，C.，中国地质大学，Nayar，S.K.：户外场景的所有图像欧洲计算机视觉会议（ECCV）（2002）26. Peers，P.，Tamura，N. Matusik，W.，Debevec，P.：使用反射转移的后期制作面部性能重新照明ACM Trans.Graph. 26（3）（2007）27. Petschnigg，G.，塞利斯基河Agrawala，M.，Cohen，M.，Hoppe，H.，Toyama，K.：具有闪光和无闪光图像对的数字摄影。ACM事务处理图表23（3），66428. Ronneberger，O.，Fischer，P.，Brox，T.：U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议（MICCAI）（2015）29. 是我的错M 美国， S cho？l k o p f，B.， H i rsch，M. ：EnhanceNet：通过自动纹理合成来更新图像。国际计算机视觉会议（ICCV）（2017）30. 孙，J.，孙，J.，Kang，S.B.，Xu，Z.B.，唐，X.，沈希尧：Flash cut：使用 闪 光 和 非 闪 光 图 像 对 的 前 景 提 取 。 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）（2007年）31. 孙，J.，李，Y.，Kang，S.B.，沈希尧：闪光垫。ACM Trans.Graph. 25（3），77232. Vonikakis，V.，Chrysostomou，D.，Kouskouridas河Gasteratos，A.：通过局部对比度增强提高在：国际会议成像系统和技术（IST）（2012）33. Weyrich，T.Matusik，W.，Pfister，H.，Bickel，B.，Donner，C.Tu，C.，McAndless，J.，李，J.，Ngan，A.，Jensen，H.W.，格罗斯，M.：使 用 基 于 measurem_based_skin_refl_c_t_nc_e 模 型 的 人 脸 分 析 。ACMTrans.Graph. 25（3），101334. Zhou，C.，中国地质大学，Troccoli，A.，Pulli，K.：强大的立体声与闪光灯和无闪光灯的图像对。计算机视觉和模式识别会议（CVPR）（2012年）35. Zhuo，S.，Guo，D.，Sim，T.：强大的闪光去模糊功能。计算机视觉和模式识别会议（CVPR）（2010年）