阴影去除的深度学习方法及其性能提升

1I阴影*α+I重新照明*（1-α）基于阴影图像分解的阴影去除晓乐Stony BrookUniversity纽约，11794，美国hle@cs.stonybrook.eduDimitris SamarasStony BrookUniversity纽约11794美国samaras@cs.stonybrook.edu摘要我们提出了一种新的深度学习方法来去除阴影。受阴影形成的物理模型的启发，我们使用线性照明变换来模拟图像中的阴影效果，该阴影效果允许将阴影图像表示为无阴影图像、阴影参数和哑光层的组合我们使用两个深度网络，即SP-Net和M-Net，分别预测这个系统允许我们去除图像上的阴影效果。我们在最具挑战性的阴影去除数据集（ISTD）上训练和测试我们的框架。与最先进的方法相比，我们的模型在阴影区域的均方根误差（RMSE）方面实现了40%的误差减少，将RMSE从13.3减少到7.9。此外，我们创造我影子我重新开始α：阴影蒙版我没有影子通过修改阴影参数以生成新的合成阴影图像，基于图像分解系统的增强ISTD数据集。在这个新的增强ISTD数据集上训练我们的模型，进一步将阴影区域的RMSE降低到7.4。1. 介绍只要光源被对象阻挡，就会投射阴影。阴影经常混淆计算机视觉算法，如分割，跟踪或识别。由于材料变化，阴影边缘的外观很难与边缘区分开来[27]。暗反照率材料区域很容易被误分类为阴影[18]。因此，已经提出了许多方法来识别和去除图像中的阴影。早期的阴影消除工作是基于物理阴影模型[1]。一种常见的方法是使用图像形成模型来公式化阴影去除问题，其中图像用材料性质和投射阴影的光源遮挡系统来表示因此，可以通过估计源遮挡器系统的参数，然后反转图像上的阴影效应来获得无阴影图像[10，14，13，28]。图1：通过阴影图像分解去除阴影. 无阴影图像Ishadow-free可以用阴影图像Ishadow、重光照图像Irelit和阴影蒙版α来表示。重投影图像是阴影图像的线性变换。该系统的两个未知因素是阴影参数（w，b）和阴影遮片层α。我们使用两个深度网络来估计这两个未知因素。这些方法以物理上合理的方式重新照亮阴影然而，估计这种照明模型的正确解是不平凡的，并且需要相当多的处理时间或用户辅助[39，3]。另一方面，最近发布的大规模数据集[25，34，32]允许使用深度学习方法来去除阴影。在这些情况下，以端到端的方式训练网络以将输入阴影图像映射到无阴影图像。这些方法的成功表明，深度网络可以有效地学习重新照亮阴影像素的变换。然而，阴影的实际物理属性被忽略，并且不能保证网络将学习物理上可行的变换。此外，还有众所周知的85788579由深度网络生成的图像的问题：结果往往是模糊的[15，40]和/或包含伪影[23]。 如何提高生成图像的质量是一个活跃的研究课题[16，35]。在这项工作中，我们提出了一种新的阴影去除方法，利用阴影照明建模和深度学习。根据早期的阴影去除工作，我们提出使用简化的物理光照模型来定义阴影像素和它们的无阴影对应物之间的映射。我们提出的照明模型是一个线性变换，由一个比例因子和一个附加常数-每个颜色通道-为整个阴影的本影区域这些比例因子和附加常数是模型的参数，见图。1.一、光照模型在我们的方法中起着关键作用：在参数估计正确的情况下，我们可以使用该模型从图像中去除阴影。我们提出训练深度网络（SP-Net）以自动估计阴影模型的参数。通过训练，SP-Net学习从输入阴影图像到光照模型参数的映射函数。此外，我们使用阴影遮片技术[3，13，39]来处理阴影的半影区域。我们将我们的照明模型合并到图像分解公式[24，3]中，其中无阴影图像表示为阴影图像、阴影模型参数和阴影密度蒙版的组合。这种图像分解公式允许我们重建无阴影图像，如图2所示。1.一、阴影参数（w，b）表示从阴影像素到照明像素的阴影遮片表示重投影图像和阴影图像的每像素线性组合，其产生无阴影图像。以前的工作通常需要用户帮助[12]或求解优化系统[20]以获得阴影遮罩。相比之下，我们建议训练第二个网络（M-Net），以完全自动化的方式准确预测阴影。我们在ISTD数据集[34]上训练和测试我们提出的SP-Net和M-Net， ISTD数据集是最大和最具挑战性的阴影去除数据集单独的SP-Net（无抠图）在阴影区域的RMSE方面优于最先进的[12]阴影去除29%，从13.3 9.5 RMSE。我们采用SP-Net和M-Net的完整系统进一步将整体结果提高了17%，其RMSE为7.9。我们提出的方法可以真实地修改图像中的阴影效果。首先，我们估计阴影参数和阴影蒙版从一个图像。然后，我们使用一组修改后的阴影参数将阴影添加回无阴影图像中。当我们改变参数时，阴影效果也会相应改变。以这种方式，我们可以合成额外的阴影图像，作为aug-训练数据。与在原始ISTD数据集上训练的模型相比，在ISTD加上新合成的图像上训练我们的系统，阴影区域的RMSE进一步降低了6%这项工作的主要贡献是：• 我们提出了一种新的深度学习方法来去除阴影，以简化的物理照明模型和图像分解公式为基础。• 我们提出了一种阴影图像增强方法的基础上，我们简化的物理光照模型和图像分解公式。• 我们提出的方法实现了最先进的ISTD数据集的阴影去除结果。预训练的模型，阴影去除结果和更多细节可以在以下位置找到：www3.cs.stonybrook.edu/~cvl/projects/SID/index.html2. 相关作品阴影照明模型：阴影去除的早期研究是由照明和颜色的物理建模激发的[10，9，11，6]。巴罗·特南鲍姆[1]定义了一种内在图像算法，将图像分为反射和着色的内在成分。Guo等[13]简化该模型以通过线性系统表示阴影像素和无阴影像素之间的关系他们通过配对阴影和 无阴 影区域 来估 计未知 因素 。类似 地，ShorLischinki [28]提出了阴影的照明模型，其中在像素处的照明和阴影强度之间存在仿射关系，包括4个未知参数。它们定义了两个像素带：一个在阴影区域中，一个在照亮区域中，以估计它们的参数。Finlayson等人[8]创建用于阴影检测和去除的照明不变图像。他们的工作是基于这样一种见解，即阴影像素与其亮像素的比例因子不同。Vicente等人[31，33]提出了一种阴影去除方法，其中他们建议可以通过直方图均衡将照亮区域的颜色转移到阴影区域暗影消光：由Porter& Duff [24]引入的Matting是处理软阴影的有效工具。然而，从单个图像计算阴影蒙版是不平凡的。Chuang等人[3]使用图像抠图进行阴影编辑，以在不同场景之间转移阴影。他们从静态摄像机捕获的视频中的帧序列计算阴影蒙版。Guo et al. [13]and Zhanget al. [39]两者都使用阴影蒙版作为其阴影去除框架，其中他们通过Levin等人的封闭形式解决方案来估计阴影蒙版。[20 ]第20段。8580XXXXx xx基于深度学习的阴影去除：最近发表的大规模数据集[32，34，25]使训练-从等式在图1和图2中，我们可以将无阴影像素表示为阴影像素的线性函数：使用深度学习网络来消除阴影的I无阴影（λ）=Ld（λ）R（λ）+a（λ）−1I阴影（λ）（3）Qu等人的Deshadow-Net。[25]第25话，你是谁？xxx x以端到端的方式显示他们的网络在深度网络的不同层中提取这个阴影蒙版与我们的不同，因为它包含阴影的密度和颜色偏移。Wanget al. [34]对于阴影检测和去除是一种条件。我们假设这种线性关系在相机的颜色采集过程中保持不变[7]。因此，我们可以将点亮像素x的颜色强度表示为其阴影值的线性函数：I无阴影（k）=wk×I阴影（k）+bk（4）X x基于GAN的框架[15]用于阴影检测和的拔除.他们的框架被训练为以统一的方式预测阴影掩模和无阴影图像，他们使用GAN损失来提高性能。受早期工作的启发，我们的框架输出无阴影图像的基础上，物理启发的阴影照明模型和阴影哑光。然而，我们通过两个深度网络以完全自动化的方式估计模型和阴影蒙版的参数3. 阴影和图像分解模型3.1. 阴影照明模型让我们从描述阴影照明模型开始。我们的目标是找到一个映射函数T，将阴影像素Ishadow转换为它的非阴影对应物：Ishadow-free=T（Ishadow，w）其中w是其中，Ix（k）表示图像上的像素x的值年龄I在颜色通道k（k∈R，G，B颜色通道）中，bk是相机对直接照明的响应，并且wk负责环境照明的衰减因子。在这个颜色通道中的这个像素处。我们独立地对每个颜色通道进行建模，以考虑阴影中材料以及传感器的可能不同的光谱特性我们进一步假设两个向量w为[wR，wG，wB]和b= [bR，bG，bB]在阴影的本影区域中的所有像素x上是恒定的。在此假设下，我们可以使用线性回归容易地估计给定阴影和无阴影图像的w和b的值在本文的其余部分中，我们将（w，b）称为阴影参数节中4，我们证明了我们可以训练一个深度网络来从单个图像中估计这些向量。该模型T的形式已经在预处理中进行了深入的研究。如第二节中所述的可见工作。二、在本文中，类似于Shor Lischin-ski [28]的模型，我们使用线性函数来对照亮和阴影像素之间的关系进行建模。点亮的像素的强度被公式化为：Ishadow-free（λ）=Ld（λ）Rx（λ）+La（λ）Rx（λ）（1）其中Ishadow-free（λ）是从点x反射的强度在波长λ处的场景中，L和R是照度和反射率，Ld是直接照明，La是环境照明。为了在点x上投射阴影，遮挡器阻挡了直接照明和一部分环境照明3.2. 阴影图像分解系统我们将我们提出的阴影照明模型插入以下众所周知的图像分解系统[3，24，30，36]。系统使用阴影图像、阴影参数和阴影蒙版对无阴影图像进行建模。无阴影图像可以表示为：Ishadow-free=I shadow·α+I relit·（1−α）（5）其中Ishadow和Ishadow-free分别是阴影和无阴影图像，α是抠图层，Irelit是重新点燃的形象。我们定义α，并在下面重新定义通过下式计算重新照明图像Irelt的每个像素iIrelit=w·I shadow+b（6）否则会到达x。i i处的阴影强度X是：I阴影（λ）=ax（λ）La（λ）Rx（λ）（2）该阴影图像是由等式1的照明模型变换的阴影图像4.第一章此变换将阴影像素映射到其无阴影值。X x抠图层α表示每像素系数其中αX（λ）是指示以波长λ到达点X的环境照明的剩余部分的衰减因子。注意，Shor Lischinski进一步假设对于所有波长λ，λ（λ）是相同的，以简化他们的模型。该假设意味着环境光从所有方向具有相同的颜色。8581得到无阴影图像的重新照明图像和输入阴影图像的线性组合的最小值。理想地，α的值在非阴影区域处应为1，在阴影区域的本影处应为0。对于阴影半影中的像素，α值在阴影边界附近逐渐变化。8582我影子回归损失我重新开始我没有影子[w，SP-NETM-Net西鲱掩模西鲱哑光w*I阴影+b重构损失图2：阴影消除框架。阴影参数估计器网络SP-Net将阴影图像和阴影掩模作为输入以预测阴影参数（w，b）。然后经由等式（1）计算relit图像Irelit6使用来自SP-Net的估计参数。然后，将重投影图像与输入阴影图像和阴影掩模一起输入到阴影遮板预测网络M-Net中以获得阴影遮板层α。系统通过等式（1）输出无阴影图像。5、使用阴影图像、重投影图像和阴影蒙版。SP-Net学习预测阴影参数（w，b），表示为回归损失。M-Net学习最小化系统输出和无阴影图像之间的L1距离（重建损失）。基于阴影图像、无阴影图像和重投影图像的像素i处的α值由等式：第五章：Iishadow-free−Ii relitαi=（7）我影子-我重新点燃为了训练SP-Net，我们首先生成训练数据。给定阴影图像和无阴影图像的训练对，我们使用最小二乘法估计我们的线性照明模型的参数[4]。对于每个阴影图像，我们首先将阴影掩模侵蚀5个像素，以便去我我对不包含部分阴影的区域进行我们使用方程的图像分解5我的影子移除框架未知因素是阴影参数（w，b）和阴影蒙版α。我们在下面的部分中介绍了使用两个深度网络SP-Net和M-Net来预测这两个因素的方法。节中5.3中，我们提出了一种简单的方法来修改图像的阴影，以增加训练数据。4. 阴影消除框架图2总结了我们的框架。阴影参数估计器网络SP-Net将阴影图像和阴影掩模作为输入来预测阴影参数（w，b）。然后经由等式（1）计算relit图像Irelit6与SP-Net的估计参数。然后将重映图像与输入阴影图像和阴影掩模一起输入到阴影遮片预测网络M-Net中以获得阴影遮片α。系统通过等式：五、4.1. 阴影参数估计网络为了恢复阴影像素处的照明强度，我们需要估计方程中的线性模型的参数。4.第一章先前的工作已经提出了不同的方法来估计阴影照明模型的参数[28，12，13，11，8，6]。本文中，我们训练SP- Net，一种深度网络模型，直接从输入的阴影图像中预测阴影参数。（半影）像素。将这些阴影像素值映射到无阴影图像中的相应值，给出了一个线性回归系统，从中我们计算w和b。我们计算三个RGB颜色通道中的每一个的参数，然后结合学习的系数形成一个6元素向量。该向量用作训练SP-Net的目标输出。SP-Net的输入是输入阴影图像和相关联的阴影掩模。我们训练SP-Net以最小化网络输出与这些计算的阴影参数之间的L1我们通过定制在ImageNet [5]上预训练的ResNeXt[37]模型来请注意，虽然我们使用地面真实阴影掩模进行训练，但在测试期间，我们使用Zhu等人提出的阴影检测网络来估计阴影掩模。[41]。4.2. 阴影蒙版预测网络我们的线性照明模型（Eq.4）可以重新照亮本影区域中的像素（完全阴影）。半影（部分阴影）区域中的阴影像素更具挑战性，因为照明在阴影边界上逐渐变化[14]。二元阴影掩模不能模拟这种渐变。因此，使用等式（1）中的分解模型内的二进制掩模。5将生成具有可见边界伪影的图像。一个解决方案是阴影遮片，其中软阴影效果通过混合层的值来8583输入Relit Shad。使用S.Mask Shad进行遮罩使用S.哑光进行哑光图3：地面真实阴影蒙版和阴影蒙版的比较。 从左到右：输入图像、根据经由SP-Net估计的参数计算的重投影图像、地面实况阴影掩模、使用阴影掩模时的最终结果、使用我们的M-Net计算的阴影遮片以及使用阴影遮片来组合输入和重投影图像时的最终无阴影图像。蒙版层处理软阴影，并且不会在最终结果中生成可见边界（请在数字设备上放大查看，以便更清楚地看到差异。）在本文中，我们训练了一个深度网络M-Net来预测这个铺垫层。为了训练M-Net，我们使用Eq。5来计算我们的框架的输出，其中阴影蒙版是M-Net的输出然后，驱动M-Net训练的损失函数是输出图像与地面真实训练无阴影图像之间的L1距离，在图中标记为二、这等同于通过等式1计算阴影遮片的实际值。7，然后训练M-Net直接输出该值。图3说明了我们的阴影消光技术的有效性。我们在图中显示了两个阴影去除结果，它们分别使用地面真实阴影掩模和阴影遮片计算。这个阴影蒙版是由我们的模型计算的。可以看出，使用二元阴影掩模来形成无阴影图像产生了可见的边界伪影，因为它忽略了半影。我们的模型中的阴影蒙版很好地捕捉了软阴影，并生成了没有阴影边界伪影的图像。我们在U-Net的基础上设计了M-Net [26]。M-Net的输入是阴影图像、重映图像和阴影遮罩。我们使用阴影遮罩作为M-Net的输入，因为抠图层可以被认为是松弛的阴影遮罩，其中每个值表示阴影效果的强度。而不仅仅是影子的存在。5. 实验5.1. 数据集和评估指标我们在ISTD数据集上进行训练和评估[34]。ISTD由图像三元组组成：阴影图像、阴影掩模和无阴影图像，从不同的场景捕获。训练分割具有来自135个场景的1870个图像三元组，而测试分割具有来自45个场景的540个三元组。我们注意到ISTD数据集的测试集需要调整，因为阴影图像和无阴影图像具有不一致的颜色。这是原论文[34]中提到的一个众所周知的问题。原因是阴影和无阴影图像对被捕获沙德 图像原始GT校正GT图4：我们的颜色校正方法的一个例子。从左至右：输入阴影图像，提供阴影-自由地面真值图像（GT）从ISTD数据集，和GT图像校正我们的方法。与仅在非阴影区域上的输入阴影图像相比，原始GT的均方根距离为12.9。我们校正后的GT上的这个值变为2.9。在一天中的不同时间，这导致每个图像的环境光例如，图4示出了阴影和无阴影图像对。在非阴影区域中这两个图像之间的均方根差为12.9。这种颜色不一致经常出现在ISTD数据集的测试集中。在整个测试集上，阴影图像与非阴影区域中的无阴影图像之间的均方根距离为6.83，如Wang等人所计算的。[34]。为了减轻这种颜色不一致性，我们使用线性回归来将每个无阴影图像的非阴影区域中的像素值映射到阴影图像中的对应值。我们对每个颜色通道使用线性回归，类似于我们在秒中重新照明阴影像素的方法。4.1. 这种简单的变换将阴影图像的色调和亮度转换为无阴影图像。图的第三列。4说明了我们的颜色校正方法的效果。我们提出的方法将无阴影图像和阴影图像之间的均方根距离从12.9减小到2.9。ISTD的整个测试集的误差减少从6.83到2.6。85845.2. 阴影消除评估我们评估我们的方法调整的测试集的ISTD数据集。对于度量评估，我们遵循[34]并计算LAB颜色空间中阴影区域、非阴影区域和整个图像的RMSE，其中所有阴影去除结果被重新调整大小为256×256，以与该大小的地面实况图像进行注意与仅在该分辨率下输出无阴影图像的其他方法相比，我们的阴影去除系统适用于任何大小的输入图像。由于我们的方法需要阴影掩模，我们使用的模型提出了朱等。[41]在SBU数据集[32]上进行预训练，用于检测阴影。我们采用作者提供的模型，并在ISTD数据集上对它进行3000个时期的微调。该模型在ISTD测试集上达到2.2的平衡错误率。为了去除图像中的阴影效应，我们首先使用SP-Net使用输入图像和从阴影检测网络计算的阴影掩模来计算阴影参数（w，b）我们使用（w，b）来计算输入到M-Net的重新点亮的图像，连同输入图像和阴影掩模一起输出哑光层。我们通过Eq.五、在表1中，我们比较了我们的方法的性能与最近的阴影去除方法的郭等。[13]，Yanget al.[38]，Gongetal.[12]和Wanget al.[34]。所有数字都在调整后的测试图像上计算，以便直接进行第一行示出了输入阴影图像的编号，即不执行阴影去除。我们首先评估我们的阴影去除性能只使用SP-网，即。我们使用由阴影检测器计算的二进制阴影掩模来从阴影图像和重映图像形成无阴影图像。二进制阴影掩模通过简单地阈值化阴影检测器的输出以0.95的阈值来获得。如图中“SP-Net”栏（右数第三个）所示。8、SP-Net正确估计阴影参数以重新照亮阴影区域。即使有可见的阴影边界，SP- Net单独优于以前的国家的最先进的，减少了29%的阴影面积的RMSE，从13.3至9.5。然后，我们使用SP-Net和M-Net评估阴影去除结果1和图8. 如图8、M-Net的结果不包含边界伪影。在图的第三行。8，SP-Net过度重亮阴影区域，但从M-Net计算的阴影蒙版有效地纠正了这些错误。这是因为M-Net被训练为混合重新照明和阴影图像以创建无阴影图像。因此，M-Net学习为SP-Net过度照亮的像素输出较小的权重使用M-Net的哑光层进一步将阴影区域的RMSE降低了17%，从9.5降至7.9。总的来说，我们的方法比其他方法产生更好的结果。我们的方法在估计Wanget al.[34]第三十四话图5：我们的方法和ST-CGAN之间的阴影去除比较[34]。ST-CGAN往往会产生模糊的图像，随机的文物，和不正确的颜色的照明像素，而我们的方法处理所有的情况下很好。与Gong等人的模型相比，其倾向于过度地重新照亮阴影像素，如图2所示。8.我们的方法不显示颜色不一致，在relit区域与所有其他方法相反图5定性地比较了我们的方法和ST-CGAN，这说明了深度网络生成的图像中存在的常见问题[15，40]。ST-CGAN通常生成模糊图像并引入随机伪影。我们的方法虽然不完美，但处理所有情况都很好。我们的方法不能正确地恢复无阴影像素，如图所示。六、第一行显示了我们的方法如何过度地重新照亮阴影区域，而在第二行中，照亮区域的颜色不正确。最后，我们训练并评估了两种不需要阴影掩模作为输入的替代设计：（1）第一种是端到端阴影去除系统，其中我们与我们提出的SP-Net和M-Net-起联合训练阴影检测器由于网络参数数量的增加，该框架更难训练。(2)第二个是我们的框架版本，它不将阴影掩码输入SP-Net和M-Net。因此，SP-Net和M-Net需要学习隐式地定位阴影区域8585表1：我们的网络的阴影去除结果与调整后的地面实况上的最先进的阴影去除方法一致。（*）Gong et al的方法。[12]是一种交互式方法，定义了阴影/非阴影。阴影区域，从而在非阴影区域上产生最小误差。RMSE（the lower，the better）。最佳结果以粗体显示。我们的方法与替代设置带着剃须刀。检测器8.4 5.0 5.5无输入阴影遮罩8.3 4.9 5.4输入我们的GT图6：我们的方法的失败案例。 在第一行中，我们的方法过度照亮了阴影区域。在第二排，合成词图像真实图像合成器。图像wsyn=w × 0. 8wsyn= w × 1。7图7：通过我们的分解模型进行阴影编辑。我们使用Eq。8以生成合成阴影图像。当我们改变阴影参数时，阴影效果也会相应地改变。我们展示了来自ISTD训练集的两个示例图像，其中中间列是原始图像，第一列和最后一列是合成图像。表2：我们的网络在增强的ISTD数据集上训练的阴影去除结果。RMSE（the lower，the better）。在增强的ISTD数据集上训练我们的框架将阴影区域的RMSE从7.9降至 7.4。方法火车设置沙德非剃须膏所有SP-Net八月ISTD9.03.24.1SP+M-Net八月ISTD7.43.13.8如果我们使用（w，b），我们可以通过以下方式形成阴影图像Ishadow=I shadow-free·α+I darkened·（1−α）（8）其中I变暗已经经历了与阴影参数（w，b）的集合相关联的阴影效果。I变暗的每个像素i通过以下公式计算：I变暗=（Ishadow-free−b）·w−1（9）我我我们的方法产生不正确的颜色。如在Tab的两个底部行中可以看到的。1，这两个设计实现了略差的阴影去除效果比我们的主要设置。5.3. 通过阴影编辑增强数据集许多深度学习工作专注于从更容易获得的、弱监督的或合成的数据中学习[2，19，21，22，29，18，17]。在本节中，我们展示了我们可以使用我们提出的照明模型来修改阴影效果，以生成额外的训练数据。给定阴影蒙版α、无阴影图像和pa，对于每个训练图像，我们首先通过等式1计算阴影参数和哑光层。4和7。然后，我们生成一个新的合成阴影图像通过方程。8，缩放因子wsyn=w×k。 参见图7，较低的w导致具 有 较浅 阴 影 区域 的图像，而较低的w导致具有较浅阴影区域的图像。更高的w反而增加了阴影效果。使用这种方法，我们通过简单地选择k= [0]来增加ISTD训练集。八比零。九，一。一，一。2]生成一组新的5320张图像，这是原始训练集的四倍。我们用这个数据集来扩充原始的ISTD数据集。在这个新的增强ISTD数据集上训练我们方法阴影非阴影所有输入图像40.22.68.5Yang等[38个]24.714.416.0Guo等[13个国家]22.03.16.1Wang等人[34个]13.47.78.7Gong等[12个]13.32.6*4.2SP-Net（我们的）9.53.24.1SP+M-Net（我们的）7.93.13.98586的模型可以改善我们的结果，因为RMSE下降了6%，从7.9下降到7.4，如表1所示。二、8587输入Guo等Yang等Gong等Wang等人SP-NetSP+M-Net地面[13个国家][38个][12个][34个]（我们的）（我们的）真相图8：ISTD数据集上阴影去除的比较。我们的方法与以前最先进的方法之间的定性比较：Guo等[13]，Yanget al.[38]，Gonget al. [12]和Wanget al. [34]。“SP-Net”是使用从SP-Net和二进制阴影掩模计算的参数的阴影去除结果。“SP+M-Net” are the shadow removal results using the parameters computed from SP-Net and the shadow matte computedfrom6. 结论在这项工作中，我们提出了一个新的框架，在单一的图像阴影去除。我们的主要贡献是使用深度网络作为照明模型的参数估计器。我们的方法比以前的方法有优势。与使用光照模型来去除阴影的传统方法相比，我们的深度网络可以从单个图像中准确自动地估计模型的参数。与通过端到端映射执行阴影去除的深度学习方法相比，我们的阴影去除框架输出高质量且无伪影的图像，因为我们不使用深度网络来输出每像素值。我们的模型清楚地实现了最先进的阴影去除ISTD数据集上的结果。我们目前的方法可以以多种方式扩展。物理上更合理的照明模型将有助于框架输出更逼真的图像。 通过物理照明模型开发用于阴影编辑的基于深度学习的框架也将是有用的。鸣谢。这项工作得到了NSF EarthCube计划（Award1740595）、National Neographic/Microsoft AI for Earth计 划 、 PartnerUniversityFund 、 SUNY2020Infrastructure Trans- portation Security Center和Adobe的部分支持。由高级计算科学研究所提供的计算支持和NVIDIA捐赠的GPU我们感谢托马斯·维森特对手稿的帮助8588引用[1] Harry G. Barrow和J.马丁·特南鲍姆从图像中恢复场景的内在特征。计算机视觉系统，第3-26页，1978年。一、二[2] Joachim M.布曼弱监督结构化输出学习语义分割。在IEEE计算机视觉和模式识别会议，CVPR'12，2012中。7[3] 放大图片创作者：David H.Salesin和Richard Szeliski。阴影铺垫和合成。ACM Transactions on Graphics，22（3）：494-500，2003年7月。SIGGRAPH 2003年论文集特刊。一、二、三[4] R.丹尼斯·库克线性回归中有影响的观测值、高杠杆点和离群值。统计科学，第393-397页，1986年。4[5] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。ImageNet：一个大规模的分层图像数据库。IEEE计算机视觉与模式识别会议论文集，2009年。4[6] Mark S. Drew.利用光照不变性恢复无阴影的色度图像。在IEEE计算机视觉中的颜色和光度学方法研讨会上，ICCV 03，第32-39页，2003年。二、四[7] Graham Finlayson，Maryam Mohammadzadeh Darrodi，and Michal Mackiewicz.基于秩的相机光谱灵敏度估计。光学学会杂志Am. A，33（4）：589-599，2016年4月。3[8] Graham Finlayson，Mark Drew，and Cheng Lu.熵最小化的阴影去除。国际计算机视觉杂志，2009年。二、四[9] 格雷厄姆·芬莱森和马克·S. Drew. 4-传感器摄像机校准，用于不受阴影、阴影、照明和镜面反射影响的图像表示。在Proceedings of the International Conference onComputer Vision，第2卷，第473-480页，第2卷，2001年7月。2[10] Graham Finlayson，S.D.Hordley、Cheng Lu和M.S.Drew.关于去除图像中的阴 影IEEE Transactions on PatternAnalysis and Machine Intelligence，2006。一、二[11] 放大图片作者：Steven D. Hordley，and Mark S. Drew.去除图像中的阴影。欧洲计算机视觉会议论文集，ECCV'02，第823-836页，英国伦敦，英国，2002年。史普林格出版社二、四[12] 韩功和达伦·科斯克。交互式删除和地面实况困难的阴影场景。 J. 选购配件Soc. Am.A，33（9）：1798-1811，2016. 二四六七八[13] Ruiqi Guo，Qieyun Dai，and Derek Hoiem.用于阴影检测和去除的配对区域 。IEEE Transactions on PatternAnalysis and Machine Intelligence，2012。一、二、四、六、七、八[14] 黄翔，华刚，J.Tumblin和L.威廉姆斯太阳和天空下的阴影边界的特征是什么？2011年国际计算机视觉会议论文集。1、4[15] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，2017年。二、三、六[16] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GANs的逐步增长，以提高质量，稳定性和变化。在2018年国际学习代表会议上。2[17] Hieu Le、Bento Goncalves、Dimitris Samaras和HeatherLynch。弱标记抗凝剂：企鹅群的案子。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2019年6月。7[18] Hieu Le，Thomas F. Yago Vicente，Vu Nguyen，MinhHoai，and Dimitris Samaras.A+D Net：使用对抗性阴影衰减训练阴影在2018年欧洲计算机视觉会议论文集。1、7[19] Hieu Le ， Chen-Ping Yu ， Gregory Zelinsky ， andDimitris Samaras.具有类别一致特征和测地距离传播的协同定位。 在ICCV 2017 CEFRL研讨会：计算机视觉中的紧凑高效特征表示和学习，2017年。7[20] A. Levin，D. Lischinski和Y.韦斯一个封闭形式的解决方案，以自然图像抠图 。IEEE Transactions on PatternAnalysis and Machine Intelligence，30（2）：228-242，2008。2[21] SiLiu，Jiashi Feng，Csaba Domokos，Hui Xu，JunshiHuang，Zhenzhen Hu，and Shuicheng Yan.弱颜色类别标签的时尚解析。IEEE Transactions on Multime-dia，16：253-265，2014。7[22] Yang Liu，Zechao Li，Jinhui Tang，and Hanqing Lu.基于弱监督对偶聚类的图像语义分割。2013年IEEE计算机视觉和模式识别会议，第2075-2082页，2013年。7[23] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill，2016. 2[24] 托 马 斯 · 波 特 和 汤 姆 · 达 夫 合 成 数 字 图 像 。 ACMSIGGRAPH计算机图形会议论文集，18（3），1984年1月。二、三[25] 曲良琼，田建东，何胜峰，唐延东，和Rynson W.H. 刘Deshadownet：一个用于阴影消除的多上下文嵌入深度网络。在IEEE计算机视觉和模式识别会议上，2017年。第1、3条[26] O. Ronneberger，P.Fischer，and T.布洛克斯U-net：用于生物医学图像分割的卷积网络。在Proceedings of theInternational Conference on Medical Image ComputingandComputerAssistedIntervention ， volume9351ofLNCS，pages 2345[27] 王诗婷和郑红。基于灰度的单色图像阴影边缘检测在International Conference on Mechatronic Sciences ，Electric Engineering and Computer，第1038-1041页1[28] Yael Shor和Dani Lischinski。阴影与遮罩相遇：基于金字 塔 的 阴 影 消 除 。 Computer Graphics Forum ， 27（2）：577-586，April 2008. 一、二、三、四[29] Ashish Shrivastava、Tomas Pfister、Oncel Tuzel、JoshSusskind、Wenda Wang和Russ Webb。通过对抗训练从模拟和无监督图像中学习在IEEE计算机视觉和模式识别会议论文集，2016。7[30] Alvy Ray Smith 和 James F. 布 林 蓝 屏 抠 图 。 ACMSIGGRAPH计算机图形会议论文集，1996年。38589[31] 托马斯湾亚戈·维森特，明怀，迪米特里斯·萨马拉斯。用于阴影检测和去除的留一核优化IEEE Transactions onPattern Analysis and Machine Intelligence，40（3 ）：682-695，2018。2[32] 托马斯湾Yago Vicente，Le Hou，Chen-Ping Yu，MinhHoai，and Dimitris Samaras.大规模训练阴影检测器与噪声注释阴影的例子。在2016年欧洲计算机视觉会议上一、三、六[33] 托马斯湾亚戈·维森特和迪米特里斯·萨马拉斯通过基于邻域的区域重新照明去除单幅图像阴影在2014年欧洲计算机视觉研讨会会议记录中。2[34] Jifeng Wang，Xiang Li，and Jian Yang.用于联合学习阴影检测和阴影去除的堆叠条件生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，2018。一二三五六七八[35] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.用条件gans实现高分辨率图像在IEEE计算机视觉和模式识别会议论文集，2018。2[36] 史蒂夫·赖特。 电影和视频的数字合成。 在Focal Press，2001. 3[37] Saining Xie ， Ross Girshick ， Piotr Dollar ， ZhuowenTu，and Kaiming He.深度神经网络的聚合残差变换。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。4[38] Qingxiong Yang，Kar Han Tan，and Narendra Ahuja.使用双边滤波去除阴影。IEEE图像处理学报，21：4361-4368，2012。六七八[39] L.张，智-地Zhang和C.萧阴影消除器：基于光照恢复优化 的 图 像 阴 影 去 除 。 IEEE Transactions on ImageProcessing，24（11），No