SharinGAN：融合合成与真实数据的无监督几何估计新策略

标题：“合成和真实数据进行无监督几何估计的新方法”探讨的是一个关键问题，即如何在没有大量标注的情况下，训练深度学习模型，使其能够适应合成数据和真实世界的场景，特别是在人脸表面法线估计和单目深度估计这两个重要的计算机视觉任务上。传统的挑战在于，尽管合成数据易于获取且带有预设标签，但这些模型在实际应用中往往表现不佳，因为它们无法有效处理合成与真实世界间的域差距。 研究者提出了一种名为SharinGAN的新方法，该方法的核心思想是将合成图像和真实图像映射到一个共享的表示空间，这个空间包含两个域都共有的任务相关信息。他们假设图像可以分解为三个组成部分：跨合成与真实共享的通用信息（I）、合成或真实特有的领域无关信息（δ′），以及与任务紧密相关的领域特定信息（δs和δr）。真实图像和合成图像分别表达为xr = f(I, δr, δ′)和xs = f(I, δs, δ′)。 为了弥合这种域差距，他们的方法将合成图像中的与任务相关的信息δs和真实图像中的δr映射到一个共享的表示δsh，这样可以保持其他不变的特征，并让回归器专注于学习那些跨越两个域的任务相关特征。这种方法旨在通过端到端的网络训练，使模型能够在无监督条件下显著提高对真实数据的处理能力。 研究者通过实验验证了这种方法的有效性，表明它在人脸表面法线估计和单目深度估计等任务上带来了显著的性能提升，证明了将合成和真实数据结合进行无监督几何估计的潜在价值。这种方法不仅有助于克服合成数据的局限性，还可能为未来的计算机视觉任务提供更鲁棒的解决方案。