局部深度和流估计的散焦均衡滤波器在日常摄影中的应用

1input1input2深度流深度流input1input2深度流深度流首页>外文书>文学>西洋文学> Defocus in the Wild唐慧璇1斯科特科恩2布赖恩普莱斯2 斯蒂芬席勒2基里亚科斯N。Kutulakos11多伦多大学2Adobe Research图1：从两张Nexus N5手机照片中，我们联合估计了局部深度和2D流的似然函数，这些照片表现出微小的散焦模糊和显著的帧间运动。这些可能性是独立于非常小的9×9像素块计算的（参见插图，并放大到电子副本的实际大小）。其中，只有稀疏子集与高置信度深度相关联，流（在中间以颜色编码我们使用这些非常稀疏的局部估计来推断密集的深度和流量，以产生清晰的边界并尊重深度顺序关系（最右边的图像）。请注意，在花朵的密集深度图中保留了清晰的边界和薄结构;在其流动图中捕获了空间变化的叶子变形;从一对几乎没有纹理的自拍中恢复了深度和流动;以及受试者下巴周围的气流，由面部表情的轻微变化引起。摘要我们考虑在不适合现有方法但又是日常摄影的典型的条件下，由散焦引起的两帧深度的问题：非静止场景、手持手机相机、小孔径和稀疏场景纹理。我们的方法的关键思想是结合局部估计的深度和流量在非常小的补丁与全球分析的图像内容-3D表面，变形，图形-地面关系，纹理。为了实现局部估计，我们（1）推导出新颖的散焦均衡滤波器，该滤波器引起跨帧的亮度恒定性，以及（2）通过适当地对第二输入帧的相机重新聚焦，对散焦模糊施加严格的上限-半径仅为三个对于全局分析，我们使用了一种新的基于样条的场景表示，可以传播深度和流量在大的不规则形状的区域。我们的实验表明，这种组合保留了清晰的边界，并产生良好的深度和流量图在面对显着的噪音，非刚性，和数据稀疏。1. 介绍从散焦中恢复深度的技术-从场景的两个不同聚焦的图像中恢复深度图-在计算机视觉中已经被广泛研究了近三十年[1，9，19，22，31，36]。 虽然基本的-这种技 术 背 后 的 理 论 是 众 所 周 知 的 ， 但 是 离 焦 深 度（DFD）在实践中的应用有限，因为它被广泛地理解为需要静态场景、密集的表面纹理和具有显著离焦模糊的图像。这些假设很少在“野外”成立，在野外，相机是手持的，通常在手机上;镜头孔径很小;场景中的表面可能会移动或变形;并且场景纹理通常不受约束。在本文中，我们展示了如何在这样具有挑战性的条件下从最小输入计算DFD：两张用手机拍摄的无限制场景的照片，具有视觉上难以察觉的散焦模糊，并且是快速连续拍摄的（图1）。该方法与最近用于移动相机的被动深度估计技术（例如，深度从焦点堆栈[24，26]和结构从运动[8，35]），这需要几十张照片和长时间的移动来捕获可靠的深度图，并且不能处理非刚性场景变形。具体而言，我们应对以下挑战：– 微小的模糊：手机摄像头的光圈很小，相对于图像大小，产生的散焦模糊很小– 场景变形：由于一对镜头之间的运动通常是不可避免的，因此2D流估计和DFD紧密耦合并且不能独立地求解;– 稀疏散焦：散焦模糊仅在强纹理和亮度边缘的邻域中可观察到，这两者在一般场景中可能是稀疏的;– 深度不连续性：薄构造和深度不连续体经常出现，必须稳健地处理;– 图形-背景模糊性：即使当散焦可以在孤立的亮度边缘处测量时，它也不能完全约束局部场景几何形状（例如，表面标记和深度不连续性是不可区分的）。27402741场景 相机 ISO 深度范围 运动类型 流量大小键盘Samsung N/A1cm-2m刚性5像素<球Samsung N/A1cm-2m刚性5像素水果

下载后可阅读完整内容，剩余1页未读，立即下载