基于非均匀双折射的单目RGB-D成像方法

2465基于非均匀双折射的单次激发单眼RGB-D成像AndreasMeuleman 1白承焕1FelixHeide 2Min H.Kim11 KAIST2普林斯顿大学摘要捕获颜色和深度信息的相机已经成为机器人、自动驾驶、虚拟和增强现实中的应用的基本成像模态。现有的RGB-D相机依赖于多个传感器或具有专用传感器的主动照明。在这项工作中，我们提出了一种单目单镜头RGB-D成像的方法。我们不再从单一图像深度线索中学习深度，而是使用双折射介质重新审视双折射成像，将深度测量为叠加在单一捕获中的不同折射图像的位移然而，现有的双折射方法都是等阶的，线性偏振器方解石晶体(a) 我们的原型(c)估计深度图800600480400[公厘](b) 恢复彩色图像输入已恢复但是太慢而不能用于实时应用，例如，在机器人技术中，由于双重反射中对应模糊性， 我们解决了这种模糊性光学利用的正交性的两个线性偏振光线在双折射-introducing- ing不均匀的双折射通过添加一个线性偏振器的双折射介质。这样做可以开发一种实时方法，用于实时同时重建稀疏深度和颜色我们验证了所提出的方法，综合和实验，并展示了三维物体检测和摄影应用。1. 介绍同时获取颜色和深度信息的RGB-D相机已成为计算机视觉和图形应用的关键成像模式，包括自动驾驶、机器人、摄影和混合现实。然而，广泛采用的RGB-D相机要么依赖于多个相机[18]，要么将传统相机与单独的深度传感器相结合。后者通常依赖于在空间上调制光[23，14，11]或在时间上调制光[15]的主动照明模块，例如飞行时间（TOF）相机。现有的单目RGB-D成像方法，即，仅使用单个相机，旨在恢复离焦深度[28，17]，离焦深度[5]和折射深度[20，4，7，1]。尽管所有这些方法都只依赖于传统的二、平等贡献。†：现就职于普林斯顿大学图1. (a)我们的原型，包括一个线性偏振器和方解石晶体在一个传统的相机前面。(b)以及（c）从输入估计深度图和恢复彩色图像我们的算法在34ms内提供稀疏深度和清晰的RGB图像。请参考补充材料以获得实时演示。由于相机具有小的占地面积和成本，它们需要多次拍摄来获得深度，这禁止它们在动态现实世界场景中的使用。单目RGB-D成像的最终目标是从单次拍摄中同时获得颜色和深度。全光成像，即，光场成像通过将物镜与传感器前面的微透镜阵列组合以捕获场景的多视角子图像来解决不幸的是，这种角度分辨率是以空间分辨率的损失为代价的，并且深度范围从根本上受到短基线的限制[19]。替代方法依赖于交替地看到光圈的一半的像素阵列[30，8]，从而捕获子采样立体视图，在TOF RGB-D相机擅长的长距离处受到窄基线的影响为了解决所有上述限制，而不是分离角度测量，我们通过重新访问双折射深度来叠加它们，同时提升双折射方法的现有模糊度和运行时间限制Baek等人[1]在相机镜头前面使用双折射介质，例如方解石晶体，以重叠两个移位图像，通过它们的局部视差对深度进行然而，这两个图像的强度是相同的。这种在双折射图像中搜索立体对应的基本模糊性导致非常低的计算效率。2466高效率，单个RGB-D帧的计算时间超过半分钟，深度估计不准确，阻碍了实时RGB-D成像应用。在这项工作中，我们介绍了一个实时单镜头单目RGB-D相机。具体而言，我们做出以下贡献：为了解决双折射模糊问题，我们利用了双折射介质中每个折射都是线偏振的并且这两个折射相互正交的光学现象。这使得我们能够通过将线性偏振器与双折射介质相结合来进行光学控制，以使每个偏振折射的比率不均匀。这种不均匀的双折射解决了双折射深度对应的模糊性。我们提出了一种新的深度和颜色的联合重建方法。我们的核心思想是通过迭代消除不均匀双折射中较弱强度的折射，同时根据双折射中的位移估计深度，仅使用较高强度来恢复清晰的彩色图像。在此基础上解决模糊的图像形成，我们实现了实时RGB-D采集设计了一种新的整流方法的双折射图像实现了1000倍以上的加速比国家的最先进的方法。这一壮举使我们能够获得高品质的深度和颜色与实时性能的消费GPU硬件。图1显示了我们的原型和捕获的RGB-D图像。我们综合验证了我们的方法和实验数据，其中我们的方法在准确性，深度范围和运行时间方面优于最先进的单眼RGB-D方法。我们展示了各种应用程序使用建议的RGB-D成像仪，包括- ING三维物体检测和摄影应用。所有代码、模型和详细的光学设计都已发布，以确保可重复性（https：//github. git）。2. 相关工作在本节中，我们讨论现有的单次激发单眼RGB-D成像方法。深度信息可以通过分析图像中的散焦水平来估计[24]，即，该距离与模糊量成比例。然而，由于散焦模糊的低频性质，其深度线索通常不足以提供准确的深度。改变孔径的形状[17，2，34]并在传感器上采用掩模[29]，改善了各向同性核的深度估计;然而，由于基本上低频的深度提示，这种方法仍然提供不准确的深度和颜色。所提出的方法利用不均匀双折射作为高频深度线索，允许改进的深度和高质量的彩色图像。来自光场的深度光场包含具有短基线的子图像，其允许深度估计。现有方法利用水平和垂直方向上的子图像之间的视差来估计深度[19]。Wang等人[31，32]考虑了遮挡以估计边缘周围的尖锐深度过渡。然而，现有的光场摄像机需要配备有双凸透镜阵列，这实际上限制了空间分辨率作为角分辨率的折衷。最近，已经提出了将该概念简化为子采样立体图像以使用定制的双像素传感器来估计深度[30，8]。在该方法中，传感器上的微透镜阵列类似于光场相机中的透镜透镜来使用具体地，像素通过在像素的有效区域的一半中阻挡光来交替地阻挡光圈的一半，从而产生二次采样的然而，该双像素感测的视差范围限于几个像素。相比之下，所提出的方法使用未经修改的常规传感器，并且我们的增强介质提供了大于20个像素的大视差范围，从而允许更大的深度范围。反射深度双反射方法使用相机前面的倾斜镜捕获深度[26，33]。这种方法需要非常大的反射镜，由于大的形状因数而牺牲了移动性。与深度反射不同，我们的成像设置仅由一个相机组成，该相机具有两个平面光学材料、双折射介质和线性偏振器，使得系统紧凑并保持原始相机的光轴。传统的折射深度方法[20，4，6，7]从多个不同折射图像的位移估计深度。此外，已经设计了具有光学部件（诸如棱镜或微透镜阵列）的特殊成像设置以从单次拍摄输入捕获深度。Lee等人[16]安装了两个相机棱镜，以牺牲传感器分辨率和高质量图像为代价，在一次拍摄中捕获两个透视图像。Baek等人[1]建议根据双折射估计深度。然而，由于具有相等强度的两个位移图像的固有模糊性，重建的深度和彩色图像的准确性从根本上受到限制，并且复杂的恢复方法需要每个图像超过半分钟。相比之下，我们依赖于位移图像的交叉线性偏振状态，并通过额外的偏振器衰减一个位移分量，解决了模糊性，并实现了深度和颜色的有效恢复。从单个图像学习深度许多最近的作品已经探索了使用神经网络从单个图像深度线索（诸如散焦、透视和视差）学习深度[24，9，13]。虽然展示了显著的结果，但是这样的方法仍然遭受低准确性并且不适合于应用。2467在相机和场景语义上进行概括，例如，室外和室内。相比之下，我们的方法使用来自不均匀双折射的光学编码视差来测量深度，而不是从间接深度线索中学习。3. 双折射不均匀光学设计在双折射中，一对射线，即对应的普通射线（o射线）和非常射线（e射线）产生相同场景潜像的移位副本这些射线对于典型的非偏振自然入射光具有相等的强度，在确定边缘是由o射线还是e射线生成时产生模糊性虽然现有的双折射深度方法[1]通过在图像梯度域中使用对偶成本函数的复杂优化方法部分地解决了这个问题，但是这种计算昂贵的算法禁止实时处理，并且在深度和图像质量方面受到双折射模糊度的根本限制。相反，我们提出通过利用o射线和e射线是线性偏振的并且彼此垂直的事实来光学地解决这种模糊性。由于o-/e-射线的偏振特性，我们可以通过组合线性偏振器和双折射介质来控制两种光线的强度比例具体地说，我们通过调整起偏器的角度，使e射线以较低的强度衰减，并利用所提出的重建方法有效地去除e射线。图像形成接下来，我们描述不均匀双折射的图像形成模型。假设具有焦距f的针孔相机模型，如果没有光线，则来自场景点Ps的光线被投影到直接像素PdzF图2.不均匀双折射成像。场景点Ps直接投影到Pd，而Ps的o射线和e射线分别在不同的点Po和Pe处被捕获。使用线性偏振器，e射线具有比o射线小的强度。我们估计深度从双折射视差roe。工作。 由o射线和e射线形成的经校正的图像，Io和Ie，被用经校正的非对称性Re（z）移位。I_（10）和I_（16）的强度也不同由于线性偏振器，其引入了不均匀通过校准获得的双折射，数值为τ（更多详细信息请参见补充文件）。因此，可以用公式表示e-射线图像I_e，如：Ie=τA（Io，roe（z）），其中A（Io，roe（z））是函数其根据视差r_e（z）平移O射线图像I_o。所捕获的图像Ic=Io+Ie可以被重新计算为o射线图像和- 对应于e射线图像的经变换的o射线如图2所示。一旦双折射材料对光波的偏振态表现出光学各向异性，一种方解石晶体，放置在光路中，非偏振入射光线穿过Ic=Io+τA.ΣIo，roe（z）.（一）在介质中，这条射线被分成两条，它们具有不同的传播方向，其中o射线遵循Snell定律，e射线违反Snell定律。o射线和e射线遵循不同的路径，并分别投射到像素P0和Pe。为了实现不均匀的双折射，我们在介质前面放置一个线性偏振器。该偏振器的旋转调节o射线和e射线之间的比率。注意，我们假设线偏振器足够薄，不会反射光线。然后将双折射视差roe定义为从Po到Pe的位移矢量。图2示出了在我们的设置中偏振双折射的光学光传输虽然双折射视差存在于水平和垂直方向上[1]，但我们在下文中假设矫正的双折射视差图像。为此，我们在后面介绍了一种有效的新的校正方法4. 颜色和深度的联合重建给定一个不均匀的纠正输入图像，我们提出了一个高效和有效的联合深度和颜色重建方法。我们设计了一种非盲的颜色恢复方法，可以有效地消除不均匀的双折射。这里的关键思想是迭代地从非均匀双折射中消除弱折射分量（e射线图像）。类似于传统立体成像中的成本体积的概念[12]，我们使用我们的非盲颜色恢复方法来计算恢复体积，该恢复体积存储每个深度候选的一组恢复的彩色图像。然后，我们通过在恢复候选者中选择颜色重建最佳的深度注意，获得干净的彩色图像是该深度估计的副产品。场景Ps线性偏振器方解石晶体roe（Po，z）传感器PoPePdO射线衰减O射线e光衰减e射线直接线相机附加2468OOO.OOoooOE然后估计也更新为：I（2）=Iz，（1）-Iz，（1）=.奥乔岛Io+τ4AIo，4roe（z）. 我们重复这个过程，直到(a)正确的深度(b)深度错误残留O射线和 E射线迭代次数： 123图3. (a)我们去掉灰色斜线近似残差的强度水平小于阈值。我们发现，三次迭代足以使联合估计收敛（见图3）。从等式（2）中可以看出，我们的算法在N次迭代后的残差为：N通过使用已知的两个紫色条平移生成的条ro e（z），按τ缩放。这将导致新的残差，表示为z，（N）= −τ2·A（I=0，2N·r=0e（z））。（三）与紫色斜线条一样，也可以类似地移除我们重复这个过程，直到残余误差的强度变得低于阈值。（b）如果存在错误的视差r（z），则我们不能正确地去除残差，从而产生恢复伪像。4.1. 彩色图像恢复我们的彩色图像恢复的目标是从捕获的图像I_c恢复潜在的o射线图像I_c。以来深度也是未知的，我们为范围内的所有深度候选z恢复图像，得到恢复体积包含每个深度的图像恢复值I_z的图像可以-二代接下来，我们描述我们的深度候选z的图像恢复方法。使用我们的双折射模型，我们首先计算z的相应双折射视差（等式（9））。我们的图像恢复的关键思想是迭代地从图像中去除比o射线弱的e射线强度捕获的图像I.We表示第n个点r处的I_n_o的当前恢复，如Iz，（n）。 如果在第一次迭代时初始化，我们从捕获的输入图像开始：Iz，（0）=I。Ne xt，我们请注意，我们的恢复方法收敛的速度的τ乘以2N，比泰勒展开[33]更快泰勒展开[33]在（-τ）N+1·A（Io，（N+1）·roe（z））处进行，具有相同的N次迭代和τ乘以（N+ 1）。4.2. 深度估计为了使用双折射来估计深度，现有的双折射立体方法通过将成本体积Cz（P）定义为o射线像素和e射线像素的梯度分布的相似性来估计o射线像素和e射线像素之间的对应性由于双折射中的模糊性，他们计算两次成本量，然后应用非本地成本聚合[36]，其成本也与双折射成本计算一样多。这导致高计算成本并且不容易并行化。相反，利用不均匀双折射和有效的图像恢复方法，我们可以估计，- 通过定义深度成本v_cost_z（P）以指示为像素P选择深度候选者z的成本，从恢复v_cost_z（P）匹配每个像素P的深度Z（P）。oc我们的方法的关键在于我们的图像重建-定义一个残留的图像，我们要删除从当前估计值：z，（0）=Iz，（0）−I=τA（I，r（z））。然而，不能直接计算残差Izi（0），因为基础真值Izi（0）也是未知的。因此，我们使用以下公式计算近似残差图像我们当前的估计Iz（0），而不是地面实况I;只有当给定的深度候选z是正确的时，结构才产生清晰的自然图像。否则，恢复的图像包含多重折射伪影，如图3所示这是因为错误的深度值不能正确地去除图像残差，而是引入虚假边缘，ooartifacts. 因此，我们将深度成本Cz（P）定义为这类似于Yano等人的镜面反射计算相邻像素的梯度幅度之和al. [33]：τA（I），τZ（0），τA（I）（z））=τA（I，r（z））+z大江OOE在恢复体积Io（P）中约为P。深度成本τ2A（I=0，2r=0e（z））. 然后，我们更新当前的估计，通过减去近似残差的O射线图像：Cz（P）定义如下：..Iz，（1）=Iz，（0）−Iz，0=Io−τ2A.ΣIo，2roe（z）.（二）Cz（P）=Σ。吉尔伊·吉尔兹..’。（P）。、（四）ooP′ ∈ K（P）. x.由于e射线的衰减比τ根据定义小于1，因此n_ w残差τz，（1）=−τ2A（I_o，2r_oe（z））强度水平低于先前的残差Izz，（0），使得我们目前的估计值Izz，（1）更接近于其中K（P）是以P为中心的大小为61×61的窗口中的像素集合。我们使用两个线性滤波器实现此计算：用于梯度的高效Sobel滤波器和用于邻域的框滤波器一旦我们计算出比之前的估计我的意思是，（0）.在对于每个深度候选z，我们分配视差方向视差方向恢复强度恢复强度O2469在下一次迭代中，近似残差类似于定义如下：z，（1）=−τ2A（Iz，（1），2r（z））=P的深度，以使成本最小化：欧欧兹−τ2A（Io，2roe（z））+τ4A（Io，4roe（z））。当前图像Z（P）= argminCz（P）。（五）2470最大误差[px]错误[px]x利用估计的深度Z，我们可以重建fi-4 4最终彩色图像IZ，来自RorationvolumesIz（第3节3o o第4.1节）。请注意，我们估计的深度值是有效的在边缘周围，不均匀的双折射清晰可见，没有歧义。因此，我们计算一个有效性面具这样我们就可以保留;保留你是谁？210 300600900 1200深度[mm]210 300600900 1200深度[mm]. 我的天(a) 最大逼近误差(b) Zemax错误强烈的水平梯度（.o（P）. >Thresgrad）并且在成本方面在深度候选中得分最高（maxzCz（P）-minzCz（P）>Threscost）。5. 双折射的校正在本节中，我们描述了所提出的将水平和垂直双折射基线向量仅转换为垂直基线向量的校正方法。传统的双目立体模型将视差表示为r双目（P，z）=（f/z）b双目r，其中r双目是双目视差，b双目是立体相机之间的双目基线[10]。来自[1]的双折射立体模型也具有类似的形式，解释双折射视差r〇 e，即P〇和Pe之间的视差，如下：其中boe是双折射基线向量，定义为：图4. (a)我们使用等式（8）来量化由我们的近似w.r.t.深入(b)我们的近似模型准确地预测了双折射（在中心测量），结果与专业光学模拟器Zemax的结果相似。我们发现，当深度z大于特定值（在我们的光学设置中为410 mm（详细信息请参见第6节））时，方程（7）的双折射基线中的深度依赖性可以以小于一个像素el的误差去除，从而得到近似基线：等式⑶。有关我们的数学推导细节，请参阅补充文件。图4（a）显示，当z >410mm时，我们的近似模型在最大误差方面是有效的，图4（b）显示，我们的近似模型准确地模拟了双折射，结果类似于通过Zemax进行的全.5.2美元。双折射基线boe（Po，z）=bod（Po）+bdePo+rod（Po，z）.（七）该近似的近似的迭代基线插值没有依赖性-bod和bde是Po和Pd之间以及Pd和Pe之间的基线。rod是Po和Pd之间的差异。双筒望远镜和双筒望远镜的主要区别是双折射立体模型的一个重要特征是，双目立体模型中的b双目是常数，而双折射立体模型中的boe取决于像素位置Po和深度z而变化。由于这两个依赖性，为了估计每像素的深度，当前的双折射立体模型需要估计双折射立体模型。视差的大小取决于深度，但它仍然取决于像素P0的空间位置，从而导致视差的大小和方向（P0）在空间上变化。在这里，我们的目标是将空间依赖性与近似的可伸缩的基线空间依赖性（P0）分离，使得我们可以在校正的输入图像上使用线扫描来从每像素屈光视差估计深度，并实现我们最终的双折射立体模型，如下所示：每个深度候选和像素位置的基线。然而，计算是昂贵的，并且具有大的存储器鲁塞奥埃（z）=（f/z）Δboe、（9）脚印 为了克服这一局限性，我们设计了一种新的方法，用于双折射图像的校正方法，其中，r_e是视差，并且r_b_e=bavg，0不依赖于深度或像素位置，从而实现与传统双目立体成像一样快的具有低存储器占用的高效双折射立体成像5.1. 双折射基线双折射基线boe取决于Po和z两者，如等式（7）中所示。我们评估了Po和z对boe变化的影响。我们首先发现基线的深度依赖性可以安全地分离。请注意，我们的目标是定义一个新的disparity函数r_e（P_o），其中深度可变基线深度（P0）如下：r_（？）e（Po，z）=（f/z）_（？）e（Po）.（八）OE2471OEOE是双折射基线，其水平分量和垂直分量相对于I v el y被设置为0和0。 值得注意的是，当我们将其设置为沿水平轴的Δ v时，Δ vg是常数标量。方程（9）now具有具有恒定基线λe的形式，类似于方程（9）的形式。流行的双目立体模型。这种将原始空间变化的基线P_0改变为恒定的基线P_0的变化，使输入图像沿恒定基线移动通过随后的精馏步骤设置。通过动态规划的校正我们介绍了一种新的校正方法，该方法通过对捕获的图像进行整形来消除可伸缩基线偏移（Po）的空间依赖性我们的目标是估计一个校正函数-2472OEOE(a) （b）纠正图5.视差和校正的空间依赖性（a）在显示非水平差异的校正之前捕获的图像（b）具有水平和标准化视差的校正图像将输入像素P映射到对应的经重构的像素elP_i的函数T：P=T（P_i）。 一旦知道了函数T，我们就可以将输入图像Ic变换为校正后的版本Ic：Ic（Pc）=Ic（T（Pc））。定义整流函数T，使等式对于经校正的图像，等式（9）成立。为此，我们提出了一个动态规划算法，它定义了T的每一列从左到右。遵循动态规划的原理，我们首先初始化第一列的T，以便它在校正前后具有相同的位置：T（[0，y]）= [0，y]，其中y是行。作为动态规划的第二步，我们通过假设T对于之前的列是已知的来定义列x的T（一）(b)(c)图6. 我们的结果与不同的偏振器取向：（a）0。十五岁(b)0 的情况。3，（c）0. 四十五 τ（a）（b）的较低值导致清洁图像的简化，具有快速收敛性。最低的e射线比例（a）导致较低的深度精度。较高的τ（c）值会导致图像伪影。为了可靠地重建深度和颜色，我们最终选择τ= 0。3 .第三章。相机参数和方解石晶体的双折射性质更多详细信息，请参阅补充材料软件实施我们实施了我们的主要al-T（P）=T（P−[1，0]）+boe.T（P<$−[1，0]）Σav g. （十）在C++中使用OpenCL GPU加速进行联合深度和颜色重建，而双折射模型等式（10）开始于已知的计算和校准过程被写入prev. ious 柱体并且具有额外的偏移：MATLAB软件我们测试了我们的重建实现，博厄河T（P<$−[1，0]）av g.这个集合简单地映射了一台电脑配置英特尔酷睿i7- 7700 K 4. 2OE先前的空间变化的基线插值.ΣT（P<$−[1，0]）NVIDIA GTX 1080 Ti。对于分辨率为2048×1500的图像和16个深度候选，我们的算法，对于tar，得到恒定的基线Δbv g。因此，确保函数T满足等式（9）。 图5显示了我们的算法能够将具有非恒定和非水平视差的捕获图像扭曲成满足这两个要求的校正图像。6. 结果硬件实现我们使用像素间距为3的机器视觉相机（GS3-U3- 123 S6 C-C）构建了我们的实验设置。45µm。对于光学元件，我们使用35mm透镜、来自EdmundOptics 的 玻 璃 型 线 性 偏 振 器 和 来 自 New-lightPhotonics的15mm厚的方解石晶体注意，通过增加方解石的厚度，我们可以增加我们方法中的视差范围方解石晶体的折射率为1。65和1。48分别用于可见光谱内的o-射线和e-射线 为了获得更深的景深，光圈被设置为f/22。通过捕获条纹图案并测量边缘周围的强度比来校准o射线和e射线之间的衰减比τ请注意，以下是Zhang [37]和Baek et al.[1]，我们还校准了每帧（30Hz）在34ms内运行，用于深度和颜色估计。具体地说，校正和恢复-卷生成需要16ms.成本计算和深度选择需要14ms和4ms用于计算有效性掩模。双折射的不均匀性确定e射线与o射线的强度比例τ是至关重要的;准确确定该值可以清晰地重建图像和深度。在N次迭代之后，我们的颜色补偿算法的残差由等式3给出。这表明，如果τ较小，则残差较低。然而，只有当弱折射明显地远离图像噪声时，这才成立。为了确定τ的最佳值，我们用面板捕获了一个场景（图6）。通过调整线偏振器与方解石晶体之间的夹角，我们测试了三种不同的τ：0。15，0。3和0。四十五我们实验性地选择τ= 0。3，并在所有实验中使用。对真实数据的评估为了对真实数据进行评估，我们使用图6中的面板场景，已知面板距离。为了验证我们的方法的准确性，图7（a）显示了深度估计的1D图，输入估计深度[mm]400 530 8001600输入恢复24731小时16001200800400色谱柱[px]35343332313029输入恢复(a) 输入(b) Shih等人1小时302030100Shih等人Yano等人(a) （b）复原评价图7.（a）沿浅蓝色区域读取的定量深度值(c) Yano等人(d) 我们我们(e) 测量值我们的深度图结果行（图6（b））。(b)输入和恢复的PSNR值w.r.t. 参考深度图9.图像恢复比较。(a)输入.图像（b）是通过最先进的方法[25，33]和我们的恢复图像。它们在图像质量方面都具有竞争力;然而，计算时间显著不同。 花了最短恢复图像输入输入[公厘] 500650730恢复恢复950时间，只有16毫秒，我们的方法来恢复颜色。面板场景，与地面实况（由Bosch GLM 80激光仪测量）进行比较所有面板的平均深度误差为4。7厘米与地面实况照片的o射线图像相比，我们恢复的图像达到了34的峰值信噪比（PSNR）。82dB（图7（b）），验证了我们的方法的有效性。有关其他图像结果，请参见补充材料。与双折射测深法的比较我们利用作者的原始实现方法，将我们的方法与现有的我们在颜色和深度估计上都实现了高精度（图8）。而先前的方法在颜色恢复中遭 受 伪 影 （ PSNR 26. 71dB ） ， 深 度 质 量 下 降（RMSE212 mm），计算负担高（深度运行时间38秒，彩色运行时间78秒，和存储器占用4。1 GB），我们的方法利用了不均匀的双折射，我们的联合重建配备了我们的矫正，大大优于以前的技术：色彩准确度（PSNR三十六63 dB）、深度精度（RMSE 116 mm）和计算效率（运行时间694/34 ms（CPU/GPU）和内存占用（0. 46GB））。请参阅补充材料，了解与光场相机、双像素相机和基于学习的方法的更多比较[35]。对合成数据的评估对于使用每像素地面实况的评估，我 们 通 过 使 用 深 度 值 在 400 和 1600 mm 之 间 的Middlebury数据集[22]的23个图像模拟我们的图像形成来创建合成数据集，并插入标准偏差为0的高斯噪声。0005图8.与现有的双折射方法的比较。Baek的方法（a）显示了深度估计中前钟和后瓶的误差。恢复的图像严重遭受振铃伪影。我们的方法（b）可以更准确地估计深度，产生高质量的彩色图像。该表比较了计算时间以及颜色和深度与合成地面实况的准确性。 在相同的CPU平台上，我们的方法比Baek的方法快255倍。我们的GPU实现比我们的CPU版本快20倍。请注意，Baek的方法不是GPU友好的，因为它包括非本地成本ag。[36]和双重成本计算[1]。恢复后的彩色图像的平均峰值信噪比为36。63dB，平均深度RMSE为116mm。有关数据集的进一步定性和定量结果，请参阅补充文件。消融研究我们使用表1中的相同数据集消融我们方法的每个组件以评估它们各自对性能的影响与文献[1]相比，本文提出的校正方法显著减少了内存占用和计算时间.我们的光学设计使得颜色恢复问题的不适定性大大降低，Ground truth我们的深度[mm]16(a)Baek等人(b)我们PSNR运行时间[ms]三十四8231岁19Baek我们我们（CPU）（CPU）（GPU）Avg.运行时间（ms）3800069434最大内存（GB）4.第一章100的情况。460的情况。46输入颜色PSNR（dB）二十五60三十二20三十二202474极大地提高了彩色图像质量。整流器×不均匀双折射××骨关节重建×××◦Avg. 运行时ms38000270002700034最大 内存（GB）4. 10个 2. 702.70046输出颜色PSNR（dB）26.7126. 80 33. 二十三三十六63深度RMSE（mm）212 193 445116输入图像编辑图像表1.综合数据集的平均消融研究结果图像恢复方法的比较我们将不均匀双折射图像恢复方法与现有的反卷积方法进行了比较[25，33]。虽然恢复的图像质量是非常有竞争力的，计算成本是显着不同的。我们的方法仅用了16 ms就恢复了彩色图像（参见图9中的表格）。我们使用 Shih 等人的[25]（用Matlab编写）;因此，速度不是直接可比的。我们使用OpenCL实现了Yano等人[33]和我们的，以进行公平的比较。应用我们的方法提供了一个稀疏的深度图和每帧输入的恢复图像，使3D对象检测与估计的稀疏深度。我们使用Frus-tumNet v1架构[21]并重新训练它以获取我们方法的稀疏深度估计。为此，我们生成了另一个由300对不均匀双折射图像、通过我们的方法估计的稀疏深度图和对象标签组成的合成数据集。具体而言，我们使用了Kinect v2设备捕获的300张Sunday GBD数据集[27]图像，这些设备提供了高空间和深度分辨率。请注意，所选的300个图像主要包含桌子、书桌和椅子这三个对象类。然后，我们模拟不均匀的双折射图像，从中我们可以估计稀疏的深度图，假设30mm厚的方解石来处理数据集的大深度范围。图10显示了测试场景中检测到的3D对象。该实验验证了我们的RGB-D输出可成功用于3D对象检测任务。在表2中，我们的平均精度（mAP）值与使用全深度输入训练的检测结果具有很强的竞争力我们演示了三个深度感知图像重聚焦，在恢复的RGB图像的指导下，对稀疏深度估计进行加密对于致密化，我们使用了快速双边求解器[3]，其运行时间为70ms，因此整个管道的运行时间为104ms。有关详细信息和其他图像编辑应用程序，请参阅补充说明。7. 讨论和结论我们的方法并不是没有限制，可能会导致有趣的未来工作。具体而言，饱和区域和散焦以及运动模糊对重建提出了挑战未来的方法可能依赖于对重构算法的语义反馈来处理这些场景。图像和检测到的2D ROI 3D对象检测图10. (a)使用我们估计的颜色和深度在场景背景上合成散焦。(b)（c）我们为我们的RGB-D相机训练了Frus-tumNet模型[21]。我们使用SUN-RGBD数据集[27]生成合成双折射图像来训练该模型。(b)综合结果表明，我们的检测结果与地面真实情况有很好的一致性。(c)实际样机的检测结果。它成功地检测了椅子的3D对象体积及其方向。表书桌椅子地图训练我们稀疏的深度0.790.730.670.74密集深度训练（GT）0.860.800.940.86表2.使用AP度量[21]，使用稀疏深度图和地面真实密集深度训练3D对象检测AP。我们提出了一种依赖于不均匀双折射的实时单目RGB-D双折射的交叉偏振特性。所提出的联合深度和颜色重建方法有效且准确地估计稀疏深度和密集颜色，在准确性上优于先前的双我们已经验证了所提出的方法，综合和实验，并展示了三维物体检测和摄影应用。确认敏H. Kim承认韩国NRF赠款（2019R1A2C3007229，2013M3A6A6073718），KOCCA在韩 国 MCST 、 三 星 研 究 院 和 跨 部 门 Giga KOREA（GK17P0200）。(c)3D检测（b）使用我们的原型合成验证集进行(a)重新聚焦2475引用[1] Seung-Hwan Baek，Diego Gutierrez，and Min H Kim.用于单次激发深度采集的双折射立体成像。ACM Trans.Graphics（Proc. SIGGRAPH Asia 2016），35（6）：194，2016。[2] Yosuke Bando，Bing-Yu Chen，Tomoyuki Nishita.提取深度和磨砂使用彩色过滤光圈。ACMTrans. Graphics（Proc. SIGGRAPH Asia 2008），27（5）：134，2008年。[3] 乔纳森·T·巴伦和本·普尔。快速双边求解器。Proc.欧洲计算机视觉会议（ECCV）2016，2016。[4] ZhihuChen ， Kwan-YeeKWong ， YasuyukiMatsushita，and Xiaolong Zhu.使用具有未知姿态和折射率 的 透 明 介 质 的 折 射 深 度 。 International Journal ofComputer Vision，102（1-3）：3[5] 约翰·恩斯和彼得·劳伦斯焦深测定方法的研究。IEEETransactionsonPatternAnalysisandMachineIntelligence，15（2）：97[6] Chunyu Gao和Narendra Ahuja单摄像机立体使用平面平行板。在Proc. Int. Conf.模式识别（ICPR），第4卷，第108-111页，2004年。[7] Chunyu Gao和Narendra Ahuja一种用于获取立体和超分辨率图像的折射相机。 在proc 计算机。视觉和模式识别（CVPR），第2316- 2323页，2006年。[8] Rahul Garg、Neal Wadhwa、Sameer Ansari和Jonathan T.巴伦使用双像素学习单相机深度估计，2019年。[9] Cle' mentGodard，OisinMacAodha，andGabrie lJBros-tow.具有左右一致性的无监督单目深度估计。在Proc. IEEE计算机视觉和模式识别会议（CVPR）2017，第2卷，第7页，2017年。[10] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。2003年。[11] Peter Henry，Michael Krainin，Evan Herbst，XiaofengRen，and Dieter Fox. Rgb-d映射：使用深度相机进行室内环 境的密 集3d建模 。实验 机器 人，第 477-491页Springer，2014.[12] Asmaa Hosni ， Christoph Rhemann ， Michael Bleyer ，Carsten Rother，and Margrit Gelautz.快速的成本-体积过滤，用于视觉对应和超越。IEEE Trans. Pattern Analysisand Machine Intelligence（TPAMI），35（2）：504[13] Po-Han Huang ， Kevin Matzen ， Johannes Kopf ，Narendra Ahuja，and Jia-Bin Huang. Deepmvs：学习多视图立体视觉。在IEEE计算机视觉和模式识别会议论文集，第2821-2830页，2018年。[14] 科特·科诺利格投影纹理立体。在2010年IEEE机器人和自动化国际会议上，第148-155页。IEEE，2010。[15] 罗伯特·兰格采用CMOS/CCD技术的定制固态图像传感器进行3D飞行时间距离测量。两千[16] 李斗贤和仁素权。一种新颖的双棱镜立体摄像系统。IEEE Trans. Robotics and Automation，16（5）：528[17] AnatLe vin，RobFer gus，Fre´ doDurand和WilliamT自由人。使用编码光圈的传统相机的图像和深度。ACMTrans. Graphics（Proc. SIGGRAPH 2007），26（3）：70，2007.[18] 拉里·马蒂斯理查德·塞利斯基和金田武夫从图像序列中估计密集深度图的增量估计。在CVPR'88会议记录中：计算机视觉和模式识别计算机协会会议，第366-374页。IEEE，1988年。[19] 茱莉亚·纳瓦罗和安东尼·布迪斯用于光场图像的鲁棒且密集的深度估计。IEEE图像处理学报，26（4）：1873[20] 西本和白井。一种基于特征的小视差立体模型。 在proc Comput. 视觉和模式识别（CVPR），第192-196页，1987年。[21] Charles R Qi ， Wei Liu ， Chenxia Wu ， Hao Su ， andLeonidas J Guibas.从rgb- d数据中检测三维物体的平截体点网。在IEEE计算机视觉和模式识别会议论文集，第918-927页[22] Daniel Scharstein，Heiko Hirschmuller，York Kitajima，Greg Krathwohl ， Nera Nesic ， Xi Wang ， and PorterWest- ling.高分辨率立体数据集，具有亚像素精确的地面实况。在Proc. German Conf.模式识别，第31-42页。Springer，2014.[23] Daniel Scharstein和Richard Szeliski。使用结构光的高精度立体深度图。2003年第1卷。[24] Jianping Shi，Xin Tao，Xu Li，and Jiaya Jia.打破艾姆斯房 间 的 错 觉 ： 一 般 单 幅 图 像 的 深 度 。 ACM Trans.Graphics（Proc. SIGGRAPH Asia 2015），2015年。[25] YiChang Shih，D. Krishnan，F. Durand和W. T.自由人，使用重影提示消