紧凑光学设备构造多传感器宽视场单心光场相机

5048宽视场单心光场相机Donald G. Dansereau1，Glenn Schuster2，Joseph Ford2，GordonWetzstein11斯坦福大学电气工程donald. gmail.com，gordon. stanford.edu2加州大学圣地亚哥分校电子计算机工程系网址：gschuster@ucsd.edu，jeford@ucsd.edu摘要光场（LF）捕获和处理在不断扩大的计算机视觉应用范围中是重要的，其提供丰富的纹理和深度信息以及简化传统复杂任务。虽然LF相机是商业上可获得的，但是没有现有设备提供宽视场（FOV）成像。这部分是由于鱼眼镜头的限制，对于鱼眼镜头，基本上受约束的入射光瞳直径严重限制了深度灵敏度。在这项工作中，我们描述了一种新颖的，紧凑的光学设计，耦合一个单中心透镜与多个传感器使用微透镜阵列，允许LF捕获与前所未有的FOV。利用LF表示的能力，我们提出了一种新的方法，用于有效地耦合球面透镜和平面传感器，取代昂贵和笨重的光纤束。我们构建了一个单传感器LF相机原型，相对于固定的主镜头旋转传感器，以模拟宽FOV多传感器场景。最后，我们描述了一个处理工具链，包括一个方便的球形LF参数化，并演示了深度估计和捕获后重聚焦，室内外壁挂式15×15×1600×200像素（72 MPix）和138° FOV。1. 介绍光场（LF）相机测量丰富的4D光表示，编码颜色，深度和高阶行为，如镜面反射，透明度，折射和遮挡[18]。消费级LF相机[24]的捕获后功能（如透视移位、深度估计和重新聚焦）是众所周知的，这些功能也简化了计算机视觉中不断扩大的任务范围[8 宽视场（FOV）LF捕获的能力将极大地有利于自动驾驶汽车导航的广泛应用图1.我们首次证明了紧凑型宽视场LF相机的可行性，建立在单中心镜头和LF相机的先前工作的这里显示的是单中心镜头（右），具有类似FOV和分辨率的传统镜头（左）和LytroIllum（中）。单心镜头实现了一个大的FOV与较小的f数比照明在一个微小的形状因素。识别和跟踪，以及对象分割和检测[12，25，27]。遗憾的是，宽FOV LF成像目前受限于顺序捕获[3，13，37]或相机阵列[2]方法。虽然前者限制了捕捉静态场景的应用，但多相机阵列通常昂贵且笨重。构建小型、低成本、宽FOV LF相机的限制因素是广角镜头不容易适应LF捕获。鱼眼镜头的入射光瞳基本上是有限的，如图所示。2，只提供了一个非常小的基线，防止有效捕获LF信息。采用曲面镜的折反射系统体积庞大，并且在折反射和鱼眼情况下，分辨率基本上限于单个传感器的分辨率。为了克服这些基本限制，光学设计人员最近开发了采用单中心光学器件的宽FOV 2D成像技术[4，29，33]。单声道5049图2. 比较LF相机镜头：传统的库克三合镜头，鱼眼镜头和单心镜头如上图所示虽然传统的光学系统工作良好，但它们不支持大FOV。鱼眼镜头可缩放至180°及以上，但从根本上限制了入射光瞳，使其不适合LF捕获。单中心镜头支持宽FOV和宽光圈，但呈现弯曲的焦面。我们介绍了一种LF处理的方法来耦合的球面透镜与平面传感器阵列。中心透镜是具有不同折射率的同心玻璃球，即，多壳球面透镜这些都是在一个小的形状因素，铁旋转对称，衍射有限的分辨率和宽FOV。在这项工作中，我们结合单中心光学和LF成像构建一个单镜头宽视场LF相机。我们用基于小透镜的LF相机中采用的微透镜阵列（MLA）代替了传统上在单中心系统中采用的昂贵且分辨率受限的传感器耦合光纤束[24]。这允许在软件中执行光学耦合，从而有效地利用MLA的能力来实现光场捕获和处理。这降低了成本和复杂性，同时提高了鲁棒性和分辨率，并增加了LF捕获作为一个重要的奖金。用例涵盖3D重建、自动驾驶、对象检测、识别和跟踪，以及潜在的虚拟和增强现实应用的电影内容制作紧凑的光学器件和LF处理的坚固性使该器件特别适合机器人应用，包括无人机（UAV）、自主水下航行器（AUV）和小型地面车辆。最后，通过球形主光学器件原生捕获深度信息的能力使得这种配置在水下和外科应用中具有吸引力，其中空气-水界面使宽FOV深度感测复杂化。本文的主要贡献是：• 一种新型单镜头宽视场LF相机• 一种参数化，与相机的属性紧密匹配，并允许常规LF处理• 一种有效耦合平面传感器和单中心透镜球面焦面的场聚焦方法• 现实场景中的全景捕捉，显示深度估计、捕捉后重 聚 焦 和 LF 分 辨 率 增 强 ， 适 用 于15×15×1600×200像素（72 MPix）和138° FOV的全景相机为了实现宽视场操作，我们的系统需要多个传感器目前，原型只有一个单一的传感器，所以我们证明了广泛的FOV捕捉旋转的单中心镜头在多个曝光在静态场景。这些结果确立了多传感器方法的可行性，包括对所提出的解码、场衰减和光场处理方案的验证。2. 相关工作全景光场成像宽视场成像通常通过拼接从同一投影中心记录的多个图像来实现[31]。视差在这些拼接系统中是不希望的，因为它经常导致伪像。LF全景拼接正在成为克服这一限制的一种手段[3，13，37]。所有这些方法都依赖于多个顺序捕获的图像，这阻止了动态场景的记录。虽然我们设想所提出的LF成像仪同时与多个传感器一起操作，并讨论了如何实现这一点的明确方向，但本文中使用的原型也依赖于多个顺序捕获的LF。使用鱼眼镜头可以轻松录制宽FOV视频。不幸的是，这些透镜仅提供小的入射瞳孔（即，大f数），这从根本上限制了LF基线，因此也限制了收集的深度信息量[22]此外，色差和球面像差对于宽FOV透镜通常是有问题的。由于f数较大，传统鱼眼镜头不适合LF相机设计。采用曲面镜的折反射系统[23]比所提出的单透镜方法体积更大，并且限制了单个传感器的分辨率。我们的设计在一个主镜头后面采用了多个传感器，从而使一个紧凑的设备具有潜在的非常高的像素数-2.4 GPix [33].单中心成像器单中心透镜是由不同折射材料组成的旋转对称外壳，它们共享一个中心。最简单的单心透镜是玻璃球。多个同心层，5050折射率通常用于校正色差[29]。与传统的复合透镜相比，单中心透镜提供了简单、小的形状因子和在整个360度半球上的极高的衍射极限分辨率。参照图2、单心镜头是在大输入光圈上捕获宽FOV的唯一选择。由于这些原因，在过去的几年里，单心镜头已经变得越来越流行，用于千兆像素成像[4，5]。然而，单中心成像器的最大挑战最近已经提出了几种方法来将该弯曲表面耦合到一个或多个平面传感器。微型相机阵列，每个都有自己的中继光学，代表了最直观的方法[4，33]。光纤束已被提出作为一种有吸引力的替代方案，消除了对更复杂的中继光学器件的需求[29]。最后，弯曲传感器难以制造，但可以使用分段平面段近似[36]。在本文中，我们提出了一个计算成像方法来解决这个问题：我们使用平面传感器和MLA的组合在单中心透镜后面记录LF，而不是将弯曲的焦面光学地中继到一组平面传感器上。然后在后处理中校正焦面曲率。在现有技术中已经提出了用LF校正光学像差[14，34]，但我们是第一个将此概念应用于宽FOV LF成像的人光场的应用最常见的LF相机用于拍摄后的重新对焦和深度感测。光时间相机[15]和结构光传感器也提供深度成像功能，但这些都是主动成像技术，只能提供有限的范围，特别是对于户外应用。扫描LiDAR系统是一种有吸引力的替代方案，提供超过360°的远程深度作为一种被动深度传感技术，宽视场LF成像可在机器人视觉、自动驾驶车辆和一系列3D成像场景中找到应用。电影虚拟现实是另一个领域，其中宽视场相机最近有很大的兴趣。Face-book这些相机只捕捉每个场景点的两个视图，而不是LF。Lytro所提出的单中心成像器是紧凑的图3. 单中心LF成像仪原型。MLA直接安装在单心透镜后面（左上）。目前，传感器不是直接连接到MLA，而是通过1：1光学中继系统与MLA共轭放置。该系统安装在一个机械臂上，该机械臂可以围绕固定镜头旋转，以模拟多传感器LF成像仪。捕获足够的视差信息，以支持新兴LF VR显示器的3D重建和聚焦提示[16]。有了一对成像器，或外推或重建算法，我们希望现实的立体视觉是可能的。3. 光学设计高分辨率广角成像的关键挑战是将从宽角度入射的光映射到可调焦平面上。透镜自然非常适合于将球体聚焦到球体上，因此大部分宽视场透镜中的玻璃都用于将平面聚焦到平面上。由球面同心表面组成的单心透镜通过在球面焦面上成像而不是在平面上成像来大多数经典的赛德尔像差（散光，场曲率，横向颜色）被自动消除，并且只需要两个同心玻璃壳就可以在一个平面上形成高分辨率图像。120°或更大的范围[29]。采用单中心透镜作为球对球聚焦器的自然能力是本文的关键见解，从而实现LF成像所需的低f数的宽FOV。请注意，这与单中心透镜的传统聚焦机制不同，在单中心透镜中，场景中的平面被聚焦到相机内的移动球体[29]。图1尺寸比较1和聚焦，然而，即使没有这些功能，这种镜头设计也很笨重Lytro镜头的部分体积并且不能捕获宽视场LF，如图所示二、50513.1. 将Image Sphere连接到平铺传感器单心镜头在图像和传感器方面都提出了挑战。在图像方面，我们习惯于聚焦在垂直于光轴的平面事实上，这只需要思维的转变，并且对于宽FOV成像比平面方法更有意义。在传感器方面，问题更深，因为操纵传感器以满足球面焦面尚未实现。宽视场图像表面需要比连续CMOS焦平面芯片的弹性变形所能实现的更深的球面曲率。空间分段的CMOS传感器结构[35]限制了分辨率，并且将硅芯片切割成离散感测区域的晶格会干扰成像所需的密集数据传输。因此，我们的方法是将传感器平铺在球体的近似值中，如图中右侧所示。二、类似的方法在过去已经得到证明：2.4 Gigapixel成像仪使用场景[4，33]的重叠块中继成像到221个16 Mpixel传感器上。 通过光纤束面板阵列的耦合，制造了一种更小且更便宜的成像器[30]。这30Mpixel原型使用了6个5 Mpixel传感器的单行这两种解决方案都是有效的，但成本高，体积大。光纤束还引入了一种粒度，这从根本上限制了系统的分辨率。LF成像提供了一个新的选择耦合到平面传感器上的图像球。在图像传感器附近引入MLA是公认的，一种记录射线位置和方向以支持LF处理的方法[24]。在这里，我们建议使用MLA来代替上面讨论的笨重而昂贵的耦合器。然后，这允许LF处理方法，我们在下面推导出，以实现软件中的耦合过程。这具有提供LF捕获的额外好处，允许捕获后重新聚焦，深度信息和一系列视觉任务的简化。3.2. 多传感器注意事项在平铺传感器以近似球形焦面时，我们必须考虑传感器面积、给定FOV所需的传感器数量和所得场曲率的大小之间的设计权衡。较小的传感器更好地接近球体，导致不太严重的场曲率，但需要更多的传感器和伴随的电子设备来覆盖给定的FOV。填充因子是另一个问题：由于封装的限制，实际的传感器不能并排平铺-目前的技术水平是50%的填充系数[ 33 ]。一种解决方案是接受非连续的图像捕获，例如在机器人导航应用中是可接受的。另一种方法，我们将探讨作为未来的工作是，在焦面附近的小平面场集中器这用于将连续图像划分为子场，将LF合并为离散区域。这种方法通常需要复杂和庞大的中继光学器件[33]，但LF处理再次承诺大大减轻对子场光学器件的限制，允许廉价和紧凑的设计。最后，聚焦多传感器设置将带来独特的挑战，因为当FOV较宽时，主镜头的任何运动都不会影响所有传感器的聚焦。我们设想要么固定多传感器设备的焦点，通过调整主透镜位置实现跨传感器的可变焦点，要么使用微致动器移动传感器本身这项工作中解决的关键挑战是通过LF处理将平面传感器与单中心透镜耦合，并通过共享的主透镜有效地表示来自多个LF传感器的数据。多传感器系统解决填充因子和焦点的设计正在进行中，并将在其他地方详细报道。4. 光场处理在这里，我们介绍一个参数化和工具链来解释相机的图像。与传统的基于小透镜的LF相机一样，原始数据由紧密封装的小透镜图像组成，这些小透镜图像将4D LF复用到2D传感器上。直接从原始小透镜图像进行渲染和滤波的方法适用[11，20]。这些都是有效的，并受益于与现实世界的光学相关的不规则采样模式。然而，许多LF滤波和处理算法在4D中更自然地描述和应用，因此我们在这里提出了一种将相机这并不排除稍后将算法投影回2D传感器以进行更直接的操作。所提出的方法仅需要用于校准小透镜图像中心的视场图像，并且度量校准被留作为未来的工作。这里我们讨论二维的参数化和处理，并直接推广到四维。4.1. 光场参数化由于传统的双平面参数化（2pp）[19]不能很好地处理宽FOV，因此我们转向球面表示作为相机捕获的自然拟合。已经提出了几个这样的参数化[17，32]，但没有一个能完全满足我们的需要。因为它们是以场景为中心的，所以这些表示不能有效地描述进入相机的光线，并且对于常见任务，例如重新聚焦或深度估计，需要比2pp LF更复杂的算法。5052因此，我们提出了以相机为中心的相对球面参数化，如图1所示。4a.鉴于过去的工作传统上封闭的场景与参考表面，在这里，我们封闭的相机，中心半径为R的参考球的单中心镜头。每条射线由其与参考球的两个交点第一个点，图中的蓝色。4a，被描述为绝对角θ u。 这一点的图像穿过球面是giv en，θu=θu+π/2，第二个点，在如图所示，绿色是相对于该θu测量的。一个关键的认识是，对于小θ s和θ u，这种表示可以很好地近似为局部绝对2pp，其中s=0平面通过原点，u= 0平面在距离R处，如图中橙色所示。4a. θ表示以θu旋转的局部表示，产生局部表现为平面的LF，但它是径向对称的，并且优雅地适应宽FOV。与传统的2pp LF一样，朗伯曲面上的点在LF中表现为常值平面，斜率与物体的深度有关。其几何形状如图所示。4b.从小角度近似和黄色突出显示的类似三角形，我们有θuu，θs2s。（一）对于径向距离为r的对象和以青色突出显示的类似三角形，(a)（b）第（1）款（c）第（1）款图4. (a)以摄像机为中心的相对球面参数化，其中单中心透镜位于参考球面的中心，绝对入射角θu和相对出射角θs;（b）点-平面对应背后的几何结构（3）;（c）光线跟踪器证明理想球面摄像机的采样图案在所提出的参数化中非常接近矩形网格;为了清楚起见，图中仅示出了来自两个小透镜的光线，θur−R=伊希斯.（二）Rθs没有画出来。从（1）中代入θs并重新排列，得到斜率θu1=（1−R/r），（3）θs2其与2 PP对应物相同，直到因子1/2。由于强的局部行为相似性，许多传统的LF算法，包括深度估计和重聚焦将直接适用于相机为中心的相对球形表示，提供了在S维中的因子2被考虑。唯一的功能差异是球面LF中的深度表示为到透镜中心的径向距离，而不是沿着固定矢量z。所提出的表示的另一个重要特征是它非常适合我们的光学设置：具有球形传感器和MLA的理想单中心照相机测量以[0，0]为中心的θ s，θ u中的样本的规则网格。如果我们将参考球半径设置为与主镜头的焦距相匹配，则样本将位于矩形网格上。这是证明与2D光线跟踪图。图4c中，理想球形相机中的每个像素将单个光线投射到场景中，并被配准到所提出的参数化中。图中只描绘了空间中的两束光线，图，在青色和绿色，但所有的像素显示在左下角光线空间图中的黄色，表示理想的矩形采样网格。4.2. 平铺平面传感器我们的光学设计将平面传感器和MLA拼接成近似于上述理想的球形元件。这会导致相机的采样模式偏离理想模式，并产生以下两种不同的效果：首先，平面几何学将传感器组件上的小透镜图像向外移动到球面对应物，并影响它们的缩放，遵循与光轴的角度的切线。这种效应在原始图像的2D处理期间易于建模和校正，并且对于小型传感器来说并不强烈。更重要的影响是Petzval场曲率，它显著地扭曲了LF采样几何。图图5描述了场景中的焦面接近抛物线，而不是理想的球面的问题从传感器的中心开始，在距离最中心的小透镜的距离a0处的主透镜使场景中的点在距离b0处聚焦，如所期望的。移动距离x，5053u0u0u图5. 场曲率的几何形状：理想的照相机具有球形MLA和焦面（红色），而平面MLA产生类似于抛物线的弯曲焦面，（4）（蓝色）。在传感器的边缘，小透镜到主透镜的距离增加到Δ1，导致减小的焦距b1。穿过x的追踪揭示了抛物线状的形状，这影响了LF的景深和采样模式。为了描述这个焦面，我们设置参考球半径R=b0，这样，在FOV中心距离b 0处的物体理想地以斜率θ u/θs= 0采样，如图所示。4c. 移动距离x，在FOV的边缘，焦距减小，使采样模式具有负斜率。这会导致应存在于坡度0处的对象呈现正的视坡度。采样模式斜率可以通过应用毕达哥拉斯定理、径向应用的薄透镜方程和点-平面对应关系（3）导出a（x）2=x2+a2，b（x）-1=f-1−a（x）-1，（4）我们通过将小透镜网格模型拟合到视场图像的中心区域来适应FOV上小透镜图像间距的变化。然后，我们在采样的θs、θt维度中分配额外的空间，以允许小透镜图像向外朝向每个传感器的边缘漂移。为了将图像配准到公共LF中，最方便的是固定传感器之间的网格模型间距，以确保一致的采样模式。场曲率的几何形状影响独立于小透镜图像移位的采样图案的斜率因此，我们可以解决场曲率而无需进一步处理。 为此，我们通过在给定扭曲位置θ ′的情况下内插理想位置θ u来校正采样模式。请注意，理想 情况 下，这是在所需 的θu方向上完成的，但一个好的和计算有效的近似是沿着现有的 θ′维插值。 因此，我们将场曲率校正简化为在θ u、θ v切片上应用的2D插值。高阶效应影响小透镜图像位置和我们设计的采样模式。单中心透镜接近理想，因此我们现在忽略它可能在采样图案中引起的高阶像差在我们的光学原型中包含外部虹膜和中继光学器件具有更强的影响，主要是将小透镜图像中心移动到不均匀的网格上。未来的原型将省略中继器和外部光圈，因此我们通过预渲染步骤解决小透镜图像偏移问题，该预渲染步骤将数据驱动的平滑网格模型拟合到视场图像。然后，这用于将小透镜图像移动到公共中心1m（x）=2.Σ1−b0=fb（x）2. （1 + x2/a2）-1−1a0−f，在渲染之前。5. 结果（五）其中f是主透镜的焦距，a和b是传感器侧和物侧焦距，如图所示。5，并且m是上述采样模式斜率5.1. 光学原型我们构造了一个单中心LF相机的原型，它由一个单中心透镜和一个单传感器以及MLA组成则实际采样位置θ′以下理想位置的术语′可以表示为虽然我们设想最终将MLA直接结合在一起对于传感器来说，光学键合是一项精密的机械任务，我们在此原型中没有尝试。因此，我们采用光中继系统，如图1所示。3 .第三章。θu=θ u+ m（x）θ s。（六）请注意，在推广到4D时，x必须替换为距传感器中心的径向距离。4.3. 解码和场平坦化现在，我们拥有了将光学设计中的多个传感器配准到单个方便的表示中所需的工具我们的解码过程与传统的基于小透镜的LF相机的解码过程密切相关，基于MATLAB的光场分析[7]。该过程包括使用微透镜场图像定位小透镜中心，将LF切割成4D结构，然后应用1D插值来校正MLA的六边形填充。在我们的原型系统中使用的镜头是一个12毫米焦距F/1.35消色差。它由半径为3.6 mm的S-LAL 13玻璃球体制成，周围是外径为7.15 mm的对称 S-LAH 79玻璃这些元件被研磨和抛光成半球形对，并在中心有一个4.4 mm的孔径。所得透镜看起来是直径为14.3 mm的实心玻璃球。该镜头的特征在于[30]，显示在全120°FOV内MTF 25为300 lp/mm。这样的性能是传统镜头从未达到过的。我们使用OmniVision OV13850 CMOS图像传感器，具有13 MPix和1.12µ m像素间距。MLA与Lytro IllumLF相机使用的相同：f=5054(a)(b)（c）第（1）款图6.验证字段扩展：（a）示例输入，（b）校正之前的斜率估计，其示出明显的径向凸出，以及(c)field-显示正确深度行为的增强图像40 µm F/2.0，六角形排列，小透镜直径为20µ m。注意，实验系统的f数当前由微透镜而不是主透镜限制因此，在镜头的场景侧上引入外部光圈，以有效地将单中心镜头的f数与MLA的这是安装在尽可能接近主镜头，以限制其对LF几何形状的影响。MLA、光学中继器、外部光圈和传感器安装在机械臂上，机械臂围绕固定单中心透镜旋转以模拟多传感器设置。该臂摆动120°弧，因此在每帧FOV约为24°的情况下，该设备可以捕获超过140°的全景，忽略渐晕。通过允许外部虹膜与手臂的其他部分一起旋转，我们可以防止它引起渐晕。外部虹膜模仿[1]中的透镜设计，其中来自内部凸表面的全内反射提供了完美的角度不变的孔径和响应。我们计划在后续工作中采用这种视角。5.2. 场平坦化为了确认场聚焦方法的有效性，我们在0.5至4 m焦深范围内收集的单帧LF上进行了测试。在设置透视变换动画时，最容易看到场曲率引起的变形，在帧中心附近显示为凸起在印刷品中，它在斜率估计中看得更清楚，在帧的中心附近向相机凸出图6a描绘了聚焦在0.8m深度处并且在s，t样本范围的中心处可视化的示例输入场景。在（6）之后，在该中心视图中失真是不可见的，但是在未校正的图像中对斜率估计的影响，如图2所示。6B是明确的。校正后的图像图。图6c示出了预期的斜率行为此处所示的斜率估计值取自LF [6，21]的梯度方向，并通过点-平面对应关系与深度相关（3）。估计公制深度需要校准，这是留给未来的工作。5.3. 全景我们使用光学原型来捕获室内和室外场景中的LF光斑-示例在图1A和1B中示出。7和8这些都是通过旋转传感器和MLA的单中心透镜，如节中所述。3、模拟多传感器设置。对于此处所示的臂角，我们捕获了11帧，臂角以12°增量跨越120°。每一帧都有大约24°的视野，所以这导致了144°的全景，但由于边缘附近的渐晕，这被减少到138° -渐晕在图中可见。7 .第一次会议。在理想的多传感器设置中，连续的传感器确保了场景的完全覆盖。由于单传感器设置难以重复实现连续捕获，我们捕获了重叠视图，并利用重叠来渲染无缝图像。该相机的有效像素数为15×15×1600×200，即72MPix。小透镜标称直径为17.5像素，因此光圈和中继器的微调在未来的实验中，光学器件应该允许更接近92 MPix图中所示的室内全景。7号的深度范围为0.4 -6米，后墙距离相机2米，靠近全景的中心，相机聚焦在0.8米。斜率估计值（中心）显示整个LF中的强深度信息，并且重新聚焦结果（底部）证明了清晰的深度选择性。图中所示的室外全景8具有类似的几何形状，但在可变的焦深上捕获，从4米移动到1米以捕获场景右侧的填充玩具。真正的多传感器设置可以通过相对于主镜头平移各个传感器和小透镜来处理这种焦点偏移。一些混合接缝是明显的，特别是附近的填充动物。这部分是由于边缘附近的散焦模糊，这是由于该帧的更近的焦点设置。在多传感器设置中也启用了每传感器曝光，并且我们通过在全景上跨越2-6 ms的4个设置上改变曝光来模拟这一点图中的插图。图8展示了用于重新聚焦的深度选择性（最左和最右的插图），以及通过插值的分辨率增强（中心插图）。后者是与聚焦相同的操作，应用于更精细的采样网格，以受益于LF上散布的几何信息。Ihrke等人[18]将其称为几何超分辨率，以将其与使用混叠信息的方法区分开来-我们预期使用更复杂的方法可能得到更好的结果。6. 讨论我们提出了一种光学设计和工具链，用于从紧凑的单镜头相机中收集宽FOV图像由同心玻璃球构成，单中心透镜提供了所需的径向对称性，5055图7. 使用我们的系统拍摄的138° 72 MPix（15×15×1600×200）LF全景：（顶部）4D LF的2D切片，其示出了（中心）深度估计和（底部）近焦点和远焦点的细节视图。图8.采用每个传感器曝光和焦点设置的室外场景这个138° LF是由11张图像在4次曝光和2次对焦设置下生成的插图示出了使用LF插值的重聚焦和分辨率增强。有效地工作我们表明，平面传感器可以耦合到软件中的球面焦面我们提出了一个适合相机的参数化，并减少了场曲率校正在这个空间中的一组2D插值。我们展示了一个能够捕获138°15×15×1600×200（72 MPix）光斑的光学原型，通过围绕固定的单中心透镜旋转传感器和小透镜阵列来模拟多传感器操作。室内和室外示例展示了相对深度估计，拍摄后重聚焦和LF超分辨率。我们还展示了通过在不同曝光之间改变曝光和焦点设置来扩展动态范围和景深，模拟多传感器系统中的每个传感器控制。这项工作为实现实用、紧凑、宽FOV LF捕获迈出了第一步我们预计应用程序跨越嵌入式视觉，包括虚拟和增强现实、自动驾驶汽车和机器人技术。下一步的发展是创造一个紧凑的多传感器钻机类似图中所描绘的。1.一、通过平铺传感器实现连续图像捕获是困难的，我们预计通过再次采用低成本光学器件与LF处理配对来简化这一挑战。对于度量操作，我们预计探索一个合适的相机模型和校准方案。鸣谢我们感谢Kurt Akeley和Lytro捐赠硬件，使这项工作成为可能。这项工作得到了NSF/Intel视觉和经验计 算 合 作 伙 伴 关 系 （ Intel #1539120 ， NSF #IIS-1539120 ） 的 支 持 。 作 者 感 谢 Google ATAP 提 供 了Omnivision 传感器接口，感谢Julie Chang 和SreenathKrish nan对早期光学原型的帮助。这项工作中使用的单中心透镜是在DARPA SCENICC研究计划中制造的。5056引用[1] I. P. Agurok和J.E. 福特使用全内反射虚拟孔径的角度不变成像OSA Applied Optics，55（20）：5345-5352，2016。7[2] R. 安德森，D.J·T·盖洛普Barron，J. Kontkanen，N. S a vel y，C. Hern a'ndez，S. A g ar wal和S. M. 塞茨Jump：虚拟现实视频。ACM Transactions on Graph-ics（TOG），35（6）：198，2016。第1、3条[3] C. Birklbauer和O.宾伯全景光场成像。在Eurographics，2014年。一、二[4] D. J. Brady，M. E.格姆河A. Stack，D. L. Marks，D. S.Kittle，D. R. Golish，E. M. Vera和S. F. 费勒多尺度千兆像素摄影。Nature，486：386-389，2012。一、三、四[5] O. S.科塞尔特D. Miau和S. K.纳亚尔千兆像素的计算成像。在计算摄影（ICCP），第1-8页。IEEE，2011年。3[6] D. G. Dansereau和L. T.布鲁顿从4D光场进行基于曲率的深 度 估 计 在 国 际 Symposium on Circuits and Systems（ISCAS），第3卷，第549-552页。IEEE，2004年5月7[7] D. G.丹瑟罗岛Pizarro和S. B.威廉姆斯基于微透镜的全光相机的解码、校准和校正。计算机视觉和模式识别（CVPR），第1027-1034页。IEEE，2013年6月。6[8] D. G. Dansereau，S. B. Williams和P. I.科克移动光场相机 的 简 单 变 化 检 测 。 计 算 机 视 觉 和 图 像 理 解（CVIU），145 C：160- 171，2016。1[9] F. 东，S-地H. Ieng，X.萨瓦捷河艾蒂安-卡明斯，还有R.贝诺斯曼实时机器人中的全光相机。国际机场Journalof Robotics Research，32（2）：206-217，2013. 1[10] C.联合S. Edussooriya，D. G.丹瑟罗湖T.布鲁顿，P. Agathoklis.五维（5-D）深度-速度滤波，用于增强光场 视 频 中 的 移 动 对 象 。 IEEE Transactions on SignalProcessing（TSP），63（8）：21512015年4月。1[11] J. 菲斯湾Curless和R.塞利斯基使用深度自适应溅射重新聚焦全光在计算摄影（ICCP），第1-9页。IEEE，2014。4[12] T.甘地和M. M.特里维迪车载宽视野立体声系统，用于交通和行人检测。在IEEE图像处理国际会议2005，第2卷，第II-121页中。IEEE，2005年。1[13] X. Guo，Z. Yu，S. B.康，H. Lin和J. Yu.通过光线空间拼接增强光场。IEEE Transactions on Visualization andComputer Graphics，22（7）：1852 一、二[14] P. Hanrahan和R.Ng. 光场摄影中透镜像差的数字校正 在OSA Intl. 光学设计。OSA，2006年。3[15] M. Hasard，S.李湾，澳-地Choi和R.霍罗德飞行时间相机：原理、方法和应用。Springer，2012. 3[16] F.- C. Huang，K. Chen和G.韦茨斯坦光场立体镜：通过带聚焦提示的近眼光场显示器实现沉浸式计算机图形ACM Transactions on Graphics（TOG），34（4）：60，2015. 3[17] I. 是 的 ， S 。 Park 和 R. K. 李 你 球 形 光 场 的 渲 染 。IEEEPacific Graphics，第59-68页。IEEE，1997年。4[18] I. Ihrke，J. Restrepo，and L.米格纳德-迪比斯 光场成像原理。IEEE信号处理杂志，1053（5888/16），2016年。1、7[19] M. Levoy和P.汉拉汉光场渲染。在SIG中-图，第31-42页。ACM，1996年。4[20] C.- K. Liang和R. Ramamoorthi用于小透镜光场相机的光传输框架。ACM Transactions on Graphics（TOG），34（2）：16，2015. 4[21] J.卢克F.罗莎J.马里查J.圣路易斯，C. Dominguez Conde和J.罗德里格斯·拉莫斯光场深度分析4D局部结构。显示技术，Journal of，2014。7[22] K. 宫 本 鱼 眼 镜 头 。 Journal of the Optical Society ofAmerica，54（8）：1060-1061，1964. 2[23] S. K.纳亚尔折反射全向摄像机。在计算机视觉和模式识别（CVPR）中，第482- 488页IEEE，1997年。2[24] R. Ng，M。 我来了，M。 B re dif，G. Du v al，M. 霍洛维茨，还有P. Hanrahan.使用手持式全光相机进行光场摄影。斯坦福大学计算机科学技术报告CSTR，2005年2月。一、二、四[25] D. Scaramuzza和R.西格沃特室外地面车辆的外观引导单目全向视觉里程计IEEE transactions on robotics，24（5）：1015 1[26] A. 沙德曼河S. Decker，J.Opfermann，S.Leonard，P.C.Kim和A.克里格手术机器人中的全光摄像机：校准，配准和评估。在机器人和自动化（ICRA），第708-714页IEEE，2016. 1[27] C. 锡帕阿南河Hartley等人用高分辨率全方位摄像机进行视觉定位和在全方位视觉工作坊上。Citeseer，2005年。1[28] K. A. Skinner和M.约翰逊-罗伯森公司利用全光相机进行在智能机器人和系统（IROS），2014-2021页IEEE，2016. 1[29] I.斯塔梅诺夫岛P. Agurok和J. E.福特 用于紧凑型全景成像仪的双玻璃单心透镜的优化：一般像差分析和特殊设计。OSA应用光学，51（31）：7648-7661，2012。第1、3条[30] I. Stamenov，A. Arianpour，S.奥利瓦斯岛P. Agurok，A.R.约翰逊河，巴西-地A.斯塔克河L. Morrison和J. E.福特使用光纤耦合焦平面的全景单中心成像。OSA OpticsExpress，22（26）：31708-31721，2014。四、六[31] R.塞利斯基 计算机视觉：算法和应用。施普林格，2010年。2[32] S.托德角Rezk-Salama，A. Kolb和K.库纳特快速（球形）光场渲染，具有每像素深度。技术报告，锡根大学，德国，2007年。4[33] E. J. Tremblay，D. L. Marks，D. J. Brady和J. E.福特单中心多尺度成像仪的设计与定标。OSA应用光学，51（20）：4691-4702，2012。一、二、三、四5057[34] L- Y.韦角，澳-地K. Liang，G.迈尔角Pitts和K.埃克利改进具有不规则性和像差的光场相机样品设计。ACMTransactions on Graphics（TOG），34（4）：152，2015。3[35] T. Wu，S. Hamann，A.塞瓦略斯岛Solgaard和R.豪微型单心成像仪曲面硅像面的设计与制作。 在国际固态传感器、致动器和微系统会议，第2073- 2076页。IEEE，2015年。4[36] T. Wu，S. S. Hamann，A. C. Ceballos角E.昌岛Sol- gaard和R. T.豪单中心成像器的硅镶嵌结构微系统纳米工程，2，2016年。3[37] Z. 薛湖，加-地Baboulaz，P.Prandoni和M.维特利全光照相机拍摄的光在IS T/SPIE电子成像中，第90200 S国际机场光学与光子学学会，2014年一、二