编码两桶成像：一种用于计算机视觉的可编程CMOS传感器设计与制造

用于计算机视觉的Mian Wei1，Navid Sarhangnejad2，Zhengfan Xia2，Nikita Gusev2，NikolaKatic2，Roman Genov2，and Kiriakos N.Kutulakos11加拿大多伦多大学计算机科学系{mianwei，kyros}@ cs.toronto.edu2加拿大多伦多大学电气工程系{sarhangn，xia，nikita，roman}@ ece.toronto.edu，katic. gmail.com抽象。我们介绍了编码两桶（C2B）成像，一个新的操作原理计算传感器与应用程序在主动三维形状估计和编码曝光成像。C2B传感器调制到达每个传感器通过控制像素的两个“桶”中的哪一个应该对像素进行积分来对像素进行积分。C2B传感器每个视频帧输出两个图像（每个存储桶一个），并允许对活动存储桶进行快速、完全可编程的逐像素控制。使用这些性质作为起点，我们（1）开发用于这些传感器的图像形成模型(2)将它们与可编程光源耦合以获取照明马赛克，即，在许多不同照明条件下的场景的图像，其像素已经在一次拍摄中被多路复用和获取，以及（3）示出了如何处理照明马赛克以在传感器我们提出了这些功能的第一个实验演示，使用全功能的C2B相机原型。这个独特的原型的关键是一种新型的可编程CMOS传感器，我们从头开始设计，制造并变成一个工作系统。1介绍新的相机设计和新型成像传感器在推动计算机视觉领域朝着令人兴奋的新方向发展方面发挥了重要作用。仅在过去十年中，飞行时间相机[1，2]已被广泛用于视觉[3]和计算摄影任务[4-7];支持异步成像的事件相机[8]已经导致了用于高速运动分析[9]和3D扫描[10]的新视觉技术;具有双像素[11]和分类像素[12]设计的高分辨率传感器定义了智能手机相机的最新技术水平;具有逐像素编码曝光能力的传感器开始出现[13，14]用于压缩传感应用[15]。在此背景下，我们介绍了一种新型的计算视频摄像机的视觉社区编码两桶（C2B）相机（图1）。C2B相机是一种像素编码曝光相机，从不阻挡入射光。相反，传感器中的每个像素包含两个电荷收集点两个摄像机每视频帧输出这种独特功能的关键是一种新型的可编程CMOS传感器，2M. Wei等人C2B相机原型C2B像素的时变行为一个帧像素内SRAM桶-1信号桶0信号图1：C2B相机。左图：我们的原型传感器以每秒20帧的速度输出视频，由两个阵列组成：一个244×160像素阵列支持相对较慢的存储桶控制（每帧最多4个子帧），一个35×48像素阵列支持更快的控制（每帧最多120个子帧）。右图：每一帧被分成S个子帧，在此期间像素用户指定的2D二进制模式序列确定SRAM值在每个像素和子帧。注意，像素的两个桶从不处于相同的状态（即，两个桶之间的距离）。都是有源的或都是无源的），因为这会降低成像性能-参见[32]以讨论此问题和其他相关的CMOS设计问题。两个桶的光生成电荷仅在每帧结束时被读取、数字化和清除一次。我们从头开始设计，首次采用CMOS图像传感器（CIS）工艺技术[16]制造，并将其转化为工作相机系统。C2B相机的光效率和电子每像素编码功能开辟了一系列远远超出当今可能的应用。这可能包括具有最佳光效率的高速视频的压缩采集[17];仅对极[18]和非对极视频流的同时采集;高动态范围交流闪烁视频的全电子采集[19];赋予非校正成像系统类似EpiScan 3D的功能[20];以及利用紧凑的相机平台执行许多其他编码曝光成像任务[15，21，22]。然而，我们在第一篇论文中的重点是强调C2B相机用于实时密集单次3D重建的新功能：我们表明，从一个灰度C2B视频帧的动态场景下的主动照明，它是可能的重建场景的3D快照（即。每个像素的视差或法线，加上视差），分辨率与传感器的像素阵列相当我们认为C2B相机允许我们将这个非常困难的3D重建问题[23特别是，我们证明了C2B相机可以在S≥3个线性独立照明下在一帧中获取场景的图像，在S-1个相邻像素的桶中进行复用我们称这样的帧为双桶照明马赛克。在这种情况下，在全传感器分辨率下的重建涉及四个步骤（图1）。2）：（1）对照桶活动和光源，以将场景的2（S-1）个不同的低分辨率图像打包到一个C2B帧中（即，每个桶S-1个图像）;（2）对这些图像进行上采样子帧1 2 31 0 0子帧41· · ·子帧S整合···1整合不整合不整合不整合整合整合整合不整合不整合编码双桶摄像机3存储桶0铲斗1步骤1（第2）：捕获C2B帧原始强度（S=4）重排像素1 22 34 55 6步骤2（第5）：通过单独地对照度cp1L照度cp2L照度cp3L1 2 31 2 3照度cp1L照度cp2L照度cp3L1 2 34 5 6步骤3（第4）：联合地解复用2（S-1）个上采样图像照明l3照明l4步骤4（第3）：重建场景视差图反照率图S=4时捕获的单次光度学立体示例C2B帧原始强度（桶1）法线贴图原始强度（桶0）连续映射图2：使用C2B相机的密集单次重建。该过程实时运行，并说明了结构光三角测量。请放大电子副本，查看C2B帧的各个像素，并参考所列章节的注释和详细信息。光度立体是以类似的方式执行的，通过用一组结构光投影仪代替结构光投影仪来执行。S个定向光源（右下角显示了重建示例通过去马赛克达到完全分辨率;（3）联合地解复用所有上采样的图像，以获得多达S个线性独立的全分辨率图像;以及（4）使用这些图像来独立地求解每个像素处的形状和反照率。我们通过使用两种最古老和最简单的有效3D重建算法（多模式余弦相移[33，34]和光度立体[35]）从一次拍摄中恢复密集的3D形状和反照率来证明该过程从硬件的角度来看，我们建立在以前的尝试，以制造具有C2B功能的传感器[36-38]，这并不依赖于CMOS图像传感器工艺技术。更广泛地说，我们的原型可以被认为是概括了三个家族的传感器。可编程编码曝光传感器[13]允许单个像素在视频帧曝光期间被“掩蔽”一段时间（图2）。3，左）。就像C2B传感器一样，它们在每个像素内有一个可写的一位存储器来控制掩蔽，但是它们的像素缺少第二个桶，因此落在“掩蔽”像素上的光连续波飞行时间传感器[1，2]可以被认为具有编码曝光传感器的补充功能：它们的像素具有两个桶（bucket），其活动性可以通过编程来切换（因此没有光损失），但是它们没有像素内可写存储器。因此，活动桶被约束为对于所有pix都是相同的。4M. Wei等人fs fs fsfsfs fs编码曝光连续波编码双桶成像像素掩码c桶-1掩码c桶-0掩码c桶-1掩码c桶-0掩码c············· ··图3：基本传感器能力的比较。编码曝光传感器可以快速屏蔽单个像素，但不能收集所有入射光;连续波ToF传感器总是收集所有入射光，但它们不能单独屏蔽像素; C2B传感器可以做到这两点。列向量c和c分别表示桶-1掩码/活动及其二进制补码els（图3，中间）。这使得可编程的每像素编码-和获取照明马赛克，特别是-不可能没有专门的光学器件（例如，[17]）。多桶（也称为“多抽头”）传感器[39-42]在每个像素中具有两个以上的桶，但它们也没有可写存储器，因此不可能进行理论上，S桶传感器将唯一地适合于密集的单次重建，因为它可以在每帧中获取对应于任何一组S照明的S个全分辨率图像[43]。然而，在实践中，C2B传感器具有几个优点：它们是可缩放的，因为它们可以针对任何S值将S个线性独立的图像打包到一个帧中，而无需将该值硬连线到像素的CMOS设计中;它们的光效率高得多，因为对于给定的像素大小，每个额外的桶显著地减小了像素的光敏区域;并且它们具有更广泛的应用范围，因为它们能够进行每像素编码。据我们所知，具有超过四个桶的2D传感器尚未在标准CMOS图像工艺中制造，并且尚不清楚它们是否可以提供可接受的成像性能。在概念方面，我们的贡献如下：（1）提出了C2B相机的通用模型，为有源编码曝光成像开辟了新的方向;（2）我们将其控制公式化为桶和像素域中的新型多路复用问题[31，44 - 49];（3）我们在两桶成像和直接对强度比进行操作的算法之间建立了联系[50];以及（4）我们提供了一种用于密集单次重建的算法独立框架，该框架比早期尝试[18]更简单，并且与标准图像兼容。处理管线。最后但并非最不重要的是，我们证明了所有上述实验，在第一个全面运作的C2B相机原型。子帧S=S子帧S=2子帧s=1编码双桶摄像机5CP切片CpFF个帧C切片CfFFS子帧Cp，CpL tp==FS(a)（b）第（1）款图4：（a）码张量C的结构。（b）像素p的图像形成模型。我们示出了结构光设置的传输矢量tp，其中环境照明的贡献是tp[L]=b，对应的投影仪像素是l，并且其反照率是tp[l]=a。2编码双桶成像我们首先介绍一个C2B相机的图像形成模型我们在本节中考虑最一般的设置，其中可以获取C2B帧的整个序列而不是仅一个。C2B摄像机每视频帧输出两个图像-每个桶一个（图1）。2）的情况。我们将这些图像称为桶-1图像和桶-0图像。代码张量。对C2B相机进行编程相当于在两个不同的时间尺度上指定其像素存储器的时变内容：（1）在视频帧内的子帧的尺度上，其对应于像素内存储器的更新(Fig. 1，右），以及（2）在视频序列内的帧的尺度上。对于具有F个帧的视频序列和具有P个像素并支持S个子帧的相机，桶活动可以表示为大小为P ×S的三维二进制张量C。F×S。我们称C为代码张量（图1）。（见第4a段）。在下面的分析中，我们使用了代码张量的两个特定的2D对于特定像素p，切片Cp描述像素p的桶跨所有帧和子帧的活动类似地，对于特定帧f，切片Cf描述跨f的所有子帧的所有像素的桶活动：CP1CPC P =2C=Σcc. . .CΣ，（1）好吧CP`FSxff1`f2fSP�x�Sx其中c_p是S维行向量，其指定中的像素p的活动桶。帧f的子帧;和c是一个P维列向量，它指定帧f的子帧s中的所有像素的活动桶。照明矩阵。虽然C2B相机可用于被动成像应用[15]，但我们对照明在子帧处可编程的情况进行0 0 1 0 1 0 · · ·1 10源l.CPF照明灯.S.01 1 0 1 0 1 · · ·0 0a0L源CPf0B子帧sIppP个像素F个帧F个帧FS6M. Wei等人LΣ ΣΣΣ联系我们联系我们F时间表也是。特别地，我们将场景l1l2L=（2）.LS`S×Lx其中行向量s表示每一帧的子帧s中的场景在这项工作中，我们考虑两种类型的场景照明：一组L个方向光源，其强度由矢量ls给出;以及投影仪，其在环境光的存在下投影由ls的前L-1个元素指定的图案，我们将其投影到一个投影仪上。将其视为“始终开启”的第L个源（即，，元素ls[L]=1，对于所有s）。两个备份的图像用于图形化模块化元素。令ipa n d（ipbec olu m nve co r s分别保持F个帧中像素p的桶1和桶0的强度。我们将这些强度建模为从L个光源到像素的两个桶的光传输的结果4b）：IppCP=CpLtp、（3）2`Fx1`2FSx`SLx`L1x其中b表示矩阵或向量b的二进制补数，Cp是代码的切片对应于p的张量，并且tp是像素该向量的元素t_p[l]描述了在一个子帧的时间跨度中，跨越所有光路的光从源l到像素p为了获得一些关于Eq的直觉（3），考虑框架f中的桶ip[f]=. cpLtpip[f]=. cpLΣtp.（四）F照明条件像素p，桶1，帧fF照明条件像素p，桶0，帧f实际上，像素p的两个桶可以被认为是在分别由向量c_p_L和c_p_L给出的两个潜在不同的更多-f f此外，如果CP在帧与帧之间变化，则这些照明条件也可以变化库存可根据客户需求进行调整。“ 由于像素的两个块通常表示不同的光照条件，因此两个比率ip[f]r=ip[f]+ip[f]， r=ip[f]ip[f]+、（五）由p的桶定义的此外，我们在[32]中表明，在零均值高斯图像噪声下，这些比率可以很好地近似于高斯随机变量，其均值是理想（无噪声）比率，并且其标准偏差弱依赖于反照率。实际上，C2B相机每帧提供两个我们利用C2B相机的形状恢复和去马赛克在秒的这一功能分别为3和5编码双桶摄像机7˜˜=1联系我们联系我们联系我们2.1获取双桶照明镶嵌C2B相机的一个关键特性是它们提供了多帧采集的重要替代方案：它们可以在单个C2B帧中捕获F帧的空间复用版本，而不是按顺序捕获F帧（图1B）。2）的情况。我们将这样的帧称为两桶照明马赛克，类似于彩色图像传感器的RGB滤波器马赛克[12，53，54]。然而，与附接到传感器并且不能改变的滤波器马赛克不同，照明马赛克的获取对于任何F都是可编程的。bucket-1和bucket-0图像序列。 收集两个桶的强度 由方程式（4）在所有帧和像素上，我们定义两个矩阵来保存所有这些数据：I=Σi1i2。 . . iPΣI=Σi1i2. . . PΣ.（六）`FPx`FPx用于马赛克采集的编码张量。形式上，双桶照明马赛克是等式I和IinEq的空间子映射。 （六）、因为我知道我是谁- 指定一帧代码张量C，该一帧代码张量C在空间上复用图4（a）中的对应F帧张量C。我们通过（1）定义传感器平面的规则平铺和（2）指定在平铺中的K个p ix el s和d帧s之间的对应关系（pi→fi），1≤i≤K来做到这一点。C. C.的工作是为了CPi1defcpifi .（七）马赛克采集示例。图2中的C2B帧。使用2×2像素图块来空间复用三帧代码张量来捕获2。张量将相同的照明条件分配给帧内的所有像素以及帧间的不同条件。跳转使用对应关系{（1，1）→1，（1，2）→2，（2，1）→2，（2，2）→3}将每个图块内的像素分配给各个帧。3法线和深度的逐像素估计现在让我们转向分别使用光度立体和结构光三角测量的法线和深度估计的问题我们认为这些任务的最基本的配方，其中所有的计算是独立地在每个像素和观测和未知数之间的关系，lation表示为一个系统的线性方程组这些公式应仅作为展示双桶成像的特殊特性的实例;与传统相机一样，使用先进的方法来处理更一般的设置[55，56]当然是可能的。从桶强度到解复用强度。作为一个起点，我们扩大方程。（3）为了得到仅涉及强度的关系Σip ΣP2Cp Σl1tpΣCpΣ=ipip=Cp.defCP好吧我.（八）铲斗测量（2F ×1）lStp桶复用矩阵W（2F×S）pS在照明L1，. . . ，lS（S×1）8M. Wei等人一S1。IS朗伯光度立体结构光三角测量w/余弦图案假设朗伯反射率、非均匀反照率;校准的光源;无环境光或间接光反射率具有不可忽略的漫射分量;对间接光的鲁棒性取决于频率的选择照明矢量ls每个L对应于仅利用源S的照明打开，即，元素ls[l]是非零的当且仅当s=lls[l]=cos（φs+θl），其中φs是第s个图案的相移θl是投影仪像素l的相位向量d是源s的方向和强度，表示为3D行向量Σ Σds=cos（φs）−sin（φs）1矩阵D矩阵，其行是向量d1，. . . dS矩阵，其行是向量d1，. . . DS运输矢量tt[s]=adsn其中a是反照率，n是单位表面法线t=ΣambΣ′，其中a是a lb e do，b是环境光的分布，并且二进制行向量m指示匹配的投影仪像素，即，m[l]= l，如果该像素是l（参见图1B）。第4b条）Vec至 rxx=nx=Σcos（θ）sin（θ） bΣ′i如果相同的频率用于所有图案;附加频率各自贡献两个未知数; θ是匹配投影仪像素的相位表1：本工作中考虑的两种基本多图像重建技术。等式（1）的右手侧中的每个标量(8)是如果场景的照明条件是1秒，则常规相机像素将记录的强度因此，Eq。(8)告诉我们，就单个像素p而言，C2B相机捕获与常规相机将捕获用于3D重建的相同的S测量值-除了那些测量值在2F桶强度上复用。为了恢复它们，这些强度必须通过反转等式（1）来解复用。（八）、ip。=（W′W）−1W′ΣipΣ、（9）.pIpS其中′表示矩阵转置。这种反演只有在（W′W）−1W′非奇异时才是可能的。此外，解复用强度的信噪比（SNR）严重依赖于W和Cp（Sec.4）.现在先把这个问题放在一边，我们考虑下面从已经解复用的强度恢复形状的任务为了符号简单，我们从下面的等式中删除像素索引p3D形状上的每像素约束。 解复用的强度和像素的未知数之间的关系简体中文。=aDx+e，（10）其中D是已知的; X是包含像素的形状未知的3D向量;a为未知反照率;e是观测噪声。表1总结了每个问题（十）、有（至少）三种方法来扭转Eq。(10)转换成零均值高斯噪声下的法线和深度约束。时，生成的约束不等效编码双桶摄像机9l k k组合来自小像素邻域的测量-正如我们隐含地做的-因为它们对空间反照率变化不是同样不变的：1. 直接法（DM）：处理Eq.公式（10）为提供对向量ax的S个独立约束，并求解a和x。这种方法的优点是，误差是高斯的建设;其缺点是，方程。（10）取决于反照率。2. 比率约束（R）：将各个强度除以它们的总和以获得照明比，如在等式中。（五）、这对x产生以下约束：rllDx=dllx，（11）其中rl= i/Σ i，并且1是全1的行向量。这里的优点是rl和Eq.（11）近似地对反照率不变3. 叉积约束（CP）：代替从等式（1）计算显式比率（10）、消去a得ildkx= ikdlx。（十二）由于Eq. (12)有强度i，l，k作为因子，它隐含地依赖于反照率。解决未知数。结构光和光度立体都需要至少S≥3个独立约束以获得唯一解。在DM方法中，我们使用最小二乘法来求解x;当使用R或CP约束时，我们应用奇异值分解来求解x。4用于桶复用的码矩阵上一节给出了解决3D形状的方法，当我们每个像素有足够的独立约束时这里，我们考虑控制C2B相机以实际获得像素p的图像的问题。特别地，我们示出了如何选择（1）帧F的数量，（2）每帧S的子帧的数量，以及（3）代码张量的像素特定切片（^，其定义等式（1）中的复用矩阵W（八）、确定这些参数可以被认为是最佳多路复用问题的实例[31，44-49]。该问题之前已经在许多上下文中被考虑为从S个期望的测量到S个实际的噪声观测的一对一映射。然而，在编码的两桶成像的情况下，问题稍微不同，因为每个帧产生两个测量而不是仅一个。下面的结果提供了对这个特定的多路复用问题的进一步了解（参见[32]的证明）。观察1暗示即使像素的两个- 在F个帧上总共提供2F个测量，它们中的至多F+1个可以是独立的，因为复用矩阵W是秩亏的：观察结果1等级W≤min（F+ 1，S）。直觉上，C2B相机不应该被认为等同于两个完全独立操作的编码曝光相机。这是因为像素的两个桶的活动是彼此的二进制互补，因此不是独立的10M. Wei等人22S#子帧当量（13）σ=1的界S=30的情况。5556S=40的情况。4167S=50的情况。34S=60的情况。2889S=70的情况。2517σ=1时的最优MSE0的情况。83330的情况。41670的情况。37780的情况。34670的情况。3210最优Cp1 0 01 1 0 01 1 0 0 01 1 1 0 0 01 1 1 1 1 0 00 1 01 0 1 01 0 1 0 01 1 0 0 1 01 1 1 0 0 0 11 0 0 11 0 0 1 01 0 1 1 1 01 1 0 0 1 1 01 0 0 0 11 0 1 0 1 11 0 1 0 1 1 01 0 0 1 0 11 0 0 1 0 1 01 0 0 0 1 0 1表2：小S的最优矩阵 Cp。注意，由Eq. (13)只有当S = 4时才能得到，即的最小Hadamard基构造。推论1. 复用S强度需要F≥S−1帧。推论2.在像素P处的完全约束重建的最小配置是F = 2帧，S =每帧3个子帧，并且S = 3个维度L多3的线性独立的照明向量。下一最高配置是3个帧，4个子帧/照明向量。我们现在寻找最优的（S−1）×S矩阵Cp，即，最大化等式（1）中的解复用强度的SNR的矩阵。（九）、引理1扩展了下界Ratner等人的分析[45]以获得两桶复用的均方误差（MSE）的下限[32]：引理1. 对于每个复用矩阵W，最佳无偏线性估计器的MSE满足下界MSE=σ迹Σ。W′WΣ−1Σ≥2σ2（S−1）2+1（S−1）S2.（十三）虽然引理1没有提供明确的构造，但它确实确保了MSE是下界的W矩阵的最优性我们使用这个观察结果来验证从标准Hadamard构造导出的矩阵的最优性[31]：假设1令Cp=1（H~+1），其中H~是通过移除S × S Ha矩阵的一行而从S ×SHa矩阵导出的，以创建（S-1）× S矩阵。由Cp定义的桶复用矩阵W是最优的。命题1适用的最小S是S=4和S=8。由于我们的主要目标是一次采集，其他小的S值的最佳矩阵也是显着的兴趣。为了找到它们，我们在小的（S−1）×S二进制矩阵空间上进行了一次强力搜索，以找到MSE最低的二进制矩阵这些矩阵如表2所示见图图6（a）、（b）和[32]用于初始经验SNR分析。5基于双桶照明镶嵌的单次形状我们使用三种不同的方法从两桶照明马赛克估计形状编码双桶摄像机11bucket-1 ratio mosaic bucket-0 ratio mosaic after demosaicing（1 of 6）解复用后（第1页，共4页）图5：处理比率马赛克。从左到右：第12节的BRD重建程序的中间结果5，从图5所示的原始C2B帧开始。步骤1.与图2中步骤2和步骤32，上面的图像基本上不受反照率变化的影响。1. 强度去马赛克（ID）：为了去马赛克的目的，将马赛克图块中的强度作为单独的“成像维度”处理;通过一次将RGB去马赛克算法应用于这些维度中的三个，或者通过使用考虑所有这些维度的更一般的分类像素过程[12，54]来对这些强度进行上采样;使用等式（1）解复用2F上采样图像。(9);及应用任何的估计方法。三是结果。图2说明了这种方法。2. 桶比去马赛克（BRD）：应用等式（5）对镶嵌图中的每个像素，以获得两个反照率不变的“比率镶嵌图”;对它们进行去马赛克和解复用;并使用Sec的比率约束计算3D形状。3.第三章。见图5为例。3. 无去马赛克（ND）：代替上采样，将每个镶嵌图块视为其未知数（即，、正常、视差等。）在瓦片内不变化;使用Sec. 3.第三章。单次光度立体对合成数据的性能评估。 图 6（c）和（d）分析了由Secs的几种方法组合计算的法线映射的有效分辨率和不变性 3和5，加上两个-基线，其将基本光度立体应用于三个全分辨率图像;和Color，[23]中的单次彩色光度立体技术。为了生成合成数据，我们（1）生成具有随机空间变化的法线贴图和RGB反照率贴图的场景(2) 对反照率图和正态图的球坐标进行空间低通滤波，（3）绘制成三组图像：一个灰度C2B帧;三个全分辨率灰度图像;和Bayer彩色马赛克，以及（4）向每个像素添加零均值高斯噪声，对应于30 dB的峰值SNR。由于除去马赛克之外的所有计算都是按像素进行的，因此任何频率相关的变化在性能上一定是由于该上采样步骤。我们的模拟结果与直觉相匹配，即无论邻域处理的类型如何，对于非常高的正常映射频率，性能都应该降低。对于空间频率高达0。然而，单次C2B成像赋予了实质性的性能优势结构光三角测量的类似评估可以在[32]中找到6使用C2B相机进行实时3D成像实验条件对于所有实验，C2B帧采集和场景重建两者都在20Hz下运行，使用F=3，S=4，对应的最优Cp来自12M. Wei等人1.91.71.51.31.14 5 6 73025201510500.10.30.50.70.91510500.10.30.50.70.9图6：（a）最优与次优复用。我们将桶复用应用于（b）中所示的场景，并且当（1）Cp由表2给出并且（2）Cp=[1（S-1）×（S-1）0]（其是根据命题1的非退化且次优的矩阵（1（S-1）×（S-1）是单位矩阵）时，经验地测量解复用图像的平均SNR。这些SNR的比率以蓝色示出，表明SNR增益是可能的。（b）用每个Cp获得的S个解复用图像中的一个。最佳Cp产生明显较少噪声的图像（请放大电子副本）。（c）作为法线映射的最高空间频率的函数的法线估计的角度均方根误差（RMSE）频率1。0对应于奈奎斯特极限。最高的空间频率为0。3奈奎斯特极限。（d）作为反照率图的空间频率的函数的角度误差，其中法线图的最大空间频率设置为0。3奈奎斯特极限。线条颜色如（c）中所示。表2中定义的2×2马赛克瓷砖2.1. C2B帧总是由相同的步骤序列处理-去马赛克、解复用和每像素重构。对于结构光，我们配备了8 mm Schneider Cinegon f/1。4镜头到我们的相机，其光圈设置为f/2，并使用TI LightCrafter投影684×608像素，24个灰度级图案，速率为S×20Hz，与子帧同步 立体基线约为20cm，场景为1。1比1。5米远，余弦频率对于所有图案和实验，均为5。对于测光立体声，我们切换到23毫米施耐德APO-Xenoplan f/1。4个镜头来近似正交成像条件，并使用四个子帧同步Luxdrive 7040 Endor Star LED照亮2-3米远的场景，配备26.5mm Carclo TechnicalPlastics镜头。定量实验。我们的目标是比较3D精度的单次C2B成像与全分辨率连续成像-使用完全相同的系统和算法。图7显示了用于这些实验的静态场景，以及分别用于光度立体和结构光的示例重建。作为我们的参考的为了进一步区分-为了从传感器特定的非理想性中猜测去马赛克的影响，我们还从模拟的C2B帧中计算形状;为了创建它，我们以模拟我们的C2B传感器的操作的方式在计算上对S平均图像进行图3的7示出了结构光的这些比较中的一些BRD-R方法与OpenCV的去马赛克算法相结合[32]更多详情其他结果。重建动态场景。图8示出了若干示例。最优Cp次优CpBRD-R基线ND-CP ID-DM颜色理论增益测量增益SNR增益RMSE（°）#子帧（S）解复用图像（S=6）最大法线映射频率最大反照率图频率（一）（b）第（1）款（c）第（1）款（d）其他事项RMSE（°）编码双桶摄像机13全分辨率图像地面实况法线C2B法线（ID-DM）误差贴图（度）全分辨率图像地面实况差异C2B差异（BRD-R）误差图（像素）30°0°100去马赛克算法输入图像ID-DM（RMSE）BRD-R（RMSE）MATLAB去马赛克（）一个C2B框架6.4425.223模拟C2B5.6884.588OPENCV去马赛克（BayerBG2RGB EA）一个C2B框架5.7784.855模拟C2B4.9104.462[29]第二十九话一个C2B框架5.3194.874模拟C2B4.7194.434图7：光度立体（行1）和结构光（行2、3）的定量实验。每像素单元法线n通过将RGB颜色向量0分配给它们来可视化。5n +0。五、7总结发言我们的实验依赖于来自C2B传感器的一些最初的图像固定模式噪声等问题;跨桶和跨像素的增益的轻微变化;还有一些不太理想的地方尽管如此，我们相信，我们的初步结果支持的说法，即3D数据采集在近传感器的分辨率。我们有意地使用原始的、未处理的强度和最简单的可能方法来进行去马赛克和重建。毫无疑问，去噪图像和更先进的重建算法可以显著提高重建性能我们使用的通用RGB去马赛克软件也显然是次优的，因为它们的算法没有考虑到跨C2B像素存在的实际相关性。一种谨慎的方法是在这些数据上训练分类像素算法。最后但同样重要的是，我们对C2B摄像机激发新的视觉技术感到特别兴奋，这些技术充分利用了其先进的成像能力。鸣谢。我们衷心感谢加拿大自然科学和工程研究委员会在RGPIN、RTI和SGP计划下以及DARPA在REVEAL计划下的支持。我们也要感谢惠丰Ke和Gilead Wolf Posluns提供了与C2B传感器相关的FPGA编程，Sarah AnneKushner提供了实时成像实验的帮助，Michael Brown、Harel Haim和匿名评审员对本手稿早期版本提出了许多有用的意见和建议14M. Wei等人C2B帧（桶1）重建法线图（ID-DM）另一3D快照C2B帧（桶1）重构视差图（BRD-R）另一3D快照图图8：光度立体（顶部）和结构光（底部）的实时3D采集实验。选择的场景表现出显着的反照率，颜色，正常和/或深度的变化，以及不连续性。为供参考，这些场景的彩色照片显示在第一栏的插图定性地，重建似乎与场景的实际3D几何形状一致，除了在低反照率的区域（例如，低反射率区域）。头发）或投射阴影。玩具云-SL手帕-SLPerson-SL帽子-PS敷料-PS个人-PS编码双桶摄像机15引用1. 兰格河Seitz，P.：固态飞行时间测距照相机。IEEE J.量子电子。37（3），3902. Bamji，C.S.，O'Connor，P. Elkhatib，T.，Mehta，S.，Thompson，B.普拉瑟洛杉矶Snow，D.Akkaya，O.C.，Daniel，A.Payne，A.D.Perry，T.芬顿，M.，Chan，V.H.：一款0.13µm CMOS片上系统，用于512 x424飞行时间图像传感器，具有最高130 MHz的多频光电解调和2 GS/s ADC。IEEE J.Solid-State Circuits50（1），3033. Newcombe，R.A.，Fox，D.塞茨，S.：DynamicFusion：非刚性场景的实时重建和跟踪。In：Proc. IEEE CVPR（2015）4. Heide，F.，Hullin，M.B.，Gregson，J.，Heidrich，W.：使用光子混合器器件的低预算瞬态成像。In：Proc. ACM SIGGRAPH（2013）5. Kadambi，A.，Bhandari，A.，怀特河Dorrington，A. Raskar，R.：解复用照明国家通过低成本的传感和纳秒编码。In：Proc.IEEE ICCP（2014）6. Shrestha，S.，Heide，F.，Heidrich，W.，Wetzstein，G.：多相机飞行时间系统的计算成像。In：Proc. ACM SIGGRAPH（2016）7. 卡伦伯格角Heide，F.，Wetzstein，G.，Hullin，M.B.：使用相关飞行时间传感器的快照差异成像。In：Proc. ACM SIGGRAPH Asia（2017）8. Lichtsteiner，P.，Posch，C.，Delbruck，T.：A 128×128 120 dB 15µ s延迟异步时间对比视觉传感器。IEEE J.固态电路43（2），5669. Kim，H.Leutenegger，S.，Davison，A.J.：实时3D重建和6-DoF跟踪一台Event Camera。见：Proc. ECCV（2016）10. Matsuda，N.，科塞特湖，澳-地Gupta，M.：MC3D：运动对比3D扫描。In：Proc.IEEE ICCP（2015）11. Jang，J.，Yoo，Y.金，J.，Paik，J.：基于多尺度特征提取和相位相关匹配的传感器自动聚焦系统。传感器15（3）（2015）12. Yasuma，F.，Mitsunaga，T.，Iso，D.，Nayar，S.K.：广义分类像素相机：后捕获分辨率、动态范围和光谱的控制IEEE-TIP19（9），224113. 张杰，Etienne-Cummings，R. Chin，S.，熊，T.，Tran，T.：紧凑型全CMOS空间时空压缩传感摄像机与像素编码曝光。选购配件Express24（8），901314. Sonoda，T.Nagahara，H.，恩多，K.，Sugiyama，Y.Taniguchi，R.：高速成像使用CMOS图像传感器，具有准像素曝光。In：Proc.IEEE ICCP（2016）15. Baraniuk ， R.G. ， Goldstein ， T. ， Sankaranarayanan ， A.C. ， Studer ， C. ，Veeraraghavan，A.，Wakin，M.B.：压缩视频传感：算法，架构和应用。IEEESignalProc. Mag. 34（1），52 -66（2017）16. Fossum急诊室Hondongwa，D.B.：CCD和CMOS图像传感器。IEEE J.Electron Devices2（3），3317. Hitomi，Y.，顾，J.，Gupta，M.，Mitsunaga，T.，Nayar，S.K.：从一个单一的编码博览会的视频用一本有学问的过完备的字典来拍照In：Proc.IEEE ICCV（2011）18. O’Toole, Mather，J.，Kutulakos，K.N.：通过结构光传输的3D形状和间接IEEE T-PAMI38（7），129819. Sheinin，M.，Schechner，Y.，Kutulakos，K.N.：电网上的计算成像。In：Proc. IEEE CVPR（2017）20. O’Toole, Achar，S.，Narasimhan，S.G.，Kutulakos，K.N.：用于节能照明和成像的齐次代码In：Proc. ACM SIGGRAPH（2015）21. Heintzmann，R.，Hanley，Q.S.，Arness-Jovin，D.，Jovin，T.M.：一种双光路可编程显微镜（PAM）：共轭和非共轭图像的同时采集J. Microscopy204（2），11916M. Wei等人22. 拉斯卡尔河阿格拉瓦尔，A.，Tumblin，J.：编码曝光摄影：使用抖动快门的运动去模糊03 The Dog（2006）23. 埃尔南德斯角Vogiatzis，G.，布罗斯托，G.J.Stenger，B.，Cipolla，R.：具有彩色灯光的非刚性In：Proc. IEEE ICCV（2007）24. Kim，H. Wilburn，B. Ben-Ezra，M.：动态曲面方向的光度学立体。见：欧洲共同体民事诉讼程序（2010年）25. Fyffe，G.，Yu，X.，Debevec，P.：通过光谱多路复用的单次拍摄光度立体。In：Proc. IEEE ICCP（2011）26. Van der Jeught，S.，Dirckx，J.J.J.：实时结构光轮廓测量：审查.光学和激光工程87，1827. 佐川河古川河Kawasaki，H.：基于高帧率的使用静态网格图案的视频IEEE T-PAMI36（9），173328. Narasimhan，S.G.，Koppal，S.J.，Yamazaki，S.：用于快速主动视觉的照明的时间抖动。In：Proc. ECCV（2008）29. Gharbi，M.，Chaurasia，G.，巴黎，S.，Durand，F.：深度联合去马赛克和去噪。In：Proc. ACM SIGGRAPH Asia（2016）30. Heide，F.，Steinberger，M.，蔡耀东Rouf，M.，Pajak，D.雷迪，D.加洛岛刘杰，Heidrich，W.，Egiazarian，K.，Kautz，J.，Pulli，K.：FlexISP：一个灵活的相机图像处理框架。In：Proc. ACM SIGGRAPH Asia（2014）31. Schechner，Y. Y.，Nayar，S.K.，Belhumeur，P.N.：多路复用以获得最佳照明。IEEE T-PAMI29（8），133932. Wei，M.， Sarhangnejad，N.，夏，Z.，Katic，N. Genov河Kutulakos，K.N.：代码2-用于计算机视觉的桶式相机：补充文件。In：Proc. ECCV（2018），also availableathttp://www.dgp.toronto.edu/C2B33. Salvi，J.，Fernandez，S.，Pribanic，T.，利亚多，X.：用于表面轮廓术的结构光图案的技术状