基于事件的结构光RGB传感

5458基于事件的结构光RGB传感Seyed Ehsan Marjani Bajestani Giovanni BeltramePolytechnique蒙特利尔{ehsan.marjani，giovanni.beltrame} @ polymtl.ca摘要基于事件的相机（EC）是异步报告像素亮度变化的生物启发传感器由于其高动态范围、像素带宽、时间分辨率、低功耗和计算简单性，它们有利于基于视觉的项目在变化的照明条件下，它们可以检测到快速移动与微秒级响应时间。第一代EC是单色的，但彩色数据非常有用，有时对于某些基于视觉的应用程序至关重要。最新的技术使制造商能够构建彩色EC，权衡传感器的尺寸，并与单色模型相比大幅降低分辨率此外，EC仅检测光的变化，而不显示静电或缓慢移动的物体。我们介绍了一种方法来检测全RGB事件使用单色EC辅助，结构光投影仪。投影仪在场景上发射快速变化的RGB光束图案，其反射被EC捕获。我们结合了EC和基于投影的技术的优势，并允许使用商用TI LightCrafter 4500投影仪和单眼单色EC对静态或移动对象进行深度和颜色检测我们的代码是公开的：github.com/MISTLab/event based rgbd ros1. 介绍基于事件的相机（EC）异步地报告像素亮度变化，这是受人眼启发的行为[10]。当亮度改变超过像素的某个阈值时，相机生成包含像素的坐标（x，y）、时间戳和事件的极性（即，增加或减少）。虽然EC不能捕获完整图像，但它们可以比标准的基于帧的传感器快数千倍地检测运动，并且由于它们没有外部快门周期，它们的输出是事件驱动的和无帧的，从而导致非常低的延迟、功率和带宽需求。图1.颜色检测有稳定的（顶排）和旋转的（底排）彩色纸风车.左栏：没有结构光的单色事件。右栏：彩色图像重建辅助结构光与两种模式和等效的速度为30 fps（上）和150 fps（下）。EC已被用于各种计算机视觉应用中，例如快速运动检测和跟踪[2，22，1]、光流、姿态跟踪和视觉惯性导航[52，26]、同时定位和映射（SLAM）[37，40]、模式识别[44]、深度估计[45]、图像处理[46]、图像处理[47]、图像处理[48]和图像处理[49]。和立体视觉[51，36，45]，以及更多。在计算机视觉中，颜色信息具有重要的作用[47]，并且可能对许多任务（如分割和识别）至关重要[19]。第一代EC是单色的，彩色EC最近才开始可用[18，46，24，23]。然而，由于传感器尺寸方面的限制，彩色EC具有比单色EC更低的分辨率，因为它们需要使用滤色器。值得注意的是，EC报告像素亮度变化，这意味着当相机（和/或其视野中的对象）静止或缓慢移动时，EC不会报告任何内容（图10）。1，左上角），这可能是关键的5459在一些情况下（例如，对于缓慢移动的机器人）。为了克服这个问题，可以使用外部有源设备，例如激光器、闪烁的LED或光投影仪，以在静态和几乎静态的情况下生成事件。该外部主动照明系统还可以用于通过投射被称为结构光（SL）的可检测图案来检测深度[5，20，28，27]。我 们 提 出 了 一 种 方 法 来 添 加 颜 色 和 深 度 的monocular，单色事件为基础的相机，同时保持快速的响应时间和分辨率。我们使用数字光处理（DLP）投影仪，其在场景上发射我们称为主动结构光（ASL）的光图案值得注意的是，我们的ASL方法也可以用于彩色EC，允许静态场景的检测。通过动态调整投影，我们可以在需要时获得颜色数据，从而管理系统的整体带宽。例如，我们可以使用相机的全分辨率来检测静态彩色场景，或者使用更稀疏的像素来检测快速移动的对象。投影图案还允许基于三角测量的测量来创建场景的彩色3D点云。总的来说，我们的方法从单色EC生成彩色事件：1. 而不损失空间分辨率;2. 具有检测静态物体和场景的能力;3. 通过检测何时何地需要颜色来优化EC的带宽;4. 使用允许基于事件的深度测量的模式，最终生成彩色点云。在这项工作中，我们专注于可见光波长（由LED投影仪发射）和不属于荧光类别的材料，它们不会改变光的波长。我们在不同的动态条件下验证了我们的方法：图2示出了具有DLP投影仪1和Prophesee评估套件2的实验设置。通过这种设置，我们以每秒1400帧（fps）的等效速率实现了全色检测（请注意，相机是无帧的，我们使用fps只是为了比较）。图2还示出了静态印刷色轮的颜色检测。第二节介绍了相关的工作，第三节介绍了我们的颜色检测方法，第四节介绍了我们的颜色检测方法。第4节详细介绍了我们的方法在几种情况下的结果;最后，第5节得出一些结论性意见，并概述了未来可能的工作。2. 相关工作数字彩色相机在其传感器上使用各种彩色滤光片阵列（CFA）或彩色滤光片马赛克（CFM），1个LightCrafter 4500评估模块2Gen3-VGA图2.左图：使用DLP LightCrafter 4500评估模块和Prophesee评估套件（Gen 3- VGA）的实验设置。中：带有CEN-SORED（盲态评审）实验室标志的印刷色轮，由一个基于帧的高分辨率相机捕捉。右：利用单色EC和SL辅助，用所提出的方法重建彩色图像.为每个像素检测不同的颜色，其中拜耳阵列滤波器[3]是最常见的CFA [35]。CFA的大小在4到36个像素之间（或者更大一些），这意味着我们需要几个单色像素来有效地生成每个彩色像素。降低分辨率（例如，4x，2×2CFA）。彩色化是基于单色传感器或灰度图像生成彩色图像而不损失分辨率的过程。着色需要关于图像颜色的外部数据，用户交互，或嵌入场景颜色知识的训练神经网络，并且可能是一项耗时且昂贵的任务[16]。Levin等[16]介绍了一种方法，该方法需要来自用户的几个初始输入来生成全色图像，并保持跟踪视频中即将到来的帧上的颜色。Zhang等人[50]介绍了一种基于卷积神经网络（CNN）的全自动着色方法，可以将灰度图像变为接近真实的彩色图像。他们的方法成功地欺骗了32%的人类参与者区分生成的图像和真实图像。与这些着色方法相比，我们的方法不需要初始输入数据来从单色相机中获取颜色，并且它可以比CNN模型更快地提供真实的颜色信息。在单色图像上生成没有质量损失的彩色数据的另一种方法是使用单独的相机：单色传感器拍摄更详细和更高对比度的图像，而较低分辨率的RGB相机添加颜色信息。这种组合很常见，但图像融合、彩色化或颜色转移过程仍然是一个挑战[14]。基于事件的相机引入了成像系统的新领域。由于它们与标准相机相比的优势，许多科学家研究了从事件生成和重建图像以用于基于帧的计算机视觉算法的方法单色EC已被5460用于许多图像重建工作[29，41，38，42，33，13]。此外，将标准的基于帧的相机和EC组合可以产生去模糊的 高帧率 （HFR ）和 高动态 范围（HDR ）视 频[21]。通过使用二向色滤波器组合三个EC，Marcireau等人[19]引入了一个原型，以捕获RGB独立通道中的事件流，以进行颜色分割。这种方法保持单色分辨率，但增加了3倍的带宽。随着基于彩色事件的相机的引入[24]，一些研究集中在基于彩色事件的图像和视频的重建上[39，32，25]。谢林克等人[43]展示了一个彩色EC的数据集。他们还比较了一些图像重建方法的输出质量，如[41，29，38]在彩色。作为数字彩色相机，当前的彩色EC也使用CFA来生成颜色事件，这降低了它们的输出分辨率，导致与Mar- cireau等人相比带宽较低。[19]第10段。我们的方法在需要时重建颜色数据，保持系统的带宽在检查。3. 单色到彩色与基于帧的相机相比，EC是更快的传感器，然而，由于它们在静态情况下或缓慢移动的对象中不报告我们使用外部事件发生器，即DLP投影仪。通过在场景中的物体上发射光的图案，我们不仅可以检测它们的颜色，而且还能够检测深度，这使得基于事件的RGB-D传感成为可能。此外，由于EC具有高动态范围，因此在黑暗环境中不需要高功率光投影仪有许多用于数字颜色描述的标准颜色格式（加色或减色），例如CMY（青色、洋红色、黄色），或具有黑色的CMYK、RYB（红色、黄色、蓝色）、RGB（红色、绿色、蓝色）或具有白色的RGBW等。不失一般性，我们选择RGB颜色这在视觉应用中更为常见。我们使用EC来测量物体上发射光的反射量为了测量颜色，我们将三种不同波长（红色、绿色和蓝色的结构光）投射到环境中，并测量由EC捕获的反射光的量。在每个模式的ex-animation时间，接收到的事件被聚集在一个适当的，priate颜色通道上的初始帧。为了使DLP投影机与EC同步，我们将摄像机的触发引脚连接到投影机。通过改变图案颜色，DLP向相机发送脉冲，该脉冲将传入事件识别为属于适当的颜色通道。图3描绘了印刷的RGB色轮sepa的颜色检测图3.印刷色轮的颜色检测。左上是由基于帧的高分辨率相机捕获的，右上是由SL辅助的VGA单色EC捕获的通过所提出的方法重建的彩色图像。底部从左到右是由单色EC针对每种颜色光（红色、绿色和蓝色）收集的事件帧。在每个颜色通道中分级。图1的底部框架图3示出了印刷的色轮在24位RGB格式中没有纯绿色（0，255，0）和蓝色（0，0，255）例如，在红光通道（左下角）中，绿色圆圈也反射了一些光（尽管比红色圆圈少），因此，它看起来是灰色的。3.1. 颜色检测速度限制EC的主要优点之一是它们的响应时间，其在微秒的范围内。然而，使用所介绍的方法，我们需要单独收集每种颜色的事件，将颜色检测的速度限制在DLP投影仪的模式切换的最大速度。借助LightCrafter 4500评估模块，我们能够以高达1400 fps的等效帧速率检测颜色，因为它的频率很高（4225 Hz1）。然而，假设对象的颜色没有改变，我们仍然可以使用其他方法来仅基于高速事件流来跟踪对象图4示出了以不同帧速率重构的旋转彩色纸风车的颜色检测3.2. 相对于单色相机的单色或灰度相机已用于不需要颜色信息的基于视觉的应用中。如第2节所述，单色相机和彩色相机的组合可以是chal。1LightCrafter 4500评估模块5461·图4.不同帧频下彩色纸风车的颜色检测。顶行（静态）左侧：由基于帧的高分辨率相机捕获，右：用该方法重建的彩色图像由单色EC捕获。底行（旋转的风车）从左到右以30、100、120和150 fps重建用于图像融合、着色或颜色转移过程的长度[14]。由基于帧的相机和EC组成的双相机可以产生去模糊的高帧率（HFR）和高动态范围（HDR）视频[21]。然而，增加第二个摄像头增加了所需的带宽.我们的方法允许我们受益于EC此外，相机-投影仪组合实现深度感测并简化特征检测和匹配（w.r.t.立体照相机）[5，20，28，27]。3.3. 与基于事件的彩色摄像机如第2节所述，数码相机通常使用CFA来检测颜色。例如，Color-DAVIS 346 [46]是最新的彩色EC之一，它使用RGBG Bayer模式，输出分辨率为346×260像素。这该方法在黑暗环境中仍然可以获得高分辨率单色EC的优点。3.4. 白平衡与色彩校正白平衡和色彩校正可以使拍摄的图像更接近自然色彩。可以在拍摄图像之前或之后调整白平衡。DLP投影机产生白光可以改变图像的白平衡，因为光源的色温或白光的暖/冷度可以直接改变白平衡。DLP投影机有三种不同的LED颜色：红色、绿色和蓝色。使用宽带波长RGB LED产生基于LED的白光可能具有挑战性[31，30，7]。由于DLP投影机具有窄带LED，因此可以通过单独更改每个LED的电流来调整白平衡照明模式：如果我们将DLP投影机视为一个点大小的光源，我们可以使用朗伯阴影模型对照明进行建模，这是最简单的双向反射分布函数（BRDF）之一，并且是许多真实世界材料表面的适当近似[34]。在朗伯着色模型中，结果像素的R、G、B值与观察光线撞击表面的角度无关：W=Sref Spow max（0，n·b），（1）其中W是所需像素的（R，G，B）值的组合，S ref是材料的光谱反射率，S pow表示投影仪（作为光源）的光谱功率分布，n是（物体的）外表面法线，b是从表面交点到投影仪的光束矢量。这两个单位向量的点积给出了基于表面与投影仪之间的角度的衰减量 max函数用于防止nb0的情况<，因为在这种情况下投影仪将在对象后面。该模型可以针对每种颜色进行划分，例如红光的模型为：一种摄像机在3或4分钟内报告事件流不同的信道，这增加了对带宽的需求。R=S参考R 斯波河 max（0，n·b）（2）更高的带宽要求会导致总线饱和（如第4节所述）。此外，尽管增加了带宽需求并降低了分辨率，但当相机或物体静止或非常缓慢地移动时，彩色EC无法检测到环境。我们的方法是有用的，有效地利用带宽检测的颜色只有当它是需要的。此外，我们的方法还从最初静态的机器人或摄像机收集环境信息，这意味着不需要机械部件来移动摄像机和接收事件，这使得系统更可靠。此外，由于与低分辨率EC相比，高分辨率EC在黑暗环境中可能受到更多噪声的影响[11]，为了在理想情况下产生白光，我们考虑每种颜色具有相同的功率分布，并且S powR=S powG=S powB。 对于一个白色或灰色的表面，我们有S refR=S refG=SrefB。因此，通过控制每个LED的电流（Spow），我们可以获得平衡的白光。我们可以使用灰卡、色轮或麦克白色卡/颜色检查器来校准我们的系统。我们使用印刷的麦克白颜色表进行校准，图。图5示出了在有和没有白平衡校准的情况下利用所提出的方法的颜色检测的输出。绝对误差：要检查重建图像的质量，我们需要有一个基础图像，并指定5462×KNKΣNORBR、（五）NJ一种误差计算方法。我们认为由基于帧的高分辨率相机捕获的图像作为图中的基础图像（地面实况或GT）。5.为了计算AB-表1. 颜色检测质量w.r.t.地面实况GT No WB WBRMSE红色0 83.8983.65c= d（H，H）=.I（Ho（I）−H<$o）（Hb（I）−H<$b），直方图相关性（HC）1 0.220.76o b哪里I（Ho（I）−Ho）2I（Hb（I）−H<$b）2（三）H<$=1H（J），（4）N是直方图箱的总数，在我们的情况下是256（每个颜色通道中8位）。Ho和Hb分别是输出图像和基线图像的直方图，其中直方图相关性（HC）在0和1之间。基础图像（左）和每个重构图像之间的HC分别为0。22比0 76对于没有白平衡（中间）和具有白平衡（右）的重建图像，在图中。5.此外，为了检查重建图像中的每个像素与GT之间的差异，并计算绝对误差，我们分别计算每个通道的均方根误差（RMSE）作为示例，红色通道的RMSE为：GTHC = 0。22HC= 0。76图5.印刷麦克白色卡的颜色检测 我-由基于帧的高分辨率相机捕获的图像（左），由单色EC捕获的由所提出的方法重构的彩色图像，没有（中间）和具有（右）白平衡。EC的输出.n（p −p）2接口或总线。如果数据速率或事件数超过极限，总线饱和可能发生[10，11]。归档[9]或在线事件率控制[8]可以缓解这种情况其中P_OR和P_BR分别是输出帧和基线帧的红色通道中的PI× EL值 N是像素的总数，即640 480 = 307200。表3.4示出了图1中每个图像的颜色检测的质量。5与GT图像相比。表3.4还显示，手动调整白平衡后，所有三个通道的RMSE平均提高了12%。为了具有更真实的颜色检测，如果需要，在线白平衡校准可以有助于最小化平均RMSE。为了检查每个图像的质量，我们计算峰值信噪比（PSNR），如表3.4所示。进行颜色校正的另一种方法是通过RGBW颜色空间捕获具有白色通道的图像，并在类似于配备RGBWCFA的传感器的四个通道上执行校正[6]。这是以向SL添加第四种颜色的光为代价的，至少增加了33%的捕获时间长度。4. 自适应结构光与低分辨率EC相比，高分辨率EC具有更高的事件率并且需要更多的带宽，但是每个1OpenCV直方图比较相关法。问题.当使用外部事件发生器（例如在场景上发射SL的DLP投影仪）时，控制事件速率甚至更加重要。使用投影仪时控制事件率的一种方法是定义感兴趣区域（ROI）并仅在需要的地方投影图案。Muglikar等人[28]使用一个EC相机来检测ROI（通常是由于移动而具有更多事件的图像帧的区域），然后将SL投影在该区域上，然后使用第二个EC。我们引入ASL来控制事件率，而不是向系统中添加第二个EC。图6示出了基于接收到的事件的数量而正如预期的那样，在具有高分辨率（密集）和高速（稀疏）颜色检测之间存在所生成的SL图案是多个点或线图案和实心图案。在静态条件下，ASL也可以与彩色EC和白光一起使用。然而，应当注意，与具有相同分辨率的单色EC相比，彩色EC需要更多的带宽。带宽控制：通过频繁地将SL投影到场景中，我们接收由SL引起的事件以及由对象或相机的移动引起的事件。RMSEr=解决误差，我们比较了两幅图像的直方图，RMSE绿色087.7971.16色相饱和度值（HSV）格式基于RMSE蓝色092.7676.97行动指标1：RMSE088.1577.26PSNR0db的9.88分贝 8.82分贝5463图6.不同类型的SL图案已被用于通过自适应结构光来控制事件率。我们希望控制相机的偏置以防止总线饱和，但我们不希望通过过度降低相机灵敏度来丢失数据。一般情况下，事件数必须低于EC的带宽：最大带宽事件SL+事件M，（6）<其中事件M是由EC或场景中的任何对象的移动引起的事件的数量（即， 由于SL而未出现的任何其他事件）。事件SL是由SL引起的事件数量，我们可以通过改变模式和功率来控制它 LED投影仪的设计事件SL不仅与物体的颜色（以及它的反射率/荧光百分比有关，我们在本文中不研究它）有关，而且与照相机-投影仪离物体的距离有关。随着距离的增加，由于功率密度的减小，光谱功率分布减小不幸的是，没有关于DLP投影仪的每个LED的功率密度随距离变化的信息。对DLP投影机功率密度进行建模可能很有用，但这超出了本文的范围。在这项工作中，我们做了简化的假设，所有的LED具有相同的功率密度。因此，为了控制事件SL，我们需要从（1）控制Spow考虑一位模式，我们可以通过以下方式控制Spow：改变模式（改变黑白帧中白色像素的数量），而不是改变LED的电流。我们将每帧的白色像素数称为覆盖百分比（CP），每种模式类型具有不同的CP。为了进一步简化问题，我们假设DLP和EC接近，并且我们可以考虑DLP框架平面上的CP，尽管事实上，取决于相机与投影仪的相对姿态，CP在相机框架平面上可能不同。我们在实验中使用了一块彩色的木板从相机投影仪，如图。7和8点图案点网格和圆形图案是从SL检测局部深度的最简单的图案之一[17]，甚至在相机失焦时校准相机[49]。改变点（特征点）的数量或它们的距离会影响深度分辨率。然而，更多的特征点导致额外的处理时间以及生成更多的事件，这可能导致EC中的总线饱和。通过基于事件率动态地改变点的数量，我们能够控制扫描速度和细节量之间的权衡。图6<图7示出了具有不同CP的三种不同点图案。顶行是以时间窗口大小2生成的。5ms（相当于400fps）。类似地，第二行的窗口为4。34ms或230fps，底部行为7。14ms或140fps。图的最左列。7是利用一秒时间窗口生成的地面实况（GT）帧;中间列是430个帧采样中的示例帧。我们将每个帧与GT帧逐个像素地进行比较，以计算每个通道的RMSE，如最右列所示。由于点网格图案导致稀疏图像，为了生成密集图像，线图案在低速3D扫描和多次拍摄3D测量方法中是优选的。顺序投影技术主要使用带状线[48]。由于DLP投影仪可以快速切换（4225 Hz）模式之间，它是可能的，通过投影线和测量深度与三角测量的对象的某些区域生成一个密集的图形。虽然对于线之间的空间，我们没有测量，但增加线的数量会产生更多的特征，并且覆盖更大的区域。与点网格模式类似，增加线或点的数量会增加扫描处理时间和事件率，因此必须权衡速度和细节。图中从上数第三和第四行。图6示出了所提出的具有线图案的ASL，其中M和N（M< N）是每个图案中的线的数量。如图7所示，图8示出了具有不同CP的线图案。移动线模式为了在3D中进行全密度扫描，线模式非常常见[5，20，27]。当事件率低于带宽限制时，我们建议使用移动线模式（水平或垂直，取决于相机和投影仪之间的偏移），提供密集扫描。当执行3D扫描时，或者当我们只需要特定区域的颜色信息时5464CP=1.54% RMSE=10.78平均值RMSE=12.94CP=2.22% RMSE=11.34平均值RMSE=13.83CP=17.73% RMSE=33.95平均值RMSE=38.33图7.彩色电路板扫描点图案与不同的CP。时间窗口大小为从顶部开始的2.5、4.3和7.14 ms(the感兴趣区域），我们可以使用ROI模式。如第4节所述，Muglikar et al.[28]根据场景的情况动态定义ROI图1的底行图6显示了ROI模式的ASL和实心图案。为了比较不同的图案和扫描速度，我们将具有不同CP的图案投影到彩色板上。图9示出了重建的彩色图像的细节、速度和质量之间的权衡。它表明，为了获得更详细的图像，我们需要花更多的时间切换模式以覆盖更多的区域。此外，对于高速扫描，需要稀疏图案（具有较少细节的较低CP）。注意，稀疏图案即使在高速sam的情况下也不会降低颜色检测普林。图9已经通过使用24000帧生成。5. 结论我 们 提 出 了 一 种 方 法 来 增 加 颜 色 和 深 度 的monocular，单色事件为基础的相机，同时保持快速响应时间和分辨率。我们的方法重建彩色事件和帧使用单色EC辅助自适应结构光（ASL）。通过动态调整投影，我们可以在需要时获得颜色数据，从而管理系统的整体带宽。我们实现了颜色检测速度相当于1400 fps与德州仪器的DLP LightCrafter 4500投影仪。我们的方法可以用于基于事件的深度测量和感知项目。EC的优势，使得彩色深度检测比RGBD相机快得多虽然颜色检测与交叉点（物体表面）处的照明条件和材料属性有关，但本工作的范围是对通常无光泽且不太亮（具有高反射）或荧光的常见材料的颜色检测。有些材料可以与光相互作用：它们可以吸收、散射或发射光[12]。在这项工作中，我们专注于可见光波长（由LED投影仪发射）和不属于荧光类别的材料，它们5465CP=7.02% RMSE=17.54平均值RMSE=25.00CP=14.04% RMSE=25.37平均值RMSE=37.48CP=28.07% RMSE=36.69平均值RMSE=42.55图8.彩色板扫描线图案与不同的CP。时间窗口大小对于顶部为6.67ms，否则为7.14ms图9.比较了不同CP模式的颜色检测速度和质量不要改变光的波长。然而，使用基于事件的相机与不同类型的光源和材料可以在未来的工作进行调查。此外，在不考虑颜色检测的情况下，静态反射与其他深度测量设备相比，EC可以更有效地扫描材料[20]。为了检测这些材料的颜色，可以在未来的工作中考虑Blinn-Phong阴影模型[4]。5466×引用[1] Ignacio Alzugaray和Margarita Chli。实时事件摄像机的异步IEEE Robotics and Automation Letters，3（4）：3177[2] 胡安·巴里奥斯-A vil le's，TarasIa k ymchuk，Jor geSamanie go，LeandroDMedus和AlfredoRosado-MunNooz。使用基于事件的摄像机进行运动检测：与基于帧的摄像机在机器人目标跟踪中使用电力链路通信的比较。电子学，7（11）：304，2018。[3] 布莱斯·E·拜尔彩色成像阵列。美国专利3，971，065，1976年。[4] 詹姆斯·F·布林计算机合成图像的光反射模型。在Proceedings of the 4th annual conference on Computergraphics and interactive techniques，pages 192[5] 克里斯蒂安·布兰德利、托马斯·曼特尔、马可·哈特、马库斯·霍普夫林格、拉斐尔·伯尔尼、罗兰·西格瓦特和托比·德尔布鲁克。利用动态视觉传感器进行地形重建的自适应脉冲激光线提取神经科学前沿，7：275，2014。[6] Wonseok Choi，Hyun Sang Park，and Chong-Min Kyung.用于rgbw滤色器阵列传感器的色彩再现管线。OpticsExpress，28（10）：15678[7] 奥 雷 利 安 · 德 ·维 德 和 洛 恩 · 怀 特 黑 德 。 LED 基 白 光Comptes Rendus Physique，19（3）：169[8] Tobi Delbruck，Rui Graca，and Marcin Paluch.事件摄像机的反馈控制。在IEEE/CVF计算机视觉和模式识别会议论文集，第1324-1332页[9] Thomas Finateu，Atsumi Niwa，Daniel Matolin，KoyaTsuchimoto，Andrea Mascheroni，Etienne Mesaud，Poo-ria Mostafalu，Frederick Brady，Ludovic Chotard，Flo-rian LeGoff，et al. 5.10 1280 720背照式堆叠时间对比度基于事件的视觉传感器，4.86μm像素，1.066 geps读出，可编程事件速率控制器和压缩数据格式化流水线。2020年IEEE国际固态电路会议（ISSCC），第112-114页。IEEE，2020年。[10] Guillermo Gallego ，Tobi Delbruck，Garrick Orchard，Chiara Bartolozzi ， Brian Taba ， Andrea Censi ， StefanLeutenegger ， Andr e wD a vison ， Jo？ rgConradt ，KostasDan i illege，etal. Event-based vision：一个调查。IEEE Transactions on Pattern Analysis and MachineIntelligence，2020。[11] Daniel Gehrig和Davide Scaramuzza真的需要高分辨率的事 件 摄 像 机 吗 ？ arXiv 预 印 本 arXiv ： 2203.14672 ，2022。[12] 乔治·吉尔博。实用荧光。CRC Press，2020.[13] 陈浩宇、滕明贵、石伯新、王一舟、黄铁军。学习使用事件摄像机去模糊和生成高帧率视频。arXiv预印本arXiv：2003.00847，2020。[14] 张海雄和郑勇珠。用于彩色加单色双摄像头的深色传输。传感器，20（9）：2743，2020。[15] Daniel Khashabi、Sebastian Nowozin、Jeremy Jancsary和Andrew W Fitzgibbon。联合去马赛克和去噪学 习 非 参 数 随 机 场 。 IEEE Transactions on ImageProcessing，23（12）：4968[16] Anat Levin，Dani Lischinski和Yair Weiss。使用最佳化着色。ACM SIGGRAPH 2004论文，第689-694页2004年[17] 哈特·利维。使用规则点网格从结构光确定局部深度。技术披露共享，2019年。[18] Chenghan Li ， Christian Brandli ， Raphael Berner ，Hongjie Liu ， Minhao Yang ，Shih-Chii Liu ， and TobiDelbruck.一种rgbw彩色vga滚动和全局快门动态和有源像 素 视 觉 传 感 器 的 设 计 2015 年 IEEE InternationalSymposium on Circuits and Systems（ISCAS），第718-721页。IEEE，2015年。[19] Alexandre Marcireau ， Sio-Hoi Ieng ， Camille Simon-Chane，and Ryad B Benosman.使用高动态范围传感器的基于事件的颜色分割。Frontiers in Neuroscience，12：135，2018。[20] Nathan Matsuda Oliver Cossairt和Mohit Gupta MC3D：运动对比3D扫描。2015年IEEE国际计算摄 影会议（ICCP），第1-10页。IEEE，2015年。[21] Nico Messikommer ， Stamatios Georgoulis ， DanielGehrig ， Stepan Tulyakov ， Julius Erbach ， AlfredoBochicchio，Yuanyou Li，and Davide Scaramuzza.多支架高动态范围成像与事件相机。arXiv预印本arXiv：2203.06622，2022。[22] AntonMitrokhin ， CorneliaFerm üller， ChethanParamesh-wara，and Yiannis Aloimonos.基于事件的运动目标检测与跟踪。2018年IEEE/RSJ智能机器人和系统国际会议（IROS），第1IEEE，2018年。[23] 迪德里克·保罗·莫伊斯、费德里科·科拉迪、李成汉、西蒙·班福德、卢卡·隆吉诺蒂、法比安·福格特、斯图阿特·贝瑞、杰玛·塔维尼、弗里乔夫·赫尔姆钦和托比·德尔布鲁克。一款灵敏的动态有源像素视觉传感器，适用于 彩 色 或 神 经 成 像 应 用 。 IEEE transactions onbiomedical circuits and systems，12（1）：123[24] Diederik Paul Moeys，Chenghan Li，Julien NP Martel，Simeon Bamford ， Luca Longinotti ， Vasyl Motsnyi ，David San Segundo Bello，and Tobi Delbruck.动态视觉传感器的颜色时间2017年IEEE电路与系统国际研讨会（ISCAS），第1-4页。IEEE，2017年。[25] Mohammad Mostafavi，Lin Wang，and Kuk-Jin Yoon.学习从事件中重建hdr图像，并应用于深度和流量预测。国际计算机视觉杂志，129（4）：900[26] 伊莱亚斯·穆格勒，吉列尔莫·加列戈，亨利·吉列尔戈，达维德·斯卡拉穆扎.事件摄影机的连续时间视觉-惯性odom-控制。IEEE Transactions on Robotics，34（6）：1425[27] 玛纳斯·穆格利卡，吉列尔莫·加列戈，大卫·斯卡拉·穆扎. ESL：基于事件的结构光。在2021年3D视觉国际会议（3DV）上，第1165IEEE，2021。[28] 玛纳斯·穆格利卡，迪德里克·保罗·莫伊，大卫·斯卡拉·穆扎.事件引导深度感测。2021年国际54673D视觉会议（3DV），第385-393页。IEEE，2021。[29] Gottfried Munda ， Christian Reinbacher ， and ThomasPock.使用流形正则化的事件摄像机的实时强度图像重建 。 International Journal of Computer Vision ， 126（12）：1381[30] 萨勃拉曼尼亚·穆图和詹姆斯·盖恩斯。基于红、绿、蓝led的白光光源：实施挑战与控制设计。2003年，第38届国际会计准则年度会议，工业应用会议记录。第1卷，第515-522页。IEEE，2003年。[31] Subramanian Muthu，Frank J Schuurmans，and MichaelD Pashley.基于红色、绿色和蓝色LED的白光产生：问题和控制。2002年IEEE工业应用会议记录。第37届国际会计师协会年会（目录）No.02CH37344），第1卷，第327- 329页333. IEEE，2002年。[32] Liyuan Pan ， Richard Hartley ， Cedric Scheerlinck ，Miaomiao Liu，Xin Yu，and Yuchao Dai.基于事件摄像机的高帧率视频重建 。IEEE Transactions on PatternAnalysis and Machine Intelligence，2020。[33] Liyuan Pan ， Cedric Scheerlinck ， Xin Yu ， RichardHartley，Miaomiao Liu，and Yuchao Dai.使用事件摄像机以高帧率拍摄模糊帧。在IEEE/CVF计算机视觉和模式识别会议上，第6820-6829页，2019年[34] Matt Pharr，Wenzel Jakob，and Greg Humphreys.基于物理的渲染：从理论到实施。摩根·考夫曼，2016年。[35] Rajeev Ramanath，Wesley E Snyder，Youngjun Yoo，and Mark S Drew.彩色图像处理流水线。IEEE信号处理杂志，22（1）：34[36] Henri Bagleq，Guillermo Gallego，Elias Mueggler，andDavide Scaramuzza. EMVS：基于事件的多视图立体3D重建，实时使用事件相机国际计算机视觉杂志，126（12）：1394[37] HenriRebecq 、 TimoHorstsch¨ fer、 GuillermoGalle go 和Davide Scaramuzza。EVO：一种基于事件的6自由度并行实时 跟踪和映射 的几何方法 。IEEE Robotics andAutomation Letters，2（2）：593[38] Henri Rebecq 、 Rene 'Ranftl 、 Vladlen Koltun 和 DavideScaramuzza。活动到视频：将现代计算机视觉引入活动摄像机。在IEEE/CVF计算机视觉和模式识别会议论文集，第3857-3866页[39] Henri Rebecq 、 Rene 'Ranftl 、 Vladlen Koltun 和 DavideScaramuzza。高速和高动态范围视频与事件摄像机。IEEEtransactionsonpatternanalysisandmachineintelligence，43（6）：1964[40] Christian Reinbacher、Gottfried Munda和Thomas Pock。活动摄像机的实时全景跟踪。在2017年IEEE计算摄影国际会议（ICCP）上，第1-9页。IEEE，2017年。[41] 塞德里克·舍林克尼克·巴恩斯和罗伯特·马奥尼。使用事件相机的连续时间强度估计。亚洲计算机视觉会议，第308-324页。Springer，2018.[42] 塞德里克·舍林克尼克·巴恩斯和罗伯特·马奥尼。事件相机的异步空间图像卷积。IEEE Robotics and AutomationLetters，4（2）：816[43] Cedric Scheerlinck， Henri Rebecq ， Timo Stoffregen ，Nick Barnes ， Robert Mahony 和 Davide Scaramuzza 。Ced：颜色事件相机数据集。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第0-0页[44] Amos Sironi