视觉计算与投影映射：基于标记的鲁棒同步技术及其应用的研究

图形和视觉计算5（2021）200034技术部分鲁棒的基于标记的Vanessa Kleina，Martin Edelb，Marc Stammingera，Frank Baueraa视觉计算，埃尔朗根-纽伦堡大学（FAU），考尔斯特。 11，Erlangen，91058，Germanyb独立研究员，德国ar t i cl e i nf o文章历史记录：2021年7月23日收到收到修订版，2021年10月25日接受，2021年2021年11月15日网上发售关键词：a b st ra ct记录投影图像的清晰图片需要投影仪和相机同步。该任务通常需要额外的硬件或对具有基于软件的方法的设备施加主要限制，例如，相机的特定帧速率我们提出了一种新的基于软件的同步技术，该技术支持具有不同帧速率的投影仪和相机，同时容忍相机帧丢失。我们专注于LCD投影机的特殊需求及其液晶响应时间对投影图像的影响。依靠可见标记检测我们完全避免进行时间测量，从而允许稳健且快速的同步。©2021作者（S）。爱思唯尔有限公司出版这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍许多使用投影仪的应用也需要摄像机来观察投影。例如，在主动立体视觉中，投影仪将已知图案投影到三维表面上，并且相机捕获变形的投影以重建表面几何形状。根据重建方法，图案的范围从离散的黑白图案到连续的灰度梯度再到彩色编码的图案。尽管在该示例中，投影图像的唯一目的是由摄像机记录，并且因此根据其特性来在空间增强现实（SAR）领域中，投影映射系统将任意纹理投影到平面或三维表面上以娱乐或向用户传达信息。在反馈回路系统中，这样的应用由观察面向用户的投影以报告投影质量中的误差的相机来完成。在任何这些例子中，都必须投射一个序列的图像，用相机拍摄干净的照片，并将照片与原始图像进行匹配。然而，如果没有额外的硬件来同步投影仪和摄像头，这些设备就可以彼此独立地运行，并且可能以不同的帧速率运行。由于投影图像和捕获图像都不是瞬时任务，因此同步投影捕获需要调整单个图像被投影的持续时间。持续时间越短，应用程序的性能越好这篇文章是由徐坤推荐出版*通讯作者。电子邮件地址：vanessa. fau.de（V. Klein），frank. fau.de（F.鲍尔）。https://doi.org/10.1016/j.gvc.2021.200034我们的贡献是一个基于软件的LCD投影机和相机之间的同步设备的帧速率可以不同，但应该主要是恒定的。我们的技术特别考虑了LCD技术的缓慢反应时间。我们提出了多种同步策略-每种策略都适合不同的应用需求和鲁棒性要求，包括检测和支持相机帧丢失。等待持续时间自适应地减少，以实现快速的结果与硬件，其中只有帧速率是已知的。2. 相关工作过去已经实现了投影仪和相机之间的同步。以前的技术分为两组：基于硬件和基于软件的方法。在基于硬件的方法中，外部设备充当驱动投影仪和相机的脉冲发生器。因此，Zhang等人[1]禁用了投影仪的定时信号，并采用基于微处理器的电路作为触发信号。以类似的方式，Grundhöfer等人。[2]安装定制的电子元件。Wissmann等人[3]借助控制相机曝光时间的两个光轨同步DLP投影机其他基于硬件的系统在[4]-[ 5 ][ 6 ]-[ 7 ]中给出在软件方面，Jaeggli等人[8]提出了一种用于LCD投影机的同步算法，该算法作为预处理步骤测量设置中的延迟。虽然他们的方法是一个很好的近似常数lavian在他们的设置，正确的照片的投影不能保证，因为他们没有详细说明投影机的液晶响应时间的影响Petković等人。[9]-2666-6294/©2021作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表图形与视觉计算期刊首页：www.elsevier.com/locate/gvc诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000342Fig. 1. 拍摄的投影照片，编号的图像序列（海洋，云，沙漠）;投影仪：60 FPS，相机：1000 FPS，每隔一个相机帧被描绘。来自投影仪帧0的伪影在投影仪帧2（k-o）中仍然可见。(For为了解释该图图例中对颜色的引用，读者可以参考这篇文章的网络版本来自黑/白校准序列的记录灰度值的线性因子。然而，他们的方法隐含地期望从一个投影机帧到下一个帧的立即过渡，因此不适用于LCD投影机的缓慢响应时间。他们的算法也是为可以通过软件触发的相机而设计的El Asmi等人。[11]假设相同的线性混合模型，并期望投影仪和相机共享相同的帧速率。在一个相关的领域，Perli在al。[12]拍摄LCD屏幕的同步照片我们的算法也是基于标记检测，但我们不对相机施加总而言之，他们的同步需求与我们的不同之处在于，他们的目标是标记检测本身，而我们则希望获得LCD显示器/投影仪的最佳记录。出于同样的原因，我们不参考来自非同步捕获领域的相关工作，例如，Moreno等人[13 ]第10段。据我们所知，这是第一个基于软件的投影机和摄像机同步，支持不等帧速率，考虑了LCD投影机的特殊需求，并保证了稳健的结果。3. 硬件问题LCD投影仪和数字摄像机的几个硬件属性图1描绘了以60 FPS投影并用1000 FPS相机记录这些照片表明，每个投影机帧都是从上到下构造的（对于此特定型号），最重要的是，第一张照片之后的每张照片都是至少两个投影机帧的混合，即使刷新已经到达底部。在仔细检查图。1（o）（第三投影帧）甚至可以看到第一帧的红色零的痕迹。这些混合是相机和投影仪硬件细节的结果。3.1. 相机特性数码相机通过收集落在传感器上的光来工作。空间上不同的光量被转换为转换为数字信号并确定像素的亮度和颜色值。在这个光线收集持续时间，曝光时间，场景必须保持尽可能静态。否则，来自变化场景的光以不同的方式反射，以前的值，并因此使照片模糊。对于真正完美的投影照片，投影图像因此必须在相机的曝光时间内保持不变除了数码相机固有的技术问题外，我们的工作重点是具有固定帧速率的相机，例如，普通的网络摄像头与系统相机相比，用户无法控制拍摄照片的确切时刻。相反，照片被记录在一个连续的固定帧速率流。然而，尽管相机可能以固定的帧速率记录其照片，但应用程序可能不会接收照片流。要将摄像机的记录传输到计算机或移动终端，设备必须被连接，例如，一根USB线。每个连接介质都引入了一层延迟，该延迟在所有帧中可能不是恒定的。然而，测量乳酸是有问题的。因此，我们完全放弃时间测量，使我们的算法尽可能广泛地部署。最后，我们必须承认，即使是最好的硬件也会失败。帧丢失（即丢失帧）可能是由于相机内部的问题或仅仅因为操作系统没有足够快地调度帧收集线程而发生的。我们在第6节中展示了帧丢失确实经常发生在商用硬件上。3.2. LCD投影机属性LCD投影机采用液晶显示（LCD）技术来组装单个框架。如今，LCD投影仪通常安装有三个LCD面板（3LCD）每个LCD面板组成一个网格，类似于像素，它充当投影机光源的网关通过调整每个网格单元与幻灯片放映类似，面板会阻挡暗像素的光线通过将独立构建的红色、绿色和蓝色图像与二向色棱镜立方体叠加，每个像素包含所有三种颜色，投影图像呈现彩色。虽然现代液晶面板的速度很快，但它们并不能从一帧瞬间转换到下一帧。为了准确测量响应时间，即从一个开始颜色值过渡到另一个目标值所需的时间，需要一个快十倍的检测器[14]。显然，这样的设备不是诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000343↔图三. 为了记录图像B，投影过渡帧，随后是包含可检测标记的触发帧。投影保持有等待帧，直到处理计算机接收到正确的照片b2（其包括相机延迟）。图二. 投影和捕获图像B时必须考虑的所有延迟的概述。在该示例中，液晶响应时间等于一个完整的投影仪帧持续时间。(For对本图图例中所指颜色的解释，读者可参考本文的网络版随时可用。此外，响应时间显著取决于亮度起始值和目标值，黑白转换通常比中间色调转换快[15]这种特性使得基本上不可能提前知道或确定地测量单个像素的响应时间。像动态电容补偿（DCC）这样的技术通过短时间内施加比所需更多/更少的电压来改善响应时间。这些改进要求帧被缓冲以预先计算最佳电压，并且因此以帧准备好投影与实际被投影之间的延迟由ISO 9241-305标准化，过渡的响应时间是从其开始和目标亮度水平的10%过渡到90%所需的持续时间2002年，Suzuki et al.[17]报告的平均响应时间在10 ms到40 ms之间，具体取决于LCD面板的类型和补偿方法，有些转换需要近60 ms。Elze [15]报告的响应时间在5 ms到17 ms之间。他们明确指出，“过渡可以超过一帧”。Elze和Tanner [16]后来表明，DCC通常用于现代面板中，这导致平均响应时间小于10 ms。尽管我们可能期望未来硬件的响应时间更快，例如，Chen等人[18]提出了一种平均响应时间为1. 29ms，LCD技术，今天的使用仍然局限于毫秒范围内的响应时间，如图1所示。1演示。由于商用投影机和相机硬件也显示出该范围内的帧速率，因此在同步设备时，决不能低估液晶的响应时间。4. 基于顺序标记的同步为了以完全基于软件的方式同步投影仪和相机，我们考虑了投影图像和拍摄图像所需的全部时间除了设备特定的延迟之外，两个设备的组合在投影仪帧的起始点和相应相机帧的起始点之间引入了另一个未知的时间间隙，我们称之为相机偏移。如果投影仪和摄像机共享相同的帧速率，则摄像机偏移是恒定的，否则偏移随每帧而变化。因此，单个同步图像捕获任务的持续时间由投影机延迟、液晶响应时间、相机偏移、相机曝光时间和相机延迟相加（参见图11）。 2）。即使我们假设投影机延迟和摄像机延迟是恒定的，可靠地测量所有延迟与颜色相关的液晶响应时间和不断变化的摄像机偏移几乎是不可能的任务。然而，如果我们将同步问题简化为从照相机帧本身知道它对应于哪个投影仪帧，则我们的核心算法基于两个假设：1. 每当在相机帧中可检测到投影图像B的部分时，图像B在相机帧的曝光时间期间被（临时地）投影（由于LC响应时间余辉而自愿地或非自愿地）2. 相机帧按其记录顺序（其间有任意延迟）传送在现实世界的条件下，重要的是要注意规则1不能逆转。由于没有检测器是完美的，因此未检测到图像B的痕迹并不能保证图像B在曝光时间期间不通过嵌入可检测标记（例如，ArUco标记[19]）到图像中，其投影的任何相机照片由此被标记有该标记，并且建立投影仪和相机框架之间的语义连接。 因此，如果在相机帧中检测到标记，则保证该相机帧和任何后续相机帧捕获相同的图像（直到投影本身改变）。要拍摄不受前一张图像影响的干净照片，标记必须在投影机的LC响应时间过去后才能嵌入。然而，由于曝光持续时间，展现标记的第一相机帧可能仍然包括来自投影稳定之前的先前投影图像的迹线。因此，该序列中的第二个摄像机图像是投影的第一个正确记录。不幸的是，如果不事先测量任何可能的亮度转换，就不可能准确地预测LC响应Elze和Tanner [16]甚至报告了他们测试的LCD显示器之一的相同转换的不同LC响应时间。因此，我们建议采取务实的做法。由于标记可以仅在常规帧更新时并入到投影中，因此不需要知道确切的LC响应时间。相反，用户只需决定在多少个投影仪帧之后投影是稳定的。使用应用加速技术的现代硬件，可以合理地假设常规60 FPS投影机在一帧内实现其过渡。对于过时的硬件或安全关键型应用，应遵循文献中报告的最慢LC响应时间，或者根据应用，确定先前图像的轻微痕迹会造成多大的损害在下面的图中，我们描述了具有单个过渡帧的LC响应时间，但是保持解释和公式对于任意数量的过渡帧普遍有效。图3可视化了基本算法。对于新图像B，投影以所需的尽可能多的过渡帧开始;还不包括在过渡阶段之后，对B唯一的标记被嵌入到图像中，该图像然后被投影为触发帧。通过继续投影图像（等待帧），直到成功记录，投影保持稳定。最终，相机帧b1包含用于检测的可检测标记。诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000344FCvFC图四、 在不切实际的最坏情况下，首先在摄像机帧中检测标记b3，因为b2的曝光是在标记物变得可见之前第一次这是应用程序选择下一个传入相机帧b2作为正确结果的触发器。注意，尽管在该示例中，由于LC响应时间慢，b0和b1包含来自先前图像A的标记，但是标记同样可能不再是可检测的5. 流水线同步上一节的算法简单且对帧丢失具有鲁棒性，因为图像及其标记的投影会一直保持到接收到正确的照片。然而，在许多应用程序中，下一个要投影的图像并不依赖于前一个的照片。例如，当投影格雷码序列以执行3D扫描时，图像的图案内容从一开始就可确定。在这种情况下，大量的时间被浪费了投影不必要的等待帧，这产生了他们的照片冗余供应（图中b 2之后的每个相机帧）。3）。它们的数量主要由投影仪和摄像机延迟决定。为了克服这些问题，我们的想法是在当前图像被记录之前将下一个图像发送到投影仪，知道相机在不久的将来仍然会捕获图像。流水线图像的想法并不新鲜，Jaeggli等人已经讨论过了。我们不测量可以节省的时间，而是应用理论上的最坏情况分析，即需要多少等待帧以确定地知道图像将被成功记录。然后，我们修改算法，以自动适应平均情况下的等待帧计数。5.1. 最坏情况分析所需的等待帧的数量取决于投影仪为其中，Fp和Fc分别表示投影仪和摄像机的帧速率（以FPS为单位）。通过投影等待帧的最坏情况数量，对于每个可能的相机偏移，保证将来将记录投影图像的正确照片。因此，下一个图像C可以随后立即被发送到投影流水线中5.1.2. 验证最坏情况分析仅在投影仪和摄像机的帧速率恒定时才有效。一旦相机帧被丢弃，最坏情况下的等待帧计数就不再足够了。如果b4在图中下降。4，下一个照相机帧将已经包含下一个图像C。通过为C的连续过渡帧实现附加的新标记来尝试和检测拒绝照片的这种情况是欺骗性的。请记住，从第4节中，没有检测到标记永远不能保证标记实际上不存在于照片中。为了使同步帧丢失鲁棒，有必要防止这种假阴性故障检测情况。因此，我们不寻求检测错误，而是验证正确的记录，并在怀疑的情况下丢弃正确的相机帧。由应用程序决定是否忽略被拒绝的记录，或者是否再次安排相应的图像进行投影。在任何情况下，通知应用程序发生了错误都很为了完整起见，我们提到，可以通过增加等待帧计数以覆盖所需的尽可能多的相机帧丢弃来实现部分帧丢弃鲁棒性。然而，在比预期多一个连续帧丢弃的情况下，错误不会被注意到。此外，当允许连续多个帧丢弃时，额外的等待帧会迅速在没有可靠的时间测量来检测帧丢失的情况下，我们转而在标记检测上构建验证过程，以证明帧被正确记录。根据LC响应时间，尽管相机帧已经记录了大部分图像C，但是在帧c0中仍然可以检测到标记（参见图4）。为了支持帧丢失和偶尔发生故障的标记检测器，我们将假定正确的相机帧定义为候选帧。候选帧必须在被宣布为结果照片之前进行验证。因此，如果在记录候选之后再次检测到标记，则候选被验证，否则无效。为了在此额外时间可靠地检测标记，最坏情况的等待帧等式（参见等式110）可以是：（1）必须更新如下：最坏的情况分析，我们做了一些不切实际的假设，去如何相机和液晶投影机操作的极限我们假设。.. . .触发标记仅在最后才可见 触发帧。. . .只有当标记在整个曝光时间内可见时，才5.1.1. 等待帧计数在这些最坏情况的假设下，用于检测标记的最坏情况的相机偏移几乎是照相机框架，即，帧的曝光开始只是一个分数之前，标记变得可见（见b 2在图。 4）。相机帧b3因此是检测到标记的第一帧，并且b4因此是成功记录的第一帧。因此，最坏情况的等待帧计数是跨越三个相机帧（b2，b3，b4）的投影仪帧的数量：W=103·Fp（1）W=104·Fp（2）此外，有必要通过第四种帧（端帧）来扩展投影，而不使用任何标记。投影序列必须包含与过渡帧一样多的结束帧。因此，它们类似于投射标记的过渡时间-从存在到完全不存在。结束帧保证验证帧是可能已经包含标记和下一图像C（的痕迹）的唯一相机帧因此，之前任何经过验证的候选项必须仅包含图像B。在图5中，通过附加的等待帧和结束帧来扩展最坏情况场景。在相机帧b3中第一次检测到标记之后，下一帧b4自动成为候选者。在帧b5中再次检测到标记，这验证了b4是正确的结果。如果b4被丢弃，则在b3之后传送的下一帧是b5，并且成为候选帧。 如果b6的检测结果被证实，那么它就取决于b6的标记检测.类似地，在b4和b5被丢弃的情况下，··诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000345−−+·−·=· +·=C我+（刘伟）F图五. 图中的例子。4通过额外的等待和结束帧扩展。因为在b5中检测到标记，所以它验证候选b4。候选项b6依赖于c0。由于LC响应时间慢，来自最后等待帧的标记可能仍然可见，重要的是，结束帧保持图像B，使得B6可以被正确地验证（与上述假阴性情况相反）。5.1.3. 无效宣告可能包含图像的可检测标记的最后一个相机帧是在以下时间开始曝光的帧：在最后一个投影仪结束帧结束之前（第二个反向最坏情况假设）。因此，存在可以验证候选者的相机帧m=1+W+E图第六章在没有丢 帧的 情 况 下 ，在实际条件下，和B6是冗余的。标记检测器相反，我们利用验证过程来估计可以节省多少投影仪帧在验证候选人之后，我们执行回顾性分析，计算验证帧之后有多少相机帧也能够验证候选人。图6描绘了比最坏情况假设更现实的场景。相机帧b1是第一个包含可检测标记的，因此将候选角色分配给b2在通过b3验证之后，帧b4、b5和b6都包含可检测标记，并且也可以用作验证帧。在这种情况下，多余相机帧的数量为3。失败记录为负计数（候选无效：1，图像完全跳过：3）。多余帧的数量随每个投影图像而变化，并且主要受相机偏移和丢弃帧的影响。估计实际所需的等待次数Fplimit= 1+Fc·m− 2（三）因此，必须通过考虑多个图像.我们基于要分析的最佳帧数，如果需要相等或更少的时间来E表示结束帧的数量（等于过渡帧的数量）。M描述了图像的标记在投影中可见的最长可能持续时间（最佳情况），跨越触发帧、等待帧和结束帧。 为了考虑可能包含标记的上述最后一个相机帧，Fc m被向上舍入。此外，超时必须包括可能包含标记的最早照片（1），在触发帧开始后的一小部分结束。 如果在候选人提名（2）之后接收到超过限制的摄像机帧，并且两者都不能验证它，则候选人最终无效。在没有首先验证最后图像的候选者的情况下检测到未来图像的标记的情况下，候选者和其间的所有潜在跳过的记录任务也被无效。通过将超时与标记检测相关联，该算法对于相机延迟的变化也变得鲁棒。由于超时是基于已经接收到候选帧，因此有必要在整个图像序列的末尾添加填充图像。否则，从理论上讲，最后一帧可能永远不会结束。例如，如果要投影和记录的最后一个图像被无效，则再次投影图像需要整个投影仪延迟，在此期间，投影的内容未定义。由于此持续时间未知，因此无法设置固定的超时。如果运气不好，那么帧可能会下降再次投射故障，而不是投射具有足够等待帧的整个序列作为一个例子，我们考虑一个图像序列，其中七个图像中的每一个由于所有候选都被成功验证，因此序列的总帧成本为6 7 42。相反，如果每个图像仅用六个投影仪帧投影，则保存足够的帧以补偿必须再次投影的一个失败（假设失败图像的第二次投影成功）：42.因此，我们定义图像的窗口大小，以研究关于过量帧的当前总投影仪帧计数加一：S=T+1+Wi+E+ 1（4）其中，T、Wi和E分别是当前配置的过渡帧、等待帧和结束帧的数量。如果最后S个图像仅包含单个故障，则我们假设已经达到最佳等待帧计数。如果检测到更多/更少的故障，则必须增加/减少等待帧计数。在这种情况下，S个图像按其过量帧计数排序，并且基于第二最差图像的过量帧X来更新等待帧的数量（以允许将来的单个故障 ⎧⎪⎨W+max(1,⌊−X·Fp⌋)对于故障>1导致系统永远无法检测到图像的标记之一。然后，系统将在无限循环中搜索最后一张图像Wi+1=Max⎩⎪0，Wi−X·FpFc对于故障1<（五）因为没有连续图像的标记会报告跳过。填充图像在这种情况下保持管道运行并报告跳过。5.2. 自适应算法很明显，最坏情况分析浪费了大量时间来覆盖不切实际的硬件行为。图标记同步无法识别帧b2、b3、b5和b6由于大量的算法开销，为了加快通用算法的速度，我们不能对还有吗太多的失败保证等待帧计数增加（W imax（1，. . . ））和保守地（地板函数）添加丢失的帧。相比之下，通过减少等待帧计数来大胆地接近缺乏故障（ceil函数）。由于投影机延迟和未完成的记录任务仍在流水线中，因此必须格外小心，以从分析中排除使用旧的等待帧配置记录的图像的多余帧。如果所需的窗口大小在等待帧计数改变之后，还没有达到S个超额帧计数的情况下，我们仍然监视可用数据的情况诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000346FC- -−−•×•×××图第七章 通过检测B5中的故障标记来验证B4。如果在这个减小的集合中发生了多个故障，我们通过立即计算新增加的等待帧计数来加快反应时间。5.3. 故障标记算法自适应算法旨在减少等待帧以节省时间。尽管这种减少包括用于验证的附加等待帧，但是结束帧仍然是恒定的开销，特别是在配置了许多过渡帧的情况然而，如果标记检测器在投影仪停止投影之后足够早地失败，则不需要要求与过渡帧一样多的结束帧。在本节中，我们提出另一种自适应算法，该算法打破了我们的一些初始规则，因此稍微不那么鲁棒，但对于许多应用来说仍然是足够鲁棒的启发式算法。对于本节，我们假设标记物检测器更可能检测到主动投射的标记物，而不是非主动投射的标记物（通过LC响应时间）。因此，当标记物由于LC响应时间而仅勉强可见时，在标记物被投射时检测失败并且随后检测成功是不可能的。在这些条件下，我们将第5.1.2节的验证修改如下：（一）.然后，不是用无标记的结束帧填充投影，而是将新的失败标记嵌入到结束帧中（每个图像唯一）。此外，与其重复结束帧的次数与过渡帧存在的次数一样多，不如只重复很长时间，以便有很高的机会检测到它曾经：Ef=Fp（6）与之前类似，如果该帧包含可检测的主要或故障标记，则候选者随后由另一后续相机帧验证。然而，此外，候选人本身不得包含失败标记。如果候选者包含失败标记，或者如果在达到调整的超时限制的后续帧中无法检测到失败标记，则候选者无效 图 7，则候选帧B4不包含失败标记。在下一帧b5中检测到失败标记，这验证了候选。如果b4被丢弃，则b5成为候选。如果故障标记被正确识别，则其立即无效。如果检测失败，则仍有可能在c0中检测到失败标记，这也将正确地验证b5。如果未检测到，则上述初始假设成立，并且不存在包含可检测故障标记的后续相机帧，这在超时之后使b5与原始自适应方法（参见第5.2节）类似，对每个图像的多余帧进行计数，直到检测到故障标记。如果在触发帧或候选帧中检测到失败标记，则存储负的过量帧（分别为2和1重要的是要注意，即使没有丢帧，在一些硬件配置中，不幸的相机偏移也可能导致完全跳过图像的故障标记（例如，两种设备均为60 FPS，相机偏移约为50%）。我们将此类故障视为常规的相机偏移或帧丢失引起的故障见图8。 c0被c 1错误地验证。其中超额帧计数为1。然而，对于具有相同帧速率的设备，应监视情况，并且在需要的情况下，结束帧计数增加1以防止无限循环。如果图像被完全跳过，则将其分级为3个额外帧计数。图 8可视化了算法中的上述缺陷。由于两个连续的帧丢弃（b4和b5），候选者c0被c1错误地验证，因为失败标记检测对于c0失败，但是对于c1成功。在该示例中，如果过渡帧计数大于1，则检查主标记的c0也将不是该问题的可靠补救措施6. 结果我们用两台3LCD投影仪和摄像头测试了我们的算法，每台投影仪和摄像头都连接到一个标准的Windows 10工作站：NEC@60：投影机NEC NP-P451 WG，2015年1月制造，1280800像素，60 FPS。Epson@59：投影机Epson EB-L510 U，制造大概2019年，1920 1200像素，59 FPSRealsense@30/@60：相机英特尔Realsense SR 300，1920 1080像素在30 FPS或1280720像素在60 FPS• Svpro@120：cameraSvpro DESVUSBFHD01MSFV USBCam-eraModule，640×480 pixels at 120 FPS图1的照片是用Sony RX 100 V相机记录的。由于它不支持直接流式传输到计算机，因此没有进一步包括在我们的测试中。6.1. 方法对于每个投影仪/相机对和同步策略，我们通过投影和记录每个100个图像（没有填充图像）进行了100个实验。对于依赖于候选验证的 算法， 在检测到 无效后立即 重新投影 图像。 我们用OpenCV文库[20]嵌入并检测ArUco标记[19]出于实际原因，将不同的ArUco标记的数量这间接地限制了我们的流水线同步算法，以容忍最多9个（4个带有失败标记）整个图像投影和记录任务的连续帧丢失。为了使标记物检测尽可能快并且不受先前标记物的LC响应时间干扰，我们在图像内的两个标记物位置之间交替用于每两个不同的连续标记物。我们注意到标记检测偶尔失败，但重复使用相同的图像。在进一步检查后，似乎OpenCV的默认ArUco标记检测受到先前图像的LC响应时间的一些伪影的影响（见图1）。9），如果过渡帧的数量太低。因此，标记由于全分辨率摄像机图像上的ArUco标记检测可能超过摄像机帧时间，因此在启动时，我们通过在两个位置投影标记来自动确定摄像机图像的·诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000347见图9。来自（a）的标记在投影图像（b）中对于人类观众是清楚可见的，但是不能被自动检测到。然后从包括两个标记的第一相机图像中的角检测导出ROI。这个初始ROI检测时间（约250 ms）不包括在我们的统计中。从这一点开始，仅在ROI中搜索标记，这将运行时检测时间保持在1 ms以下，可以忽略不计。投影仪的预热时间至少为1 h，以提高LCD面板温度，从而降低LC响应时间[21]。对于Realsense@30/@60相机，我们发现所有实验中只有不到1%的实验表现出帧丢失（两个连续相机帧之间的持续时间超过预期持续时间的150%）。为了说明基本的算法性能，我们从统计数据中排除了那些离群运行，并将其替换为没有帧丢弃的运行。与此相反，Svpro@120相机表现出特别高的帧丢失率（见图11）。10）。在1分钟的时间内，摄像机只提供了4413帧，而不是预期的7200帧。虽然小的偏差可以通过舍入误差和不精确的时间测量来解释，但直方图显示峰值约为13 ms和24 ms，表明定期最多有两个连续的帧丢失。直方图的分布也证明了需要基于软件的同步来支持不同的相机帧速率。在非实时系统中，我们无法确定接收到的帧速率的分布是否是摄像机本身的实际变化帧速率的结果，或者它是否是从摄像机连接到接收线程的延迟的变化累积。虽然我们的流水线方法期望基本算法设计的摄像机帧速率恒定（参见第5.1.1节），但验证过程可确保即使摄像机帧速率变化也能正确记录。请看补充视频，我们方法的示范6.2. 评价图1描绘了来自NEC@60投影机的照片，并表明单个过渡帧对于投影机是不够的我们可以用Svpro@120相机来证实这一假设，并发现即使是两个过渡帧也是不够的（见图1）。11）。在一些罕见的图像中，可以在经验证的候选帧中看到伪影。在投影三个过渡帧之后，我们再也找不到这样的伪影。相比之下，对于Epson@59投影仪来说，一个过渡帧似乎就足够了。我们展示了两台投影机的多个设置的时序统计数据以供参考（见表1和表2）。根据硬件、配置的过渡帧数量和同步策略，100个有效载荷图像被投影并记录为3。97FPS到14每秒84帧。一般来说，顺序同步（见第4节）是我们测试的同步技术中最慢的。然而，很难量化它在通用设置中的性能，因为性能主要取决于所涉及的投影仪和相机的性能。如果摄像机明显慢于投影机，则关系会改变，因为最坏情况估计和验证过程都基于摄像机帧速率。此外，配置的过渡帧越多，验证过程的时间成本就越高如果这些影响加起来（例如，NEC@60/Realsense@30，3个过渡帧），顺序同步的性能优于具有验证的流水线技术。然而，它优于失败标记同步，它表现出恒定的验证开销，无论过渡帧。最坏情况下的同步（无验证）证明了流水线加速，始终比顺序方法快。当将候选验证添加到方法中时，性能变得非常作为回报，结果是稳健的。尽管我们从Realsense@30/60实验中过滤掉了 丢 帧 运 行 ， 但 投 射 任 务 的 总 数 （ n ） 始 终 略 高 （ 例 如 ，Epson@59/ Realsense@30：100.08）比预期的100。该偏离可能意味着很少发生标记检测失败或实际摄像机帧速率（通过电缆或网络传输图像之前）不恒定，这会影响最差情况分析。最坏情况方法的等待帧开销通过自适应方法减少，使其通常快速。但是，它不能补偿额外的验证成本，因此比没有验证的最坏情况算法慢。性能只能通过降低验证成本来进一步提高，这一点通过故障标记同步来证明。该方法通常是最快的，或者与没有同步的最坏情况技术相当，同时提供更鲁棒的结果。自适应算法的上述性能优势的一个显著例外是Svpro@120相机。见图10。在 1 分 钟 内 测 试 的 摄 像 机 的 帧持续时间直方图。诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000348战略有效的.顺序–最差情况✗最差情况自适应自适应失败。标记✓✓✓FEpson@59/Realsense@60WC1↑/↓（%）n1T1（s）C2↑/↓（%）n2T2（s）––100.0012.864–100.0014.39720.00/0.00100.006.7380.00/0.00100.008.40220.00/0.00100.248.4230.00/0.00100.1111.73625.35/5.53119.569.2153.79/3.91112.7012.69915.82/5.20121.839.3264.47/3.72114.9212.87420.58/1.21104.527.1882.79/3.62113.039.417表1Epson@59统计。有效期：如果执行了验证，则W：初始等待帧计数，C：平均。 等待帧计数变化的百分比（增加/减少），n：平均值。 投影任务数，T：avg. 测试运行持续时间，下标：配置的转换帧的数量Epson@59/Svpro@120策略有效。W=C1↑/↓（%）n1T1（s）C2↑/↓（%）n2T2（s）顺序–––100.0012.288–100.0013.955最差情况✗30.00/0.00100.008.4070.00/0.00100.0010.076最差情况✓40.00/0.00100.2011.8720.00/0.00100.1115.187自适应✓42.32/3.19113.059.8440.00/1.00100.2612.380自适应✓22.65/2.65115.429.6060.04/0.03100.4412.002失败标记F30.40/1.25103.257.3770.09/1.02101.448.918Epson@59/Realsense@30W=C1↑/↓（%）n1T1（s）C2↑/↓（%）n2T2（s）––100.00 16.70660.00/0.00100.00 13.392 0.00/0.00 100.00 15.13280.00/0.00100.08 18.496 0.00/0.00 100.16 21.82380.09/1.07100.73 14.986 0.08/1.0560.11/0.37100.57 14.335 0.12/0.3650.07/0.220.09/0.15 100.50 16.60140.76/0.06102.56 13.161 0.81/0.0960.07/1.11100.30 12.460 0.01/1.00见图11。经确认的NEC@60候选帧，使用Svpro@120摄像机记录，具有1（a）、2（b）和3（c）个过渡帧。如果过渡帧的数量不足（a，b），则可以看到上一幅图像（编号为83）的痕迹（下面是放大的二进制阈值图像）由于帧丢失率特别高，自适应ap-proach通过反复调整等待帧计数而失去速度。这些调整还导致高故障率，其表现为高图像重复率，例如具有1个过渡帧的NEC@60/Svpro@120：对于原始100个有效载荷图像的122.22个图像投影任务。在超过11%的图像中，等待帧必须向上调整（5。（83%）或向下（5. 94%）。图12（a）可视化时间过程。等待帧的平均数量在1和2之间波动，并且在所有图像中通常 存 在 大 量 故 障 。 相 比 之 下 ， Fig. 图 12 （ b ） 示 出 了 使 用Realsense@60相机的2个等待帧的清晰收敛。由于会聚间接地取决于相机帧速率，因此会聚随着较低的帧速率而减慢（参见图12（c））。为了从时间表中剥离初始收敛开销，我们为每个自适应测试运行包括了具有假定最佳收敛等待帧计数（W0）的如果渐近线不清楚从图中可以看出，我们包含了最接近的整数不对称。正如预期的那样，如果收敛是可实现的，则总平均持续时间减少。从Realsense@30/@60的数千次测试运行中，我们只能识别出几十个帧丢失的实验。有趣的是，如果确实发生了帧丢失，通常会有-在测试运行中多次跌落。对于大多数验证运行，我们无法识别与无帧丢弃平均值的偏差。这似乎是合理的，因为验证方法容忍帧丢弃，并且丢弃的帧可能不是关键的（例如，在过渡帧期间）。有一些例外，例如，Epson@59/Realsense@30，1个过渡帧，自适应同步，7个丢帧：n：101，时间：16。149秒。与无帧丢弃实验（14. 986 s），它收敛较慢，仅在21个图像（常规：13至14）后，并且仅到6个等待帧，而许多其他运行收敛得更低（4）。这些异常进一步支持了我们的假设，即零星的帧丢失被正确识别并由同步方法进行了验证处理，但可能会减慢流水线。6.3. 讨论从我们的研究结果中，我们得出了多个教训，最重要的一个是：基于标记的同步的最佳变体取决于设置和应用程序本身。如果用户没有关于投影仪和相机硬件的任何先验知识，但需要鲁棒的结果，则自适应同步是一个很好的全能者。如果与下一个图像的轻微颜色偏差的风险是微不足道的，则故障标记同步提供了最佳的成本效益比。虽然我们在测试中没有看到这种偏差，但从理论上讲，它们是可能的，并且在高速相机中更容易发生。最坏情况下的同步方法更适合于不允许改变图像顺序但容忍偶尔失败的应用程序，或者是无效结果（无验证），或者是跳过结果（候选无效）。如果图像顺序发生变化，则顺序方法仍然是最佳选择战略有效的.顺序–最差情况✗最差情况自适应失败。标记✓✓✓✓✓F诉克莱因，M。Edel，M.Stamminger等人图形和视觉计算5（2021）2000349见图12。 具有1个过渡帧（基于图像索引0）的自适应测试运行概述。半透明区域表示标准偏差。注意不同的y轴的缩放（a）在初始最坏情况等待帧设置（2）之后，该数字在1和2之间波动（b）最佳等待帧计数收敛于2. (c)相机越慢，多余帧窗口越宽，收敛越慢。(For对该图例中颜色的参考的解释，读者可参阅本文的网页版表2NEC@60统计数据。有效期：如果执行了验证，则W：初始等待帧计数，C：平均。等待帧计数变化的百分比（增加/减少），n：平均值。投影任务数，T：avg. 测