基于事件的自动对焦方法的研究及性能优于最先进的方法

16344}{活动摄像机林世杰1，张银强1，余磊2，周斌3，罗晓伟4，潘佳1*1香港大学2武汉大学3北京航空航天大学4香港城市大学项目页面：https://eleboss.github.io/eaf_webpage/摘要对焦控制（FC）对于相机在具有挑战性的现实场景中捕捉清晰图像自动对焦（AF）通过自动调整焦点设置来促进FC。然而，由于缺乏有效的自动对焦方法，最近推出的事件相机，他们的FC仍然依赖于天真的自动对焦，如手动对焦调整，导致在具有挑战性的现实世界条件下的适应性差具体地，事件和帧数据之间在感测模态、噪声、时间分辨率等方面的固有差异，为事件摄像机设计有效的自动对焦方法带来了许多挑战。为了解决这些挑战，我们开发了一种新的基于事件的自动聚焦框架，包括一个事件特定的焦点测量称为事件率（ER）和一个强大的搜索策略称为基于事件的黄金搜索（EGS）。为了验证我们的方法的性能，我 们 收 集 了 一 个 基 于 事 件 的 自 动 对 焦 数 据 集（EAD），其中包含在各种具有严重照明和运动条件的具有挑战性的场景中的同步良好的在该数据集和其他真实场景上的实验证明了我们的方法在效率和准确性方面优于最先进的方法。1. 介绍最近，一种称为事件相机的新型神经形态视觉传感器[3，24]受到越来越多的关注，其显著的优点如高动态范围（HDR，>130 dB[3]）和低延迟（1 us[11]）。到目前为止，事件摄像机已被广泛应用于各种应用中，包括机器人和计算机视觉[9]，其中焦点控制（FC）对于可靠的感知至关重要。 似-*J. Pan是通讯作者。本项目由香港特别行政区政府资助RGCGRF 11202119, 11207818, T42-717/20-R，香港特别行政区国家 自然 科学 基金项 目 61871297 ，湖 北省 自然 科学基 金项 目2021CFB 467 。 1lsj2048 ， zyq507 ， connect.hku.hk ，2ly.wd@ whu.edu.cn，3zhoubin@buaa.edu.cn，4xiaowluo@cityu.edu.hk。图1.我们的基于事件的自动对焦系统由一个事件相机和一个电动变焦镜头组成。它利用所提出的基于事件的焦点测量和搜索方法来将相机聚焦到最佳焦点位置。当适当聚焦时，事件相机与传统的基于帧的相机相比，聚焦事件（图1b）表现出更清晰的纹理和传达更多的信息比散焦的（图1a和图1c）。因此，需要一种用于事件相机的有效自动对焦（AF）方法，特别是对于具有挑战性的真实世界场景。传统AF方法通过利用图像帧的固有属性（如图像梯度[6，8，12]、图像频率[17，44]和图像统计[6]）来促进FC。然而，事件在模态、噪声、时间分辨率等方面与帧有根本的不同，这使得传统的基于帧的AF方法不适用。在开发活动摄像机专用的自动对焦方法时，有四个特殊的挑战：• 聚焦测量功能：聚焦测量是测量散焦程度的关键功能，但是现有的基于帧的聚焦测量是针对2D图像帧而不是针对异步事件数据设计的。在此处键入公式。16345• 数据模态：与图像不同，事件是以高时间分辨率异步捕获的四属性元组流。• 噪声：事件包含的噪声特征不佳[9]，难以过滤。• 数据大小：在对焦过程中，基于事件的AF需要处理数百万个事件，这使得实时处理比传统AF更具挑战性，传统AF只需要处理不到100张图像。上述挑战的一个简单解决方案是依赖于基于事件的图像重建方法[4，28，34]将事件转换为图像，然后将这些图像馈送到传统的基于帧的AF方法。然而，事件的噪声影响重建帧的质量，并限制了后续AF方法的性能。此外，作为许多基于事件的应用的基本前端，AF必须是时间有效的，但是基于学习的重建是耗时的。我们通过从头开始开发基于事件的自动对焦框架来应对上述挑战。首先，根据我们的知识，我们开发了第一个基于事件的焦点测量，其描述了均匀率（ER）的统计，这是一个简单的度量，有效地用于测量在不同焦点位置处捕获的事件数据。然后，我们提出了基于事件的黄金搜索（EGS），以配合我们的焦点措施，以找到最佳的焦点位置。EGS对事件累积间隔的参数是不变的，因此可以在具有挑战性的条件下稳健地操作，例如具有极低照明（1 Lux）和剧烈相机抖动的情况。总之，我们的贡献有三个方面：• 我们提出了一种新的基于事件的焦点度量方法，事件率（ER），以测量不同焦点位置处的事件数据的焦点分数。它是有效的，易于实现，并对噪声鲁棒。• 使用我们的基于事件的聚焦措施，我们提出了一个鲁棒的和有效的方法来聚焦事件相机通过解决一个一维的优化，这是出色的工作，特别是在复杂的动态和低光照条件下。• 我 们收 集了 一 个基 于事 件 的自 动对 焦 数据 集（EAD），包含各种运动和照明条件下的数据。已经对EAD和真实世界场景进行了广泛的评估和比较。2. 相关工作基于帧的自动对焦。传统的基于帧的自动聚焦方法通常包括两个主要部分，即，聚焦测量函数和搜索方法。焦点测量是一个单峰函数，对成像进行在不同焦点位置捕获的数据。以往的焦点测量方法可以分为基于对比度的方法、基于变换的方法、基于几何的方法和其他方法。基于对比度的方法[6，8，12，30，37]利用聚焦图像比散焦图像更清晰的属性，并使用梯度来评估图像清晰度。基于变换的方法[7，17，19，22，23，38，42，44]在频域中工作，并利用能量或频率比来评估图像清晰度。基于统计的方法[6，8，25，41，45]试图使用图像数据的统计特性来反映散焦的程度。其他类型的方法包括利用图像曲率[15]以及最近引入的基于学习的方法[16]。然而，这些以前的作品都是在图像输入上操作的帧样张量。相比之下，事件数据是一组四属性的时空元组与模态不同的图像。因此，不能直接利用先前的基于帧的聚焦测量来评估事件相机的聚焦分数。搜索方法[14，18，21，40，43]依赖于从不同时间捕获的图像计算的焦点分数来计算最佳焦点位置。全局搜索通过遍历所有可能的位置来获得最优结果。后来的努力使用更好的排序方法提高了搜索速度，包括二进制搜索[18]，爬山搜索[14]，斐波那契搜索[21，43]等。最近使用深度学习的工作可以直接预测具有一些 散 焦 图 像 的 最 佳 焦 点 位 置 [40] 。 然 而 ， 这 些approaches是专门为图像输入设计的，其中每个单独的图像提供了丰富的信息，在空间域与其大量的像素，虽然在时间域的解决方案是低的。相比之下，每个单独的事件包含很少的信息，但是所有异步收集的事件的集合在时间域中提供高分辨率，因此，特定于事件数据的新的搜索方法对于解决事件数据中具有挑战性的时空不平衡是必要的。基于事件的图像重建。基于帧的AF算法可以对从事件重建的图像起作用。最近的几项工作[4，28，34]证明了从事件重建强度图像的可能性。Bran- dli等。[4]使用直接积分从事件重建帧。Munda等人[28]为事件摄像机提出变分模型并相应地生成事件。但是这些方法严重受到噪声的影响。卷积神经网络（CNN）在减轻噪声方面表现出出色的性能[34]，但网络对比度最大化框架[10]采用传统的焦点测量作为最大化的损失函数16346−̸j=1是一组图像=IjNf，其中Nf是总图像的数量。由于大多数基于帧的相机都是低FPS的Σ它可以解决投影事件，但它不能解决自动对焦问题。因此，仍然需要直接操纵事件数据的有效自动聚焦方法3. 问题公式化透镜系统可以由厚透镜模型建模基于事件的自动对焦（EAF）。与FAF不同，EAF使用事件相机生成的高时间分辨率事件来估计最佳焦点位置：p（t）= argmaxFev（Sev（t，t），t），（3）不其中，Fev是基于事件的聚焦度量函数，Sev是基于事件的强度采样函数1 1+多迪1=，（1）F接收强度场由于事件相机只对强度的相对变化做出响应，Sev是一组事件E={ek：tk∈[t−t，t+t]}Ne 、其中d是物体距离，d是像距，2 2k=1o由采样时间t和采样间隔t控制，f是焦距。原则上，聚焦深度由图像到物体的距离di+do和焦距f唯一地确定，并且我们扫描透镜以将焦点位置p（t）朝向最佳p（t）调整。 当镜头线性扫描时，像距和物距是变化的-（以恒定的速度），直到方程。（1）是饱和的，即，专注设d=p（t）di为距离误差，当di和p（t）之间的差为非零时，即d i= 0时，发生散焦。一般来说，大多数AF系统遵循三个主要原则。（i）场景。它应该有足够的纹理与相对高的对比度和良好的光环境没有高层次的闪烁。㈡动议。在聚焦过程中，视场应被限制在一致的目标上，因此相机运动不能很大。㈢透镜。透镜服从薄透镜模型，并且透镜马达的运动是线性的。在聚焦过程中，AF系统沿着特定的搜索路径连续移动镜头，并使用沿着该路径收集的时间同步数据作为反馈，以最大限度地减少抖动。基于数据类型，我们可以定义两个AF问题，即，基于帧的自动对焦（FAF）和基于事件的自动对焦（EAF）。基于帧的自动对焦（FAF）。 FAF使用基于帧的相机拍摄的图像来估计最佳焦点位置：p（t）= argmaxFim（Sim（t），t），（2）不其中，F_im是基于帧的聚焦测量函数，S_im是从感知强度场的空间-时间体积执行基于帧的强度采样的函数（f ×f）。T∈R2×R）。聚焦过程中Sim的采样结果我{}而Ne是事件总数。通常，Ne比Nf大几个数量级，因为事件摄像机在非常高的时间分辨率下对强度变化使用逐像素异步响应。特别地，每个事件只包含很少的空间信息，即，像素因此，电弧炉需要依靠丰富的时间样本来解决电弧问题，而每个样本只包含有限的空间信息。由于事件的数据模态与图像的数据模态在本质上不同，因此在开发有效的EAF算法以充分利用事件相机的优势（如HDR、低运动模糊和EAF任务中的高时间分辨率）时存在挑战。4. 方法在本节中，我们从头开始开发一个完整的EAF框架，以充分利用事件数据进行聚焦。系统首先遍历所有焦点位置以收集事件（图2a）。基于事件的黄金搜索（Event Based Golden Search）4.3）将使用我们的基于事件的焦点措施（第4.3节）。4.2）评估收集的事件并计算最佳焦点位置（图2b和图4 b）。2c）。4.1. 预赛从文献[20，29]中，我们知道散焦是一种低通滤波器，可衰减图像中的高频分量强度梯度代表高频分量，可以有效反映离焦程度[13]。因此，在等式（1）中的常规的基于帧的聚焦测量函数是：（2）可以定义为：ΣFim（ Sim（ t），t）=x∈Ω（30 FPS），图像集的时间分辨率相对较低。<因此，FAF仅使用几个时间样本，其中，I（x，t）=。I（t）xI（t）伊x是像素x处的梯度I.E.为了找到最佳焦点位置，FAF严重依赖于每个图像然而，由于空间信号容易由于运动模糊和低光照而退化，FAF通常不能在运动和光照条件下很好地工作在时间t采样的强度图像。然后，基于帧的AF方法可以解决等式中的优化问题。（2）寻找震源位置。然而，对于事件相机，找到有效的基于事件的聚焦措施来测量事件数据的问题仍然是开放的。def2、|I（x，t）|、（四）16347def- −·def联系我们∫Σdef−图2. 我们的基于事件的自动对焦系统首先遍历所有可能的焦点位置，从最小到最大，以收集事件数据。(b)然后，系统将使用基于事件的黄金搜索（EGS）与基于事件的焦点度量相配合，即，ER，以找到最佳焦点位置，以及（c）相应地调整镜头。4.2. 活动摄像机从事件相机的基本形成模型出发，设计了一种有效的基于事件的聚焦度量方法。4.2.1事件形成模型事件摄像机[3，24]异步响应亮度变化。一旦对数强度相对于上一个时间步长的变化超过预定义的对比度阈值C，事件相机中的像素就触发事件ek：<$L（xk，tk）=L（xk，tk）L（xk，tk <$tk）=pk C，（五）其中xk是第k个事件的像素位置，tk是触发时间，pk1，+1是极性，p ktk是自像素xk处的最后触发事件以来的持续时间，并且L（x，t）= logI（x，t）表示对数强度。在持续时间t内事件的累积可以通过将噪声和对数强度之间的差相加来计算：(a) 偏倚焦点评分（b）拟议ER图3.比较序列的焦点得分，cus board light static. (a)通过直接积分计算的使用梯度的聚焦分数受随时间累积的噪声的影响，而（b）使用事件率的聚焦分数不受累积噪声的影响。Eq.的两侧的事件卷积（6）跳过图像重建步骤然而，如[35]中所讨论的，使用类似[28]的方案计算直接积分将导致漂移和有偏估计，如图3a所示。虽然漂移可以通过线性滤波器[35]改善，但仍需要逐帧求和将梯度图像转换为焦点分数，并且该过程非常耗时，因为在聚焦期间事件的数量很容易达到数百万不ek（x，τ）dτ=L（x，t）L（x，0）+0k不η（x，τ）dτ，0（六）为了解决上述问题，我们建议使用事件率（ER）作为基于事件的焦点测量。首先，由于ER测量的是变化率，因此噪声只会在短时间内衰减，这在很大程度上缓解了其中，η（x，t）是传感器噪声，其通常是非线性的。已知[9]且特征不佳，ek（x，t）是使用Dirac-delta函数δ[27]的每个事件e k（x，t）=pk·C·δ（t-tk）δ（x-x k）.（七）4.2.2基于事件的焦点测量：事件发生率（ER）基于事件的聚焦测量旨在有效地为在不同焦点位置处捕获的事件提供聚焦分数然而，用于计算梯度图像的经典方法[13]需要空间卷积，并且不能直接应用。如图3b所示。第二，由于事件数据在寻址事件列表中从事件摄像机传输到计算设备，因此可以简化计算ER以计数列表中的事件数量，而不生成任何帧状阵列。通过这种方式，不需要类似帧的渲染或逐事件卷积，从而实现高效的ER计算。我们现在解释为什么ER可以是一个有效的基于事件的焦点测量。ER被计算为具有长度t的事件累积间隔内的事件的平均数量：为活动而奔波。 虽然我们可以重建图像事件，在这么多的侦察上进行空间卷积-e100t+100t/2tδ（t-t）δ（x-x）dτ∫16348R（x，t，t）=t−t/2kkk。（ 八）结构化图像是耗时的。 为了解决这个问题，困难，[35]通过应用线性的强度增量（等式1）来渲染梯度图像（5）因16349←∆t≥..eeC∇22移动边缘[11]，在间隔期间给定恒定速度，强度变化率可以近似为：算法1：具有固定电流的初始EAF数据：累积间隔时间t，持续时间T结果：最佳焦点位置p（t）n（x，t）Tt·v（x），（9）intmax= 0;对于t0到T，如果Fev（Sev（t，t），t）> fmax，则其中，L（x，t）表示 的 强度 改变利率，fmax=Fev（Sev（t，t），t）;[11][12][ 13][14][15][16][17][18][19]intt=t;表示像素x的恒定速度。通过改变从[0，t]到[t−t/2，t+t/2]的积分区间，当量（6）我们还可以：<$L（x，t）=L（x，t+<$t/2）−L（x，t−<$t/2）算法2：基于事件的黄金搜索（EGS）数据：阈值µ，黄金比例φ∆t100t+100t/ 2t∆te（x，τ） dτ−t+t/2 η（x，τ） dτ结果：最佳焦点位置p（t）[T1，T2]←总事件的时间范围;T=T2−T1;=t−t/2k kt−t/2。（ 十）∆t当T > μdo时t1=T1+φT;t2=T2−φT;φt=φ·T;忽略方程中的噪声项。（10），并替换ek（x，τ）在Eq中的事件模型。我们可以看到，强度变化率的绝对值可以近似为所提出的ER乘以对比度值：如果Fev（Sev（t1，t2），t2）然后T2=φ·T;其他T1=（1−φ）·T;..Ct+t/2δ（t-t）δ（x-x）dτT←T2−T1;L（x，t）≈t−t/2kk kt=（T+T）/2;.∆t第二章1=C·Re（x，t，t）.（十一）合并等式（11）和等式（9）、ER和梯度值是相关内容如下：R（x，t，t）|L（x，t）|·v（x）。（十二）假设方程中的恒定速度v（x）。根据公式（12），Re（x，t）与强度梯度L（x，t）的范数成比例，这意味着ER可以是强度梯度范数的有效指标。如第4.1中，焦点位置由强度梯度的最大范数识别。然后，由于ER和梯度范数之间的比例关系，聚焦位置也可以由具有最大ER的位置找到因此，ER可以是有效的基于事件的焦点度量，并且焦点分数被计算为：4.3.1手动选择电弧炉的电弧炉根据我们在Eq.（8）具体因此，我们可以使用Eq。（13）为了计算不同的焦点得分作为最佳测试。 整个算法总结在算法1中。对于这种简单的解决方案来说，适当的t是很重要的：太大的t会降低最终估计t的准确性，而太小的t会在ER中产生大的尖峰噪声。4.3.2具有自动化故障搜索的电弧炉为了使EAF免疫固定的伪影，我们开发了基于事件的黄金搜索（EGS）。EGS可以-在找到t的同时，自动调整间隔tt。的Fev（Sev（t，t），t）=def4.3. 优化x∈Ω R2（x，t，t）.（十三）总体EGS算法在算法2中示出。具体而言，EGS利用黄金比例φ将收集的事件集划分为两个重叠的间隔，并使用等式（1）计算每个间隔的焦点分数（13）。则考虑到等式中的基于事件的焦点度量（13），我们可以解决方程中的优化问题 （3）寻找最佳焦点位置。在优化过程中，我们需要在计算ER时调整事件累积间隔Δt。我们首先描述了一个简单的优化与手动选择然后介绍了我们的EAF方法，它可以自动选择最佳的时间，并最终选择最佳的时间。.t. 在所有的结果中，我们处理给出最大值的t16350对于具有较高ER的活动间隔重复整个过程。递归地，活动间隔将在每一步中以相同的恒定比例收缩，最终导致一种有效的方式来逐步减少间隔定位如图所示，最佳t和精度界限μ2b.请注意，没有必要执行事件计数16351eOO×表1.事件中的定量比较。（更好：↓）（a）瓶雄蜂光静态（b）瓶雄蜂光动态（c）瓶雄蜂暗静态（d）瓶雄蜂暗动态图4.基于事件的自动对焦数据集的示例。我们的数据集包含各种场景和条件下的同步帧和事件。(a)、（b）、（c）和（d）是在底部无人机场景中捕获的。数据集中的所有图像请参见附录根据Eq.（8）无论何时评估事件率，这是计算冗余的并且具有（N2）复杂度。相反，我们只对整个事件集进行一次事件以这种方式，任何间隔的事件率可以被有效地计算为由间隔端点索引的两个部分和的差，从而导致EGS的（Ne）即使在完全静止的场景下，镜头的运动也能产生呼吸效果，模糊度和清晰度之间的交替，导致亮度变化，从而产生事件。在这种情况下，光可以在多个像素上扩散因此，对于给定的光强度，这种衰减降低了有效像素的亮度对比度，导致较低的事件率，允许我们的方法识别最佳焦点位置。因此，我们的方法可以在静态和动态场景中正常工作。5. 实验我 们 收 集 了 一 个 基 于 事 件 的 自 动 对 焦 数 据 集（EAD），并通过一组定性和定量实验将我们的方法与几个最先进的我们还在各种真实场景中进行了多次测试，并证明了我们的方法5.1. 基于事件的自动对焦数据集（EAD）系统设置。 如图所示。1、我们配备了一台活动摄像机（DAVIS 346彩色，分辨率为346 260），配备了电动变焦镜头（Fujifilm D17 x7. 5 B-YN 1）。我们使用数据采集卡来捕获镜头的位置信号，并从笔记本电脑（Intel i7- 1065G7@1.3GHz）控制镜头。有效焦点位置范围为0.7勒克斯，这对于传统的基于帧的相机是具有挑战性的，并且对于人类视觉几乎不可见。动议 我们考虑自动聚焦中常见的两类运动：抖动运动（通过在聚焦期间手动抖动相机引入;在EAD中指动态）和无抖动运动（在EAD中指静态）。地面实况对于地面实况焦点位置，我们仔细调整我们的系统，以捕获每个场景的最清晰图像并记录相应的焦点位置。然后，我们使用高频图像重建验证该位置也是事件的最佳位置[31]。我们使用上面提到的设置来收集帧事件序列的数据集，其中采样快照如图4所示。该数据集包括四种类型的照明和运动条件的组合中的28个序列，即静态-亮、静态-暗、动态-亮和动态-暗，每种类型具有7个序列。这些序列代表了各种各样的现实世界场景，从简单的室内物体到复杂的室外建筑工地。工程处的完整统计数字载于附录。5.2. 仅对事件数据进行比较由于大多数事件摄像机[5，24，33]只输出没有图像帧的事件，因此有必要完成EAF220至3750，其线性地对应于从7. 5 mm至140 mm。照明我们研究两种类型的照明条件：低照明（指黑暗的EAD）和正常照明（指光EAD）。最低照明水平可以低至任务只使用事件。在该实验中，我们将直接作用于事件数据的基于事件的自动聚焦方法与作用于使用[4]从事件重构的100 FPS图像的一组基于帧的自动聚焦方法[1，22，26，30，36，39，44，45]进行比较。对于事件-方法度量场景类型光黑暗总静态动态静态动态CHEB [45]（侦察。图像）Mae1842.91676.71806.31900.11806.5RMSE1931.81758.31850.01947.91873.5Helm [15]（侦察。图像）Mae1387.42001.71913.91900.31800.8RMSE1508.82067.51962.01948.11883.97EIGV [41]（侦察。图像）Mae1948.71143.41906.32126.01781.1RMSE2040.61202.61938.42146.61869.2GLLV [32]（侦察。图像）Mae1697.11634.01625.01720.71669.2RMSE1784.01714.41726.21774.31750.0SML [30]（侦察。图像）Mae1697.11634.31725.31722.71694.9RMSE1783.71714.61779.01775.71763.5LAP3 [1]（侦察。图像）Mae1697.01634.31725.31722.71694.8RMSE1783.61714.61779.01775.71763.5GRAD [39]（侦察。图像）Mae1697.01634.31725.31722.71694.8RMSE1783.61714.61779.01775.71763.5WAVS [44]（侦察。图像）Mae1697.01634.11725.31722.71694.8RMSE1783.61714.41779.01775.71763.4ACMO [36]（侦察。图像）Mae1501.9931.31726.01828.71497.0RMSE1681.01105.21779.51860.41633.6[第26话]（侦察。图像）Mae412.91633.91725.31721.01373.3RMSE669.71714.11779.01774.51557.3DCTM [22]Mae888.31078.31632.41381.61245.116352���0.065���0.065(a) 聚焦曲线的顺序：瓶无人机轻静态（c）序列的聚焦曲线：瓶雄蜂暗静态（b）序列的聚焦曲线：瓶雄蜂光动态（d）序列的聚焦曲线：瓶雄蜂暗动态图5.在所提出的基于事件的焦点测量的四个序列（a-d）中的焦点得分，即，事件率（ER），以及Tab.1，即，DCTM [22].在每个序列中，最清晰的事件帧形成在最佳焦点位置（右图，绿色边缘），其中我们的ER（中间图像，蓝色边缘）给出了最高的响应，而DCTM（左图，橙色边缘）则没有做到这一点。基于自动聚焦方法，我们研究了具有不同事件累积间隔选择的朴素解决方案（具有不同事件累积间隔的ER）和具有自动聚焦的EAF。快速搜索（ER+EGS）。比较结果汇总于表1中。1，其中聚焦误差是由估计的焦点位置和地面实况之间的平均绝对误差（MAE）和均方根误差（RMSE）测量的我们可以观察到，现有的基于帧的方法不能处理事件中的噪声，并且它们都具有比基于事件的方法大得多的MAE和RMSE，这表明它们不能估计最佳焦点位置。相比之下，EAF方法具有比基于帧的方法低得多的误差，证明了它们在具有挑战性的条件下完成EAF任务的能力，包括大场景动态（动态类）和低光照条件（暗类）。其中，ER+EGS在所有情况下都给出了最好的结果我们还在附录中提供了对每个序列进行评估的相对误差，显示了类似的结果。ER+EGS的出色表现源于两个原因。首先，我们提出的ER焦点测量总是可以在地面实况焦点位置周围给出最高分数，如图5所示。这种区分最佳焦点位置的能力是鲁棒的，在具有剧烈摇晃的动态序列（图5b和图5d）和所有灯都关闭的黑暗室内场景（图5c和图5d）两者中工作。第5d段）。第二个原因是EGS算法通过自适应地调整事件累积时间间隔Δt来减小聚焦定位误差。如图6所示，我们发现一个固定的停止阈值μ= 0。001在所有具有低光照和剧烈相机抖动的挑战性条件下都能很好地工作，并且所得到的ER+EGS始终优于具有不同固定Δt值的朴素搜索。5.3. 跨帧和事件的由于大多数成熟的自动对焦系统都是为基于帧的相机设计的，因此我们还进行了交叉对焦。（a）瓶雄蜂光静态（b）瓶雄蜂光动态(c) bottle drone dark static（d）bottle drone dark dynamic图6.基于事件的黄金搜索（EGS）的焦点定位绝对误差（AE）曲线。EGS可以在不同的照明和运动条件下快速减少（a-d）中的所有四个序列上的焦点定位误差。图7. (a)清晰的图像很容易（b）因抖动而模糊。在帧和事件上的比较。我们让传统的基于帧的自动对焦算法运行在DAVIS346相机在线性对焦期间捕获的彩色图像上。我们的EAF方法运行在由同一台DAVIS346相机捕获的时间同步我们在Tab中报告二、如可以观察到的，传统的基于帧的方法在适当照明下的静态场景中工作良好（光+静态类）。然而，随着动态的增加，基于帧的方法的误差增加，特别是在低光动态条件（黑暗+动态类）的运动模糊，如图所示7导致常规方法误差较大。相比之下，我们的EAF方法在所有三个chal-曝光条件下都给出了准确的估计，并且除了在具有正常照明的静态场景中之外，所提出的ER+EGS实现我们还注意到，一些基于框架的EAF方法-���0.065���0.06516353表2.事件和框架的交叉比较。（更好：↓）(a) 动态场景：风扇工作，转盘转动箱体。在相对简单的情况下执行我们的方法，这些情况是静态的，并且具有良好的照明条件（表1中的静态+照明列）。2）。原因是噪音和场景的简单性的结合。在静态场景中，事件由镜头运动产生。因此，一旦场景包含太多的低对比度纹理，激活的事件将受到限制，甚至可能减少，因为点扩散函数将衰减纹理对比度。因此，事件的数量不足将带来更多的偏差，以找到最佳聚焦点，因为事件总是被噪声污染。我们的EGS将总事件分为两个区间，每个区间包含更少数量的事件，因此具有较低的信噪比（SNR），导致次优结果，增加了最终的平均误差。此外，我们还在附录中提供了对每个序列的相对误差评估。有兴趣的读者可以参考，以便详细查阅。5.4. 极低光照条件为了进一步说明我们的EAF系统的鲁棒性，我们在极低照明条件下执行附加的AF实验，通过在房间中的聚焦过程开始之前关闭灯（对应于图8a和图8b中的灰色区域），然后在聚焦完成之后打开灯以检查在黑暗中估计的最佳聚焦位置的质量。结果如图8所示，表明我们的EAF系统可以在非常黑暗的房间（<0. 7勒克斯），(b) 静态场景：风扇和转盘不工作。图8.从左到右，我们的系统准确地聚焦相机在低光（由灰色标记）在两种情况下，与场景的运动。而由于DAVIS相机中基于帧的部分的低动态范围，在弱光下捕获的图像严重退化并且不能支持AF任务。更多的细节在视频中的补充材料。6. 结论与讨论在本文中，我们提供了一种新的解决方案，基于事件的自动对焦任务，包括一个简单而有效的聚焦措施称为事件率（ER）和一个强大的基于事件的黄金搜索（EGS），以有效地找到最佳的焦点位置清晰的成像。我们还收集了EAF数据集（EAD），在各种运动和照明条件下具有良好同步的帧、事件和焦点位置大量的实验已经验证了我们的方法的准确性时，聚焦的基于事件的相机在chal-chilling条件下，低照明，暴力相机抖动，和复杂的背景。讨论：我们发现在高对比度变化下，事件通常会遭受时间延迟。这种延迟破坏了同步并增加了聚焦误差.在未来，我们将利用像初始事件[2]这样的方法来解决这种感知限制。方法度量场景类型光黑暗总静态动态静态动态ACMO [36]（彩色图片）Mae1431.71382.91880.91726.71605.5RMSE1573.71517.51931.31791.11711.5DCTM [22]（彩色图片）Mae432.1594.01215.11630.1967.9RMSE579.5780.81448.71680.51211.2EIGV [41]（彩色图片）Mae690.4658.1951.31297.6899.4RMSE1010.7936.71217.91420.41161.8CHEB [45]（彩色图片）Mae37.3347.6499.11425.6577.4RMSE50.6792.7781.61587.8969.9SML [30]（彩色图片）Mae44.051.1483.91380.0489.8RMSE52.071.7787.21628.4905.4WAVS [44]（彩色图片）Mae44.056.3405.11060.7391.5RMSE52.077.2768.31415.8806.8LAP3 [1]（彩色图片）Mae41.653.0124.01060.9319.9RMSE48.875.7165.61416.0714.3[第26话]（彩色图片）Mae41.3104.4124.0765.7258.9RMSE63.7147.3165.61070.4547.5GLLV [32]（彩色图片）Mae46.638.9191.7748.6256.4RMSE68.752.7266.31085.7560.6Helm [15]（彩色图片）Mae38.447.1124.0772.1245.4RMSE51.270.4165.61087.5551.7GRAD [39]（彩色图片）Mae41.157.0124.0421.4160.9RMSE49.372.0165.6854.4437.3儿（t = 0.055）Mae98.6105.359.387.487.6RMSE112.8119.273.2113.9106.4儿（t = 0.065）Mae91.474.358.067.172.7RMSE107.387.671.9103.793.716354××引用[1] Youngeun An，Gwangwon Kang，Il-Jung Kim，Hyun-Sook Chung，and Jongan Park.形状从焦点通过拉普拉斯算子使用3d窗口。2008年第二届未来一代通信和网络国际会议，第2卷，第46-50页六、八[2] R鲍德温，穆罕默德Almatrafi，贾森R考夫曼，维贾扬阿萨里，和平川敬吾。用神经形态摄像机进行目标分类的起 始事 件时 间表 面。 图像 分析 与识 别国 际会 议（ InternationalConferenceonImageAnalysisandRecognition，ICIAR），第395-403页。Springer，2019年。8[3] Christian Brandli，Raphael Berner，Minhao Yang，Shih-Chii Liu，and Tobi Delbruck.240 180 130 db 3µ s延迟全局快门时空视觉传感器。IEEE Journal of Solid-StateCircuits，49（10）：2333-2341，2014. 1、4[4] Christian Brandli Lorenz Muller和Tobi Delbruck使用基于帧和事件的戴维斯传感器的实时、高速视频解压缩。在2014年IEEE国际电路与系统研讨会（ISCAS），第686-689页，2014年。二、六[5] 陈守顺和郭梦涵。现场演示：Celex-v：100万像素多模式事件传感器。在2019年IEEE/CVF计算机视觉和模式识别研讨会（CVPRW）会议上，第1682-1683页，2019年。6[6] Ng Kuang Chern，Poo Aun Neow，and Marcelo H Ang.机器视觉中基于像素的自动聚焦的实际问题。IEEE机器人与自动化国际会议论文集（ICRA），第3卷，第2791- 2796页，2001年。一、二[7] Kanjar De和V Masilamani。模糊图像清晰度的频域度量。Procedia Engineering，64：149-158，2013。2[8] 劳伦斯·费尔斯通，基蒂·库克，凯文·卡尔普，尼尔·塔尔萨尼亚和小肯德尔·普雷斯顿。自动显微镜自动聚焦方法的比较Cytometry：The Journal of the InternationalSociety for Analytical Cytology ，12 （ 3） ： 195-206，1991. 一、二[9] Guillermo Gallego、Tobi Delbruck、Garrick Michael Or-chard、Chiara Bartolozzi、Brian Taba、Andrea Censi、Stefan Leutenegger 、 Andrew Davison 、 Jorg Conradt、Kostas Dani- ilidis和Davide Scaramuzza。基于事件的视觉：一项调查。IEEE Transactions on Pattern Analysisand Machine Intelligence，第1-1页，2020年。一、二、四[10] 吉列尔莫·加列戈，马蒂亚斯·格里克，和戴维德·斯卡拉穆扎。焦点就是你所需要的：基于事件的视觉损失函数.在IEEE/CVF计算机视觉和模式识别会议（CVPR）中，第12280-12289页2[11] Daniel Gehrig，Henri Rebecq，Guillermo Gallego，andDa- vide Scaramuzza. Eklt：使用事件和帧的异步光度特征跟踪。国际计算机视觉杂志，128（3）：601-618，2020。一、五[12] Jan-Mark Geusebroek ，Frans Cornelissen ， Arnold WMSmeulders，and Hugo Geobroek.显微镜中的鲁棒自动聚焦。Cytometry：The Journal of the International Societyfor Analytical Cytology，39（1）：1-9，2000. 一、二[13] 拉斐尔C冈萨雷斯和理查德E伍兹。数字图像处理，霍博肯，2018年。三、四[14] Jie He，Rongzhen Zhou，and Zhiliang Hong.基于自适应步长搜索技术的改进快速爬升搜索数码相机自动聚焦算法IEEE消费电子学报，49（2）：257-262，2003年。2[15] Franz Stephan Helmli和Stefan Scherer。光学显微镜中具有误差估计的自适应聚焦形状。第二届图像和信号处理与分析国际研讨会论文集，第188-193页，2001年。二、六、八[16] Charles Herrmann 、 Richard Strong Bowen 、 NealWadhwa、Rahul Garg、Qiurui He、Jonathan T Barron和Ramin Zabih。学习自动对焦。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第2230-2239页，2020年。2[17] 雅罗斯拉夫·考茨基，扬·弗卢塞尔，芭芭拉·齐托娃，斯坦尼斯拉娃·S· 林伯。 一种新的基于矢量的图像聚焦测量方