基于事件的全局最优对比度最大化运动估计

6349我j=1基于事件的全局最优对比度最大化运动估计刘大齐A'lv aroParraTat-JunChin阿德莱德大学计算机科学学院{daqi.liu，alvaro. parrabuidou，tat-jun.chin}@ adelaide.edu.au摘要对比度最大化通过最大化运动补偿事件图像的锐度来估计在事件流为了进行对比度最大化，许多以前的作品采用迭代优化算法，如共轭梯度，这需要良好的初始化，以避免收敛到坏的局部最小图像。为了缓解这一弱点，我们提出了一种新的全局最优的基于事件的运动估计算法。基于分支定界（BnB），我们的方法解决了事件流上的旋转（3DoF）运动估计，其支持诸如视频稳定和姿态估计的实际应用。支撑我们的方法是新的边界函数的对比度最大化，其理论的有效性是严格建立的。我们展示了来自公共数据集的具体示例，其中全局最优解决方案对于对比度最大化的成功至关重要。尽管它的确切性质，我们的算法目前能够处理50，000个事件的输入需要1300秒（局部最优求解器处理相同的输入需要130GPU加速的潜力也将被讨论。1. 介绍通过异步检测亮度变化，事件相机提供了一种根本不同的方式来检测和记录物理运动。目前，正在积极研究在许多领域使用事件相机，例如机器人/无人机[9，21]，自动驾驶[22，31，32]和航天器导航[7，8]。虽然事件摄像机的效用扩展到运动感知之外，例如，目标识别和跟踪[26，28]，我们工作的重点是使用事件摄像机估计视觉运动。由于数据的不同性质，需要新的方法来从事件流中提取运动。最近一个成功的框架是对比度最大化（CM）[13]。给定一个事件流，CM的目标是找到产生最清晰的运动补偿事件图像的运动参数;参见图1。直觉上，正确的运动参数将对齐相应的事件，从而产生一个即时的，(a) 事件流（无极性）。(b)对比度= 0。9993（身份）。(c)对比度= 1。0103（当地）。(d)对比度= 1。9748（全球）。图1. (a)旋转运动下的10ms事件流[14]。由于我们的工作中没有使用事件极性，因此事件以相同的颜色绘制。(b)无运动补偿（恒等变换）的事件图像。（c）（d）以局部和全局最佳对比度最大化产生的事件图像。年龄对比度高我们在下面正式定义CM设E={ei}N是在持续时间T= [0，tmax]上记录的事件流。 每个事件ei=（ui，t i，p i）包含图像位置ui、时间戳t i∈ T和极性p i∈ {−1，+1}。我们假设E是在3D场景上的相机运动M下产生的，因此每个ei与触发事件的场景点相关联。我们通过向量ω∈Ω来参数化M，并且令X=P是事件传感器的图像平面中的像素的中心坐标在CM下，事件图像Hc是定义为ω的函数，并且像素Xj处的强度为ΣNHc（xj;ω）= δ（xj−f（ui，ti;ω）），（1）i=1其中δ是核函数（例如，高斯）。[ 13]第13话[2.1]，我们在（1）中不使用事件极性。HC6350我我我被认为在时间0被捕获，并且函数u′=f（ui，ti;ω）（2）通过“撤销”时间0和ti之间的运动M，将ui在H c中扭曲为u ′。直观地说，u'是触发ei的3D场景点的图像位置，如果在时间0观察到它。实际上，（1）中的核δ的支持区域相对于t是小的。图像尺寸，例如，在[13，Sec. 2]。这激发了“离散”事件图像的使用ΣNHd（xj;ω）=I（f（ui，ti;ω）位于像素xj中），（3）i=1其中，如果输入谓词为真，则返回1，否则返回0。正如我们稍后将展示的，使用Hc（具有小带宽）和Hd进行CM产生几乎相同的结果。事件图像H（连续或离散）的对比度是其像素值的方差由于H依赖于ω，因此对比度也是ω的函数1ΣP与整体解决方案相比，其质量可能存在显著差异;参见图1。这可能发生在ω（0）离好的解太远，或者C（ω）太不凹（例如，当δ具有非常小的带宽时）。因此，可以找到ωk的算法是期望的。CM的最新改进包括修改目标函数，以更好地适应目标设置[11，29]。然而，优化工作仍然是局部最优方法。事件处理的其他框架[6，7，12，18，19，20]进行过滤，霍夫变换或专门的优化方案;这些通常比CM更不灵活[13]。将深度学习应用于事件数据[27，33，35，36]也有积极的研究，这需要在大型数据集上进行单独的训练阶段。贡献我们专注于从事件中估计旋转运动，这对几个应用很有用，例如，视频稳定[14]和姿态估计[8]。具体地说，我们提出了一种全局最优CM旋转估计的BnB方法与以往的CM技术不同，我们的算法不需要外部初始化ω（0），并能保证找到（6）的全局解ω（1）我们的核心贡献是新颖的边界函数C（ω）=Pj=1（H（xj; ω）−μ（ω））2，（4）为CM，其理论有效性建立。 正如我们将在SEC中显示。4，虽然局部方法通常产生可接受的结果[13，14]，但在周期内，其中μ（ω）是平均强度1ΣP快速旋转运动。另一方面，我们的全局方法总是返回准确的结果。µ（ω）=P j=1H（xj; ω）.（五）2. 从事件估计旋转如果持续时间T很小（例如，tmax= 10ms），固定轴CM [13]通过最大化H的对比度来估计M，即，旋转和恒定的角速度可以假设为Maxω∈Ω C（ω）。（六）M[13]. [13]第13话3]，M可以被参数化为3矢量ω，其中ω的方向是旋转轴。ω的长度为ω的角速率。直觉是，正确的ω将允许M对齐对应于H中相同场景点的事件，因此导致清晰或高对比度的事件图像;见图1.一、全局解与局部解CM（6）的全局最优（或C（ω<$）≥C（ω）<$ω ∈<$。（七）如果C（ω）0，即，每个圆盘至少i ij=1可以通过分析确定Li（B）的短轴zi（B我们进一步定义一个像素。如果存在位于像平面之外的盘，则我们忽略这些盘而不失一般性。Di（B）=. x∈R.Σ. ≤、（二十二）Hc（23）的一个直接推广到离散情形将将像素上限值计算为也就是说，包含Li（B）的最小圆盘。通过构造，Di（B）完全包含u′对所有ω∈B所能取的位置的集合，即，集（17）。因此，我们将Hc的像素值的上限定义为Hd（xj;B）=ΣNi=1Ti，j，（26）Hc（xj;B）=ΣNi=1δ（max（<$xj− ci（B）<$− <$yi（B）<$，0））。也就是说，与像素相交的圆盘数量;见图。2b.然而，这可能过于悲观，因为离散事件图像（3）的像素值满足：（二十三）直观地说，我们取xj到Di（B）边界的距离zX1 1 1 0 01 1 2 2 11 2 3 3 11 2 2 1 10 1 2 1 12Ik12345678911101100002011010000300011101040000001105000000001Ik 123456789111011000020110100003000111010400000011050000000016355来计算强度，如果xj在圆盘内，则距离为零。ΣPj=1Hd（xj; ω）≤N=NΣPj=1Hd（xj; ω）2≤N2，（27）引理1.Hc（xj;B）≥maxHc（xj;ω）（24）ω∈B而通过使用（26），ΣPHd（xj;B）≤ PN=Nj=1ΣPHd（xj; ω）2≤（ PN）2。j=1如果B是单例，则实现相等，即，B={ω}。（二十八）6356Dk=1j=1i=1.Ji注意，P是像素的数量（例如，P= 240×320 =算法2计算优势列M′。76kfor Pennsylvation Davis 240 C [3]），因此（PN）2<$N2。为了得到更严格的界限，我们注意到圆盘{D（B）}N要求：像素{xj}P，盘的集合{Di（B）}N（二十二）、ii=1图1：圆 盘 上 的 T ← N × P交矩阵（25）。将X划分为一组连通分量（CC）.2：Hd（xj;B）ΣPj=1←像素上限图像（26）。{G}K，（29）3：{a j}P←数组的P个元素初始化为0。kk=1其中，每个Gk是由相同圆盘相交的像素的连接集合;参见图2。2b. 然后，定义入-证据矩阵M∈ {0，1}N×K，其中j=14：M′←[ ]（空矩阵）。5：对于i = 1，. - 是的- 是的 ，N do6：cmax←maxx∈D（B）H d（xj;B）。7： R ← xj∈Di（B）|H d（xj;B）=c max，aj=0。.M=1<$xj∈Gk使得Ti，j=1;（三十）8：当R不为空时，图9：取一个p∈i x elxj∈R∈ i和一个j←1。i，k0否则。第10章：M′←M′T：，j且R ← R\{xj}。换句话说，如果Di（B）是一个相交的圆盘，Gk.然后我们用公式表示整数二次规划11：对于x∈R，12：如果T：，j=T：，j，则13：a ≠ 1且R ≠ R\{x≠}。S（B）= maxdZ∈{0，1}N×KΣKk=1.ΣNi=1Σ2Zi，k Mi，k14：如果结束15：结束16：结束whileS.T. Zi，k≤Mi，k，Kai，k，（IQP）17：结束十八： 返回M′。ΣKk=1Zi，k= 1，Zi.的M：，η。 在几何上，优势柱M：，η对应于-换句话说，选择一组可以被尽可能多的光盘覆盖的CC，同时确保每个光盘只被选择一次。直觉上，IQP扭曲了事件（在响应于CC Gn，使得对于相交以形成CC的所有盘，Gn是与它们相交的离散CC;在数学上，存在Di（B）<$Gη，使得不确定性ω∈B）分成ΣNΣNmaxTi，j=Mi，η。（三十四）更高的对比度。IQP的样本溶液见图2c。xj∈Di（B）i=1i=1引理2.S（B）≥maxω∈BΣPj=1Hd（xj;ω）2，（31）图图2b和图2c示出了主导柱。设M′∈ {0，1}N×K′只包含M的支配列.通常，K′、K′和M′可以直接计算，而无需首先构建M，如算法2所示。直观地，该方法循环通过盘，如果B是单例，则实现相等，即， B ={ω}。证据参见补充材料。求解IQP是具有挑战性的，尤其是因为{Gk}K和M的计算和存储成本很高（CC的数量在N中是指数的）。为了简化问题，首先将CCGk（对应于列M：，k）的密度定义为递增地跟踪分布式CC以形成M′。引理3. 问题IQP有相同的解决方案，如果M被替换为M ′。证据 参见补充材料。因此，基于主列M′来公式化IQP就足够了。此外，我们将IQP放宽为6357i，ki，k’。Σ′KNk=1ΣNKNΣ2∆k=i=1Mi，K。（三十二）Sd（B）= maxZ∈{0，1}N×K′Σk=1Σi=1Zi，kM′我们说M列：，ηM是显性的，如果存在S.T.Zi，k≤M′，Kai，k，（R-IQP）子集Λ {1，. - 是的- 是的 ，K}（包括Λ = λ），使得Mi，k≤ Mi，η ∈ {1，. - 是的- 是的 ，N}，′ΣΣk=1i =1Z i，k= N。而对于所有的k∈/Λ，上述定理不成立。换句话说，Λ中列的1元素是1元素的子集我们现在允许多次选择光盘。 由于强制执行KZi，对于所有i，k= 1意味着6358Dj=1D′PΣK′k=1ΣNi=1 Zi，k=N，R-IQP是有效的松弛。看到3.4. 计算成本和进一步加速图2d为R-IQP的样本结果，以及图2c.引理4.S（B）≥S（B）（35）如果B是单例，则实现相等，即， B ={ω}。证据参见补充材料。限制计算和紧密性R-IQP承认一个简单的，简单的解决方案。首先，计算密度{k}K我们的BnB方法能够在10300秒内处理150，000虽然这不允许进行在线低延迟事件处理，但它对于事件允许离线计算的感测应用，例如，具有事后校正的视频稳定。请注意，本地方法可能需要长达30秒的时间对同一输入执行CM，这也无法启用在线处理1（第4将呈现更多的运行时结果）。有可能加快我们的算法使用GPU。kk=1列M′。设k（k）是第k个最高密度，即，n（k1）≥n（k2） 如果 k1

下载后可阅读完整内容，剩余1页未读，立即下载