球面图像的二值特征与球体固有的处理方法

1BRISKS：测地网格上球面图像的二值特征Hao Guan和William A.P. 史密斯英国约克大学计算机科学系{hg607，william.smith}@ york.ac.uk摘要在本文中，我们开发了一个兴趣点检测器和二进制特征描述的球形图像。我们的灵感最近开发的平面图像，BRISK（二进制鲁棒不变可缩放关键点）的框架，并适应的方法来操作球面图像。我们所有的处理都是球体固有的，避免了在2D表示中存储和索引球形图像时固有的失真我们离散图像上的球面测地线网格形成递归细分的三角形网格。这导致了一个多尺度的像素网格，主要包括六角形像素，自然地适合于一个球形图像金字塔表示。对于兴趣点检测，我们使用加速段测试（AST）角检测器的一个变体，它在我们的测地线网格上运行我们估计一个连续的规模和位置的特征和描述符是通过采样到一个规则的模式，在切线空间。我们评估了重复性，精确度和召回的合成球面图像与已知的地面真理的对应关系和真实图像。1. 介绍球形图像出现在许多情况下。在计算机视觉中，它们由全向相机（例如折反射或鱼眼成像系统）或通过拼接多个透视图像来捕获。这样的全景图像具有许多应用，其中它们对观看范围的完全覆盖提供了更丰富的图像特征源，并且增加了视图之间匹配特征的可能性。由于“360度视频”的迅速流行，球形图像最近变得特别重要。现在存在用于捕获这种视频1的商业上可用的系统，并且在最流行的在线视频库2中可获得对它们的交互式回放的支持。在计算机视觉之外，任何离散采样的球面函数都可以被处理为球面图像。1https://vr.gopro.com/2https://support.google.com/youtube/answer/6178631？hl=en-GB最明显的例子出现在地理信息系统（GIS）中，它模拟了地球表面属性的空间变化[21]。球形图像的图像处理不如平面图像的图像处理那么发达。在处理球面图像时会出现两个复杂问题。首先，在进行几何运算时，必须考虑球面的性质例如，图像点之间的距离取决于测地线（大圆）距离，而不是平面图像的欧几里得距离。第二个是对于离散图像，球面必须被分割成可以有效索引的离散像素。解决这两个问题的常用方法是通过选定的投影（例如，等直-角度），然后将图像视为平面。这种方法的问题在于，任何投影都会引入失真和边界。一个更有吸引力的替代方案是在球体上离散球形图像，并在球体的表面上执行图像处理中最基本的操作之一是识别兴趣点并建立兴趣点周围局部外观的描述符。这使得能够在图像之间建立点对点匹配，或者对要构造的场景或对象进行紧凑描述这一领域的开创性工作是Lowe的尺度不变特征变换（SIFT）[12]。虽然SIFT特征仍然是其对外观变化的独特性和鲁棒性的基准，但提取和匹配它们的计算成本导致它们在很大程度上被一类基于二进制描述符的较轻权重特征所取代。在本文中，我们采用这样一个特征，BRISK（二进制鲁棒不变可扩展关键点）[11]，作为灵感，并将其扩展到球面图像上。BRISKS（BRISK on the Sphere）框架包括球面图像和尺度空间的离散化、兴趣点检测、二值特征描述和匹配。我们对合成图像和真实图像进行了实验评估，并测试了对旋转，相机运动，光照变化和噪声的鲁棒性。451645172. 相关工作全向图像的特征描述符可以分为在图像的平面嵌入上使用平面描述符的朴素方法和考虑球面几何形状并在球面上构建特征的方法。许多以前的作品已经采取了前aproach和计算平面特征描述符的球面图像的平面嵌入（最常见的是等角或直接在由折反射相机获取的图像上）。Goedeme等[7]和Scaramuzzaet al.[22]两者都直接在展开的球形图像上计算SIFT特征。Benseddik等人[2]将平面BRISK描述符应用于反射图像，并发现SIFT的这些方法的缺点是失真随着姿态变化而变化，因此即使仅在观看方向上变化，兴趣点周围的局部外观也可能显著变化。直接使用平面嵌入的一个改进是局部调整嵌入以减少失真。Fiala等人[6]将球体转换为立方体贴图，然后计算每个立方体面上的SIFT特征。Mauth-ner等[14]通过生成虚拟透视图来匹配全向图像中的区域。Pagani等人[19]在球体上规则地分布点，并生成以每个点为中心的具有固定视场的透视图像。它们进一步引入了仿射失真（与Af fine-SIFT [18]相同的方式），为场景的球面失真和仿射变换提供了不变性。虽然鲁棒，这样的方法显着增加了计算成本，因为大量的图像必须通过重新扫描和独立处理。Hansen等人[9]和Aricanetal.[1]这两种描述符都基于以兴趣点为中心的球体上的圆形支持区域。Hansen等人[9]重新采样到切平面，然后构建平面SIFT描述符。Arican和Frossard [1]以考虑不同采样密度的方式在球体上构建对数极坐标描述符。最有吸引力的方法避免了扭曲和边界问题我们知道两个以前的作品，这样做[4，24]。Cruz-Mota等人[4]提供SIFT的完整球面扩展。该方法处理球面图像表面的微分几何，提供高度鲁棒的特征。与平面SIFT一样，缺点是计算成本。在这种情况下，情况甚至更糟，因为通过热扩散计算尺度空间是昂贵的。最相关的以前的工作，我们的是球-卡尔扩展的ORB描述符（SPHORB）由赵等。[24]第10段。像我们一样，他们在六边形测地线网格上工作，使用AST的球面扩展[8]并将平面二元描述符扩展到球面（ORB [20]在他们的情况下，BRISK [11]在我们的情况下）。然而，有一些重要的差异。首先，他们将球面测地线图1：光圈4三角形细分规则。通过在每条边的中间添加额外的顶点，等边三角形可以细分为四个大小相等的三角形。（a）（b）（c）（d）图2：四元三角网格的细分过程。a-c：二十面体基面，一次细分和两次细分。d：QTM的双多面体（黑色）是一个孔径为4的六边形网格（蓝色）。通过将球体划分为三角形集合来将网格划分到平面。这种不注意会导致失真，并且需要额外的处理来处理三角形边界处的问题。我们所有的处理都是球体固有的，使用测地距离和微分几何（对数图）的概念，以便围绕兴趣点构建图表。他们关注的部分动机是高效的索引和存储。我们将网格表示为网格，并使用半边缘数据结构存储它，该数据结构允许有效地访问本地邻域。SPHORB网格减少了距离失真约一个数量级相比，经纬度图像。通过将图像直接存储在测地线网格中，我们的表示具有零失真。其次，他们使用固定大小的AST模式进行兴趣点检测。我们使用不同大小的图案，它们的比例因子为1。5，以便在八度音阶内检测兴趣点。第三，它们的特征描述符是直接建立在六边形网格上的。这意味着由五边形像素引起的不规则性不能被处理，并且在这些区域中检测到的特征被丢弃。我们将局部区域重新采样到切线空间中的标准模式上，这意味着我们可以处理任何像素结构和子像素细化特征位置。最后，我们扩展的BRISK框架包括亚像素位置细化和亚倍频程尺度细化，而SPHORB没有。3. 多尺度测地线网格表示在本节中，我们将介绍如何在S2球上的图像离散化，存储，处理在一个多尺度的方式，并表示为局部特征检测和描述。我们通过递归细分的过程将球体分割成离散的像素。从一个二十面体开始45181基本形状，我们使用一个光圈4三角形层次。这意味着每个三角形通过在每个边的中间添加顶点而被细分为四个，如图1所示。新形成的顶点被重新投影到球体的表面。这种细分提供了一个三角形segmenta-灰，其表面近似一个球体，在每个细分级别的精度不断提高。这被称为四元三角形网格（QTM），我们在图2中显示了三个细分级别。我们的图像表示是基于六边形像素，这是通过采取三角形网格的对偶多面体，即。三角形网格中的每个顶点是如图2d所示的六边形面的中心。用六边形完全平铺一个球体是不可能的。以二十面体为基本形状，三角形细分网格包含12个顶点和5个邻域（不考虑细分分辨率）。因此，在所有分辨率下的六边形网格这些在我们的整个管道中得到适当处理。在平面矩形图像中，垂直和水平分辨率（以及像素数量）可以任意选择（尽管通常高度和宽度设置为相等，并使2的幂易于多尺度处理）。对B图3：跨尺度的邻接：C在较细（E）和较粗（A）的细分上都有邻居。D在较细的细分（F）处有一个近邻，但我们认为它在较粗的细分（A和B）处有两个近邻。顶点（因此是六边形像素）i的空间邻居由网格中的相邻顶点N1（vs，i）={j| {i，j}2 Ks}。我们把一个顶点的n-环邻域记为Nn（vs，i）. 它们可以使用半边结构或预计算和存储进行快速访问。我们还在规模上定义了邻居。这用于非最大值抑制和特征尺度细化。一个顶点vs，i在细分层s上总是在下一个细分层s + 1上有一个定义良好的邻居，Ns+1（vs，i）2Ks+1，|Ns+1（vs，i）|=1时。这是因为1 1另一方面，存储为测地线网格的球形图像具有由细分方案和细分级别确定的相对较小的可能分辨率集合细分级别s上的网格顶点是一个子集在细分级别s+1。另一方面，在下一个较粗的细分级别，顶点可以具有ei-ther one or two adjacent neighborsNs−1（vs，i）<$Ks−1，3.1. 存储和索引|Ns−1(v 年代我1）|2 {1，2}。 这在图3中示出。通过相应的QTM使用三角形网格Ms=（KS，Vs，Ts）存储在细分层s处的六边形分割和相应的球面图像。邻接信息被存储在单纯复形Ks中，其元素可以是顶点{i}、边{i，j}或面{i，j，k}，具有索引i，j，k 2[1.] 其中，Vs是顶点的数量。网格中的每个顶点对应于一个六边形像素。每个顶点的位置存储在矩阵Vs2R3Vs中，该矩阵包含3D各顶点的坐标vs，i2R3由于vs，i都是S2球面上的点，kvs，ik=1每个六边形像素的颜色被存储为与三角形网格相关联的每个顶点颜色的矩阵，Ts2R3Vs对于灰度图像，第i个像素的颜色写为ts，i2R3或ts，i2R请注意，当加载新图像时，只有Ts发生变化。网格结构、邻接和邻域都是固定的，因此可以预先计算和存储。在整个兴趣点检测和特征描述流程中，我们需要对像素邻域和局部邻域进行有效索引。为了确保这是可能的，我们将QTM存储在半边数据结构中[5]。这种结构允许顶点邻接查询在O（1）时间内计算。因此，在渐近条件下，访问局部邻域是相同的成本为测地线网格作为一个2D平面图像。3.2. 金字塔生成对于尺度不变性，我们检测跨尺度空间的特征，并在适当的尺度上构造描述符。因此，我们需要一个有效的尺度空间表示。我们遵循BRISK框架，并离散到一个金字塔，包括n个八度和n个内八度。虽然规模离散化是相当粗糙的，我们估计一个精确的功能规模在连续的尺度空间插值。我们的细分方案本身自然地适用于构造一个球形图像金字塔。孔径4子划分对应于尺度的减半，并且因此对应于尺度空间中的一个八度音阶移位。 我们构造了一个包含n个八度音阶ci的尺度空间金字塔，其中i 2 {0，1，. ......、 n − 1}。倍频程计数与测地线网格的细分数有关，i=smax−s，其中smax是最大细分网格的细分数。在我们的实验中，我们使用n = 4倍频程和smax= 8。最高分辨率图像（对应于c0）是通过将全景图像采样到最大分辨率图像使用双线性插值细分网格。连续的八度音阶通过面积加权平均和子采样形成。下采样的六边形像素被计算为7个六边形的加权平均，其中六边形的单位权重完全包含在下采样的六边形像素一CEDF45190.60.40.20-0.2-0.4图4：S2球体上的对数映射(a)（b）第（1）款-0.6-0.5 0 0.5（c）第（1）款六边形，权重为0。五是六个半封闭。对于五边形像素，使用相同的方法，但是将仅存在5个再次半包含在像素内的相邻像素。为了增加尺度的分辨率，还期望包括内八度。我们定义n个“虚拟”内八度音阶di，它们位于oct a v esci和ci + 1之间。它们是虚拟的，因为我们不计算和存储中间大小的图像。相反，我们使用的兴趣点检测器，是缩放1.5倍大，当采样图像数据的描述符建设，适用于适当的缩放，在切平面中的像素坐标。使用虚拟内八度音阶有两个原因。首先，不必计算和存储内倍频程图像，从而节省了效率。第二，细分方案不能产生适当分辨率的内倍频程（尺度1.5 可以获得图5：应用于六边形测地线网格的日志地图在细分级别s=3处。(a)球面上的兴趣点（黑色）及其4-环邻域。(b)通过对数映射将局部邻域变换到切平面。(c)局部二维坐标系。简单地说，嵌入向量的标量积：hp，qi= p·q，其中p =φ（p）2R3，q =φ（q）2R3，φ是任意嵌入。所得到的切平面向量也服从这种任意嵌入。因此，为了在标准化坐标系中产生2D坐标，我们应用旋转以将平面与x-y平面对齐并丢弃z坐标，如下所示：xp （q）= Tφ（Logp （q））2R2，（2）其中变换由下式给出：Σ通过孔径9细分，但是对偶多面体不能用六边形平铺八度音阶：八度音阶的音阶t，T=10 001 0 R（α，θ），（3）内倍频程由t（ci）= 2i和t（di）= 2i·1给出。五、3.3. 切线空间表示法对于用于描述符构造的子像素位置细化和采样数据，将球形图像中的像素变换为局部2D表示是有用的S2球面是一个黎曼流形，因此可以建立一个图表来局部参数化流形以来其中R（α，θ）2SO（3）是依赖于p的旋转矩阵，旋转轴α= p<$[0，0，1]T=[py，−px，0]T，旋转角θ=arccos（pz）。对数映射的逆是指数映射，Exp：TpS2！S2。这将基点p处的切向量v2TpS2变换为球面：vsinθ我们的特征只描述了局部现象，局部假设是合理的。Expp（v）=pcosθ+， θ= kvk.（四）θ我们在球体的切平面上建立局部图表我们用黎曼对数映射来做，Logp：S2！它从球面变换到点p2S2处的切平面。对数映射以这样的方式将围绕基点的球体线性化，使得在切平面中距基点的欧几里得距离等于测地线距离，即，dg（p，q）=kLogp（q）k.图4显示了日志图的可视化对于球面，点q2S2在基点p2S2处的对数映射由下式给出：arccos（hp，qi）（q− hp，qip）在图5中，我们可视化了日志映射的应用六边形测地线网格。在（a）中，我们显示了一个兴趣点（黑色）及其4-环邻域。在(b)我们示出了通过对数映射变换到感兴趣点处的切平面的邻域（注意，切平面以取决于基点的方式嵌入3D空间中）。最后，在（c）中，我们示出了在应用等式2中的变换以去除嵌入的影响之后的2D坐标系统4. 关注点检测Logp（q）=、（1）kq−hp，qipk我们使用快速角点检测器作为我们感兴趣的点检测的基础。我们首先描述了AC-4520由于我们处理的单位向量对应于欧氏空间中球面的嵌入，因此内积为将加速线段检验扩展到球面测地线网格上。然后，我们描述我们如何应用非极大值4521p图6： 六方晶格的AST图案。 半径2以红色示出，半径3以蓝色示出，用于黑色像素处的角测试。在我们的金字塔表示中空间和跨尺度的抑制。最后，我们展示了如何在空间和尺度上执行位置细化，从而实现特征位置和尺度的连续估计。4.1. 测地线网格上的加速线段检验在最初的FAST方法中，使用Bresenham的al-xim将半径为3.4的圆离散化到正方形像素网格随后，考虑了交替图案，近似半径为1、2和3的圆，其分别包含8、12和16个像素为了测试角的存在，长度为k的像素的连续序列必须比中心像素亮或暗阈值为t的角。 最初，k被选择为12，对应于到45度角。 这个k值也是计算出来的有效，因为候选角可以在测试少至3个像素。随后，已经发现，当k被选择为将不检测边缘的最小值时，出现最佳性能即如果序列的长度为m，则k=d（m+1）/2e。我们将这种方法推广到离散测地线由六边形像素网格组成的网格。一般来说，在六边形晶格上绘制的曲线和圆看起来更平滑，因为与六边形晶格相比，具有六个等距相邻点可以提高角分辨率。只有四个正方形格子[15]。 上的FAST模式正方形晶格仅对90°、180°和270°的旋转不变，而六边形图案对60°、120°、180°、240°和300°的旋转不变。我们考虑六边形上半径为2和3的圆点阵，如图6所示，分别包含12和18个像素。请注意，较大的图案与较小的图案在比例我们使用这个事实来检测内八度音阶的兴趣点。为了检测倍频程ci处的兴趣点，我们在细分级别s=smax−i的测地线网格上使用半径2模式。为了检测内倍频程di处的兴趣点，我们在同一细分级别的测地线网格上使用半径3有一些特殊情况需要处理，到不可能完全用六边形平铺一个球体。 无论细分级别如何，共有12个图7：通过六边形7-12 AST的像素的示例圆包含10个像素，我们测试长度为6的序列。以与五角形像素相邻的像素为中心的角具有11个像素的圆，并且我们再次测试长度为6的序列。最后，半径3的情况下，有特殊的情况下，圆包含15，16或17个像素，我们测试的序列长度分别为8，9和9。请注意，半径为2的圆与正方形晶格上的半径为2的圆共享相同数量的像素。这意味着12像素的AGAST [13]决策树可以在六边形网格上使用而无需修改。在图7中，我们展示了通过六边形7-12测试的像素的示例。标记为p的像素被认为是角，因为位于12像素、半径为2的圆上的7像素序列（用红色标记）都比p暗超过阈值t角。特征显著性可以通过找到阈值t得分（p）的最大值来计算，在该值处该点仍然被认为是角点。这是在区间[tcorner，1]上使用二叉搜索有效地完成的。4.2. 非极大值抑制我们使用特征显著性得分来应用非最大值抑制。对于每个检测到的角点，我们以相同的尺度计算相邻像素的角点显著性（即使它们没有被检测为角点）。我们还计算了整个尺度上邻居的角显著性（如果在下一个较粗的尺度上有我们要求一个特征在其所有邻居中具有最大显着性，并删除任何不具有显着性的特征。计算出的显著性分数被保存，因为它们随后用于位置细化。4.3. 位置和规模细化我们将每个特征的空间位置细化到亚像素精度，并估计连续尺度。如果在顶点vs，i处检测到特征，F.TΣ（vs，i）=[0 0]，tscore（vs，i）[（5）具有五边形形状的像素，因此具有5个相邻像素。 在...ΣΣ在半径为2的情况下，以五边形像素为中心的角具有xvs，i（vs，j），tscore（vs，j）|j2N1（vs，i）.4522我们以闭合形式计算二次函数的最大值的位置和FAST分数，并使用等式2中应用的变换的逆变换将所得点变换回球体，然后是指数映射。我们对相邻尺度的邻域执行相同的子像素位置细化，即F（vs+1，i）f（vs-1，i）。 对于这些街区来说，中心像素不是最大值，二次型甚至不是凹的（因此没有最大值）。在这些情况下，我们简单地采用具有最大分数的邻域中的像素的位置和分数。我们现在有了检测到的特征的子像素细化位置和分数，以及检测到的特征两侧的尺度最后，我们通过将抛物线拟合到作为尺度函数的分数来估计连续尺度，计算(a) 特色定位。（b）取样强度。图8：方向归一化和采样。 左图：要素周围的邻域。右：将旋转邻域采样到标准图案上后的强度。抛物线的最大值的比例，并插值在原始比例的位置之间的细化位置xvs，i（vs，j）k>δmin}，其欧氏距离更大在抛物线最大值的标度方向上。将细化的比例和位置指定给特征。5. 描述符提取流水线中的最后一步是为检测到的特征生成特征描述符。根据BRISK框架，这是分四步完成的。首先，我们对局部梯度方向进行估计，以便为特征分配方向。其次，旋转局部邻域以使该方向归一化（引入旋转不变性）。第三，局部邻域被采样到固定的采样模式上。最后，基于对该描述符的一组固定的强度比较来生成二进制描述符。5.1. 方向归一化我们首先计算每个特征的局部梯度方向的估计为此，我们在检测到特征的八度音处使用特征点周围的9环邻域 假设在顶点vs，i处检测到特征。根据一对像素vs，j和vs，k，j，k2 N1. 9（vs，i），在切平面中通过下式计算特征的邻域：g（vs，j，vs，k）=（6）ts，k−t s，j而不是一个阈值δmin。我们选择阈值作为第九条：以点为界，以点为界与基点距离最小的环在原始BRISK框架中使用长距离对的在图8a中，我们示出了特征周围的邻域中的强度和估计的特征方向的示例。通过将角度arctan 2（gy，gx）的旋转应用于局部邻域中的像素的切平面坐标来归一化取向。5.2. 采样为了构建特征描述符，我们将旋转归一化强度采样到标准模式上。这有很多目的。首先，我们可以处理由五边形像素引起的像素结构中的任何干扰。其次，采样使用高斯平滑，减少混叠效应。第三，它提供了一组标准化的图像位置，从中可以使用一组固定的强度比较来创建特征描述符。我们使用与BRISK框架中相同的模式。然而，请注意，我们是在球体的切线空间中操作，而不是在2D图像上操作。采样图案在图9中示出，并且包括一个半径为1的圆dius 1，60个样本点，s1，. ..，s602R2.采样点绘制为红色圆圈，圆圈的半径xvs，i（vs，k）−xvs，i（vs，j）·kxv年代我（vs，k）−xv年代我（vs，j）k2。对应于标准偏差σ1，. ..，σ60，用于在该采样点进行平滑的高斯。我们总体特征方向的估计：表示采样点si处的平滑采样强度✓◆g =gx=1X g（vs，j， vs，k）（7）作为I（si，σi）。在旋转归一化和采样之后，图像区域（图8a）导致采样强度G y| L|（j，k）2L通过平均所有“长距离”对之间的局部梯度方向估计来计算。 这是对的集合，L={（j，k）|j，k2N1.. 9（vs，i）^ kxvs，i（vs，k）-（图8b）。正是从这些强度中，我们计算强度比较来构建特征描述符。在采样之前，根据检测到的特征的尺度来缩放像素邻域由于我们不计算内倍频程图像，因此内倍频程特征452321.510.50-0.5−1-1.5−2−2-1.5−1-0.500.511.5210.50-0.5−1-1-0.5 0 0.5 1视觉图像允许我们任意控制照明，并且还意味着可以针对从不同视点拍摄的图像计算地面实况对应。我们包括与前两种方法的比较。第一个应用经典的平面SIFT到展开的等矩形全景图像，如[7，22]所做的。第二种是Cruz-Mota等人提出的SIFT的球面扩张。[4]的文件。我们使用适用于球体的标准特征评估指标[16，17]特征检测性能是(a) 采样倍频程特性。 (b)采样内倍频程特征。图9：采样模式由分布在半径为1的圆上的点（显示为红色圆圈）组成。围绕特征的9环邻域缩放到图案上，如图所示（显示为蓝色十字）。图10：我们实验中使用的SUN360数据集[23]的子集。在检测到它们的倍频程图像上按1.5的因子缩放。这在图9中示出。5.3. 描述符生成位串描述符使用短距离对S{（i，j）}的集合上的强度比较来构建。|i，j 2{1， . .... . . 你 好 。 ，60}^ksi−sjk<δma x}. 关于MOTIVATIONFOR只使用两个位置之间的比较，空间上接近是特征相似性然后仅需要亮度变化局部一致。这降低了对空间变化照明的敏感性。 选择短距离阈值δmax 以产生所 需 长 度 的位串。我们遵循BRISK [11]和BRIEF64 [3]并使用512位描述符。对于我们的模式，这对应于δmax=0的值。6378 对以任意但固定的顺序进行评估，S12 S，. ......、 S5122S，产生比特串描述符b，其中⇢ 1如果I（s，σ）

下载后可阅读完整内容，剩余1页未读，立即下载