基于等变学习的反射和旋转对称性检测

9539基于等变学习的反射和旋转对称性检测Ahyun Seo Byungjin Kim Suha Kwak Minsu Cho PohangUniversity of Science and Technology（POSTECH）韩国http://cvlab.postech.ac.kr/research/EquiSym摘要检测对称性的固有挑战来自于对称模式的任意取向;反射对称以特定方向相对于轴镜像自身，而旋转对称以特定方向匹配其旋转副本。因此，从图像中发现这样的对称图案受益于等效特征表示，其随着图像的反射和旋转而一致地变化。在这项工作中，我们引入了一个用于对称检测的组等变卷积网络，称为EquiSym，它利用了关于反射和旋转的二面角组的等变特征映射。所提出的网络是端到端的二面角等变层，并训练输出反射轴或旋转中心的空间地图。我们还提出了一个新的数据集，DENse和多样的对称性（DENDI），它减轻了现有的基准反射和旋转对称检测的局限性实验结果表明，该方法在LDRS和DENDI数据集上的对称性检测方面1. 介绍从分子到星系，从自然到人造环境，对称性无处不在。对真实世界对称性的全面感知和利用是人类和动物的本能能力，它有可能将智能系统推向下一个层次。本文的重点是讨论两种最基本的对称性：反射对称性和旋转对称性。反射和旋转对称检测的目标是找到反射轴和旋转中心，分别保持不变的反射和旋转。尽管经过数十年的努力[29，46]，对称性检测方法仅限于明确定义的对称性模式，并且现实世界对称性的补救措施仍有待彻底探索。对称性的数学概念的简单性促使早期的方法找到满足预定义的对称性约束的关键点对[1，3，32，37，39，43]，(a) 图像（b）反射轴（c）旋转中心图1. 我们的方法EquiSym的对称性检测示例。(a)输入图像，（b）反射对称轴的分数图，以及（c）旋转对称中心的分数图。最好用彩色观看。其利用手工制作的局部特征描述符来检测稀疏对称图案。最近，卷积神经网络（CNN）已成功应用于检测反射对称性，并通过从数据中学习得分图回归[13]或对称匹配[38]超越了以前的方法。检测对称性模式的主要挑战在于对称性以任意方向表现自身，并且感知模式需要基于方向的分析;反射对称以特定方向相对于轴镜像自身，而旋转对称以特定方向匹配其旋转副本。因此，用于对称检测的大多数方法涉及在对称图案的候选方向的空间上搜索，并且还开发相对于旋转和反射是不变的或等效的鲁棒表示。早期的方法通过提取定向关键点并执行定向归一化来利用等变表示[1，32，37，39，43]。虽然这种技术已被证明对基于梯度的浅层特征有效，但它不能应用于标准神经网络的深层特征映射，其中旋转和反射会导致表示中的不可预测变化。为了应对挑战，我们建议学习一组-9540用于反射和旋转对称检测的等变卷积神经网络，称为EquiSym。最近，对等变网络进行了积极的研究，以显式地将等变纳入鲁棒和样本高效的表示学习[7，9，19，40，44，47]。与标准神经网络不同，它们引入了关于几何变换的可预测和结构保持表示，例如。旋转或反射，这非常适合于对称性检测。为了检测不同方向上的一致对称模式，我们构建了一个二面角等变卷积网络[44]，该网络被设计为对一组反射和旋转进行端到端等变。该网络有效地学习输出反射对称的反射轴的分数图或旋转对称的旋转中心的分数图。我们还提出了一个新的数据集，DENse和DIverse对称（DENDI），反射和旋转对称检测。DENDI包含真实世界图像，具有反射和旋转对称性的准确和清晰注释，并减轻了现有基准点的限制[4，12，13，27，38]。首先，反射对称轴在尺度和方向上是多样的，而以前的数据集大多集中在垂直或水平反射对称轴的主导轴上。其次，旋转中心标注到多边形和椭圆形的对象，而不限于圆形对象。第三，对每个旋转中心的旋转次数进行了标注，这在大规模数据集上尚属首次。最后，图像数量分别比第二大反射和旋转对称检测数据集大1.7倍和2.0倍。我们工作的贡献可以概括为：我 们提 出了 一 种新 的组 等 变对 称性 检 测网 络EquiSym，它通过端到端的反射和旋转等变特征映射输出反射轴或旋转中心的组等变分数映射。我们提出了一个新的数据集，DENse和DIverse对称性数据集（DENDI），包含在更广泛的典型现实世界的对象中注释的反射和旋转对称性的图像。我们展示了EquiSym在SDRW [27]，LDRS [38]和DENDI上的反射对称检测以及DENDI上的旋转对称2. 相关工作2.1. 等变深度学习等方差是一种理想的归纳偏差，可以提高泛化和采样效率。传统的卷积对平移是等变的，但对其他变换（如旋转和反射）不是。组等变CNN [7，19]使用群卷积来学习对称群的等变表示Marcos等人[33]生成并传播保持最大响应的矢量场以及贯穿网络的相应方向。Worrall等人[47]利用圆调和函数得到连续域中的旋转等方差。Cohen等人[9]线性组合固定基础滤波器，从而产生没有内插伪像的可操纵滤波器。还提出了齐次空间上的等变CNN [5，6，8，45上述方法考虑到特定变换的等方差性，直到Weiler等人。[44]给出了欧氏群E（2）的任意群表示的核空间约束的一般解。从应用的角度来看，Hanet al.[16] Guptaet al. [15]分别提取用于定向对象检测和视觉跟踪旋转等变特征图。我们利用E（2）-等变CNN [44]作为我们网络的构建块，以感知多个方向上一致的对称模式。2.2. 对称性检测对称性检测处理不同种类的对称图案，例如反射轴[1，11，13，14，20，32，37，38，41translation lattice [17，24，28，30，35，42，48].稀疏预测。旋转和平移对称性通常被表述为周期信号，并通过空间域中的自相关[24，28]、频域中的谱密度[22，23]和角相关[20]来检测同时，在对称性检测中始终需要仿射不变或等变的特征描述符，因为匹配局部描述符是最常见的解决方案。Loy和Eklundh [32]使用SIFT [31]描述符，并通过其主导方向对每个描述符进行归一化。Cho和Lee [3]还使用SIFT [31]来匹配特征对，并通过发现附近匹配的聚类来检测对称性轮廓和边缘特征[1，37，39，42，43]也可用于确定对称对象的边界Lee和Liu [23]提出通过纠正偏斜模式来解决仿射偏斜旋转对称群检测在本文中，我们通过数据驱动的方法来处理我们提出的数据集的任务此外，我们使用二面体群来解释对称性，如在许多对称性检测文献[22，23]中那样。密集预测。最近提出的方法[11，13，38，41]预测像素对称性得分。Fukushima和Kikuchi [11]构建了一个神经网络来从图像中提取边缘并检测反射对称性。Tsogkas等人[41]使用直方图、颜色和纹理为每个像素构造一个特征包，并在训练模型时采用多实例学习Gnutti等人[14] Take two···9541×··∈∈×→−→−ED·阿罗特BG类P腐Y腐病阿FG类+C1×1convD ref图2.所提出的对称性检测网络EquiSym的图示 在输入图像I通过组等变编码器Enc之后，组等变解码器Dec_ref和Dec_rot分别预测用于旋转和反射的中间预测S_ref和S_rot。旋转和反射对称的辅助任务是旋转褶皱的阶数（N）和反射轴的方向将所形成的基础logit汇集到P_ref和P_rot，并分别用得分S_ref和S_rot进行加权。旋转中心和反射轴的最终得分Yref和Yrot使用组等变1 × 1卷积来预测。有关详细信息，请参见3 .第三章。使用逐块相关性计算每个像素的对称性得分并使用梯度方向和幅度验证所获得的坐标轴的阶段。Funk和Liu[13]是第一个采用深度CNN来检测反射和旋转对称性的人。Seo等人[38]提出了一种极坐标自相似描述符，以获得更好的旋转和反射不变性。专门设计的极坐标匹配卷积（PMC）执行区域特征匹配以计算对称性得分，但该模型严重依赖CNN。为了发现一致的对称模式w.r.t. 几何变换的旋转和反射，我们部署组等变神经网络在我们的对称检测模型。3. 该方法图像中出现的对称图案对于图像的2D刚性变换是不变的。变换后的输入图像的检测出的对称图案应当与使用原始输入图像的变换后的检测结果相同。换句话说，反射和旋转等方差对于对称检测模型是至关重要的。为此，我们提出了一个统一的框架，通过等价学习，EquiSym检测反射和旋转对称性。总体管线在图中简要示出。二、给定输入图像，共享编码器Enc和解码器Dec_ref和Dec_rot被应用于解压缩。前景概率P的和，以使用11组等变卷积层来计算最终得分图Y。以下各节将介绍对称性检测网络和建议的对称性检测网络。3.1. 预赛组和等方差。 群（G，）是具有二元运算的集合G，其中它的元素在该运算下是闭的一个群有唯一的单位元和逆元，也满足结合性。映射f：X的等变性Y是用群G和两个G-集X和Y形式化的，其中G-集是由集合S和G在S上的群作用组成的数学对象。称映射f是等变的当且仅当f（g·x）=g·f（x），（1）对于所有x X和所有gG.在2D图像域中，我们关注欧氏群E（2），它是平移、旋转和反射的平面R2E（2）-可转向特征场。二维或三维坐标的仿射变换很容易通过矩阵乘法来完成。与低维特征向量不同，高维特征向量的反射或旋转变换是非平凡的。构建可操纵卷积的第一步是定义可操纵特征场检测相对于垂直的反射和旋转对称性。Wef：R2→−Rc，映射一个特征向量f（x）∈Rc，还执行辅助的逐像素分类任务，基本平面的每个点x一个给定一个群G，一个用于反射轴的定向，另一个用于旋转对称的阶数子任务的中间对数和相应的概率分别用S和PlogitsS与表示ρ：GGL（Rc）指定用于混洗每个特征向量的c个通道的变换律，其中一般线性群GL是c c可逆矩阵的集合。因此，在特征图BG类P参考Y参考refFG类+C1×1conv9542∈→−∈∈∈∈∈N||Σ、）GT不仅将目标向量移动到新的位置，而且通过ρ（g）对每个向量进行洗牌，其中g G。E（2）群的群表示在[44]中给出。E（2）-等变可控卷积。为了保持CNN中可操纵特征空间的变换规律，每个网络层都需要在群作用下的等方差。具有受限G-可转向核的卷积[44]提供了可转向特征空间之间的等变线性映射G-可调层的输入和输出是特征场及其群表示ρin（g）Rcin×cin和ρout（g）Rcout×cout，其中指定了群元素g。一个核k：R2Rcout×c，当满足核约束时，ρin和ρout下的变换成为G-可操纵的k（gx）=ρout（g）k（x）ρin（g−1），（2）对于每个给定xR2的g G。 E（2）-等变CNN解决这个约束以获得可操纵内核的基础并计算卷积权重，这导致与CNN相比更小的可学习参数。3.2. 对称性检测网络既不是轴也不是中心的像素因此，分类器预测Nref+1和Nrot+1的通道的分数。分类logit SRH×W×（N +1）由下式获得：S= Dec（Enc（I））。（三）编码器Enc是共享的，而解码器Dec_ref和Dec_rot是任务特定的。请注意，我们将组定向N设置为与Nref相同，以进一步利用等变网络的等效性。对称性检测。对应取向的对称轴的预测得分图存在于估计取向S_ref的N_ref前景通道中，而背景通道包含背景像素。与反射类似，N个rot前景通道是具有该折叠数的旋转中心的分数图。我们把之前的总和-基础logitsP∈RH×W×1和中间预测S∈RH×W×（N+1），以计算最终预测Y∈RH×W，如下所示：Nexp（Sh，w，k）反射和旋转等变模。 既然我们k=1Cexp（Sh、w、c（四）为了建立反射和旋转对称，我们采用二面角群DN的E（2）-等变CNN，其包含N个离散的2 π倍数的角度旋转和反射。编码器Enc由E（2）-等变[16，44] ResNet [18]和Atrous空间金字塔池（ASPP）[2]模块组成。解码器Dec是一个3层卷积模块。编码器和解码器设计遵循[38]，除了所有卷积层都被E（2）-等变卷积层取代。在前向计算期间，特征场被变换成组DN的预定义场。 对于预测S_ref和S_rot，解码器Dec_ref和Dec_rot的特征字段被变换回标量字段。辅助分类。我们执行相关的子任务，而不是直接回归对称分数图[13，38]，建议的辅助任务是反射轴的方向（角度）和旋转折叠的数量的像素分类为了简单起见，我们将方向分配给Y=co nvG（[P||S]）。（五）注意，表示沿最终通道维度的级联操作。3.3. 培养目标为了训练EquiSym，我们优化了定位和分类的两个损失项的组合。 根据[38]，我们采用焦点损失[25]作为定位反射和旋转分数图的Lloc损失中间预测的分类损失Lcls是交叉熵损失。最终目标L表示为Lloc=Lfocal（Y，Ygt）（6）Lcls=Lce（S，Sgt）（7）L=Lloc+Lcls，（8）用于反射和旋转对称检测的网络分别表示为EquiSym-ref和EquiSym-rot为了缓解阶级不平衡问题，后面的损失-N个基准面元除以180度。地面实况导向然后将站S_ref 辅助设备对于L，基类用w加权CLS.注意，焦点GT旋转标记Srot是旋转对称的阶在这种情况下，用正整数注释离散旋转对称我们将'0'分配数据集中的旋转阶数的唯一集合的大小被记为Nrot。同时，我们为损失使L位置的类不平衡问题更加突出。4. 新对称数据集（DENDI）我们提出了一个新的对称检测数据集命名为DENse和DIverse对称数据集（DENDI）在下面。Ph，w=95431521311213数据参考文腐分裂复杂性（一）2（b）第（1）款35223344 454 59 42 52814 5736534* 在线不可用表1.对称检测数据集的比较。4.1. 动机现有数据集的局限性。早期反射对称数据集[4，27]包含少量图像，反射轴和旋转中心很少。最近提出的BPS [13]和LDRS [38]足够大，可以训练深度架构，但反射轴在长度和方向方面仍然缺乏多样性例如，具有多个对称轴的对象通常仅由单个主导轴注释。此外，没有现有的反射对称数据集考虑连续对称群，例如具有无限数量的反射对称轴的圆。对于旋转对称性，BPS [13]的注释仅限于旋转中心，而先驱无监督方法[22，23]也解决了旋转折叠。建议的数据集。为了解决上述问题，我们提出了一个新的数据集反射和旋转对称检测，包括广泛的几何-尝试。我们整合了NYU [4]的239张图像和SDRW [27]的181张图像，并从COCO [26]数据集中收集了2，080张图像。反射和旋转注释都为每个图像标记，我们删除没有任何标签的图像。因此，DENDI分别包含2，493和2，079张反射和旋转分裂图像。表中比较了对称检测数据集的大小。1.一、为了添加具有不同长度和方向的反射轴，我们以常见形状（如圆形、椭圆形和多边形）以及部件级对称性来注释对象。此外，鼓励注释者详尽地标记每个对象的对称，包括非主导对称，例如正方形的对角线。对于连续对称群的反射对称性，我们用椭圆形遮罩来表示无限多个线轴。对于旋转对称性，我们还收集了每个旋转中心的旋转折叠数因此，DENDI中的注释比现有数据集中的注释更密集且更多样化。4.2. 注释反射对称。反射对称轴被定义为由遵循[4，12，13，27，图3. 常规形状及其注释的插图。（a）和（b）分别表示反射对称和旋转对称的注释规则。有关详细信息，请参见4.2（一）（b）第（1）款图4.具有通用形状的对象的图像和标签(a)和（b）分别指示反射和旋转对称的注释。最好看电子版。38]。与现有的数据集相比，我们现在考虑圆形对象。一个圆形物体，相当于一个实心圆，有无限多个反射对称轴通过它的中心。我们建议用5个连接点来注释圆形对象，类似于阿拉伯数字“4”的形状我们从圆的中心向圆的边界在上、下、左和右方向上绘制一个“4”形的注释。一般形状的反射对称性的注释规则和可视化3（a）和图4（a）分别。旋转对称。我们收集旋转中心坐标，对象一个圆形的物体是在一个连续的旋转组与无限倍。因此，为了简单起见，我们将N设置为0。我们根据物体的形状将其分为椭圆形和圆形或椭圆形对象用“4”形注释标记。我们用（V+1）个连续点来标注V个顶点从物体的中心开始，我们将最接近12点的顶点请注意，顶点数（V）和折叠数（N）并不总是匹配。一般形状的旋转对称性的符号规则和可视化在图中可视化。3（b）和图4（b）分别。4.3. 统计反射对称。反射轴的比例和方向的直方图如图所示。5（a）和（b）段。我们要把每一条线的长度，1SDRW [27]51 / - /7010 / - /66低纽约大学[4]239 / - /--低SymCOCO [12]250 / - /-250 / - /-高DSW [12]-200 / - /-低[13]第十三话959 / - /240846 / - /211高LDRS [38]1，110/ 127 /240-高Dendi1 750/ 374 /3691 459/ 313 /307高9544prec+rec0.7500.2000.2000.1750.1500.1250.1000.0750.0500.0250.0000.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0归一化长度取向旋转次数（N）旋转中心(a)（b）（c）（d）图5. DENDI的统计分析。(a)和（b）表示反射对称数据集，而（c）和（d）表示旋转对称数据集。具体地，（a）和（b）是反射轴的尺度和取向的直方图，（c）和（d）表示旋转折叠和旋转中心的数量的将其与图像对角线的长度对齐。对于线注释上的两个点，我们还可以计算其方向（切线）。图的y轴。5（a）和（b）是轴的数目与轴的总数当每个轴的长度减少时，轴的数量增加，反映了现实世界环境的特征此外，可以解释为与其他数据集相比，部分级别的对称性被密集地注释。请注意，我们的数据集在所有方向上都排名第一，除了最接近垂直方向的三个方向。尽管LDRS [38]也基于COCO [26]，但在我们的情况下，由于我们特别要求注释者不要忽略非主导轴，因此轴的方向分布更加多样化旋转对称。旋转折叠的直方图和旋转中心的数量如图所示。5(c)和（d）。数据集中最常见的三种折叠是2、0（连续）和4。结果是可预测的，因为图像中有许多矩形，圆形和正方形请注意，数据集包含大量的折叠8对象，这些对象大多是道路上的“STOP”标志。我们的旋转对称数据集的复杂性很高，如图所示。第5段（d）分段。即使我们剪辑了一些例外，图像中也标记了很多旋转中心。5. 实验5.1. 实验设置数据集。我们使用SDRW [27]，LDRS [38]和DENDI来评估反射对称检测模型。我们遵循Tab中PMCNet[384用于额外使用NYU [4]和合成图像。对于旋转，我们只使用DENDI，它包含SDRW [27]旋转数据集的图像。评价 为了评估EquiSym，我们使用F1分数计算精确度和召回率为2×prec×rec。一个骗局-用于测量输出得分图的得分的发明[13，38，41]是形态细化[34]和现成的像素匹配算法，以与也是像素宽度的地面实况线进行比较与现有的数据集相比，我们考虑了圆形对象，这些对象用填充的圆进行注释由于DENDI包含填充圆的注释，因此细化操作将缩小为单像素点。因此，提出一种新的评估预测得分图的方法是必然的。我们扩大反射和旋转对称的地面实况得分图，最大距离为5个像素，然后[13]将地面实况点放大到旋转中心周围的5个像素半径圆。预测得分图也被扩大以使地面实况本身的结果变为1。然后通过逐像素比较来计算真阳性。实作详细数据。作为骨干网络，我们采用深度为50的ReDet [16]的 ReResNet 实 现， 它基 于PyTorch [36]和e2cnn [44] 。 层 的 数 量 和 结 构 与 vanilla ResNet 相 同[18]。我们按照[16]中的过程对ReResNet 50进行了预训练，用于imagenet-1 k [10] 对于对称群初始化-在等变网络中，我们使用八个方向的二面体群（D8）。为了提供多尺度上下文，我们还部署了Atrous空间金字塔池模块（ASPP）[2]，我们通过将所有香草卷积替换为E（2）-等变卷积[44]来重新实现该模块类的数量Nref是8，Nrot是21. 我 们 使 用 Adam [21] 优 化 器 训 练 EquiSym 100 个epoch，初始学习率为0.001，批量大小为32。有关详细信息，请参阅补充材料。5.2. 消融研究等变回的消融。 我们研究了Tab中群等变卷积的有效性。二、借助等变卷积，32055432100102030 40 50 60 701100010010080604020005101520250.7500.2000.2000.1750.1500.1250.1000.0750.0500.0250.000比比旋转中心对象数量9545L联合C62.222.1CC58.722.5表2.DENDI数据集上反射、旋转和联合模型中对称检测网络上的消融对于EquiSym-ref和EquiSym-rot，F1评分分别从55.1和17.7增加到63.1和21.2。辅助分类上的消融。为了增强中间表示，我们为对称检测的每个分支执行相关子任务并比较它们*重新接受关于DENDI的培训。* 使用作者提供的权重进行评估。表3.与DENDI的最新方法进行比较方法训练数据集实合成器测试数据集SDRW LDRS混合PMCNet [38]CC C61.6 34.868.837.361.2EquiSym-参考CC C67.440.967.1 39.471.4表4.LDRS [38]和SDRW [27]上反射对称检测方法的比较请注意，真实数据集由SDRW，LDRS和NYU [4]数据集组成。在选项卡中。二、在没有额外标签的情况下，仅反射模型的F1得分为64.5，高于仅使用最终任务训练获得的方向估计还需要旋转等方差，这增强了中间特征。另一方面，旋转对称检测需要额外的注释用于辅助任务，因为原始标签是一组点。旋转褶皱分类的旋转不变量子任务(N)压缩中间特征的信息，以便它可以将F1分数从21.2增加到22.5。关于联合消融训练。我们调查的反射和旋转对称性在Tab的联合训练的效果。二、当训练EquiSym-joint时，将同时计算反射和旋转对称的损失。仅用最终任务训练的联合对称检测网络分别针对反射和旋转对称实现了62.2和22.1的可比F1分数然而，辅助任务并没有提高联合训练场景中反射对称性的准确性。一个可能的解释是，只有反射对称轴的方向估计需要旋转等变性，而折叠分类只需要旋转不变性，导致网络不平衡。5.3. 与最新方法的我们将EquiSym与Tab中的最先进方法进行比较。3和Tab。4.第一章对于反射和旋转对称，我们提出的EquiSym达到了最先进的水平，显示了等变网络和辅助分类的有效性。虽然PMCNet [38]在DENDI上重新训练以进行公平比较，但SymResNet [13]使用作者提供的权重进行比较，因为微调SymResNet[13]降低了性能。我们遵循PMCNet [38]的配置进行SDRW [27]和LDRS [38]的实验。4训练图像由来自SDRW、LDRS和NYU的真实图像[4]和生成的合成图像组成[38]。EquiSym-ref在LDRS上达到了最先进水平，而SDRW上的结果仍然相当。如[38]中所提出的，合成图像的额外使用没有帮助。一个可能的原因是数据分布在拆分之间的不平衡。为了缓解这个问题，我们通过合并所有图像构建了一个新的分割，表示为混合，然后将图像随机分割为比例为4：1：1的训练/验证/测试分割EquiSym-ref在这方面优于PMCNet，如Tab. 4.第一章所有的实验都在Tab。4个用遗留方案进行评估。5.4. 定性结果EquiSym-ref 、 PMCNet [38] 和 SymResNet [13] 对DENDI-ref测试的定性结果示出图六、与其他方法相比，EquiSym-ref可生成密集反射对称分数图，包括非主导轴（如对角线）。此外，EquiSym-ref准确地预测圆形对象的掩模，即使对于具有挑战性的样本，其中线和圆都存在于地面实况中。我们比较了EquiSym-rot和SymResNet在DENDI-rot测试中的表现. 7 .第一次会议。EquiSym-rot在规模和旋转中心数方面都很强大。EquiSym-rot检测多边形的对称性以及DENDI-rot中的圆形对象，而SymResNet主要检测圆形对象。对称方法F1分数模型设计选择当量Aux.F1分数参考文献腐反射[13]第十三话PMCNet [38]30.752.0EquiSym-参考64.555.1-参考文献C63.1-CC64.5-旋转[13]第十三话11.9EquiSym-rot22.5-17.7腐C-21.2CC-22.59546地面实况SymResNet[13]PMCNet[38]我们的地面实况SymResNet[13]PMCNet[38]我们图6. DENDI-ref测试反射对称性检测的定性结果。[13]第13话我的世界图7. DENDI-rot检验中旋转对称性检测的定性结果。5.5. 限制虽 然 EquiSym 可 以 联 合 训 练 以 产 生 与 单 分 支EquiSym相似的预测，但它有更多的改进空间。特别是EquiSym-rot辅助任务的设计可以进一步探索，以提高反射对称性检测的准确性。6. 结论在本文中，我们提出了一种新的对称性检测框架，EquiSym，使用等变学习来获得反射和旋转对称性的群等变和不变分数。此外，我们还有介绍-引入了一个新的数据集DENse和DIverse对称数据集（ DENDI ） ， 用 于 反 射 和 旋 转 对 称 。 所 提 出 的EquiSym在LDRS和DENDI数据集上达到了最先进的水平。鸣谢。这项工作得到了三星高级技术研究所（SAIT）的 支 持 ， 也 得 到 了 NRF 赠 款 （ NRF-2021 R1 A2C3012728）和IITP赠款（No.2021-0-02068：AI创新中心，编号2019 -0- 01906：POSTECH的人工智能研究生院项目）由韩国政府（MSIT）资助。我们要感谢Yunseon Choi对DENDI的贡献9547引用[1]R.Atadjanov和Seungkyu Lee。利用结构描述子的出现进行反射对称性检测。以Eur.确认补偿目视，第3-18页。施普林格，2016年。[2]Liang-Chieh Chen，George Papandreou，FlorianSchroff，and哈特维希·亚当再思考无卷积在语义图像分割中的应用。CoRR，abs/1706.05587，2017。四、六[3]Minsu Cho和Kyoung Mu Lee。通过对称增长的双边对称检测。在英国。马赫。目视Conf. ，第1-11页Citeseer，2009.一、二[4]M. Cicconet，V. Birodkar，M.隆德，M。Warman和D.盖革反射对称性的卷积方法。http：//arxiv.org/abs/1609.05257，2016. 纽约二五六七[5] 塔可·科恩马里奥·盖格莫里斯·维勒。齐型空间上等变cnn的一般理论。arXiv预印本arXiv：1811.02017，2018.2[6] Taco Cohen，Maurice Weiler，Berkay Kicanaoglu，andMax Welling.规范等变卷积网络与二十面体卷积神经网络。国际机器学习会议，第1321-1330页。PMLR，2019年。2[7] 塔可·科恩和麦克斯·威林群等变卷积网络。在机器学习国际会议上，第2990-2999页。PMLR，2016.2[8] Taco S Cohen，Mario Geiger，and Maurice Weiler.诱导表示之间的相互缠绕（应用于等变神经网络理论）。arXiv预印本arXiv：1803.10743，2018。2[9] Taco S Cohen和Max Welling。可控cnn。arXiv预印本arXiv：1612.08498，2016.2[10] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。在cvpr，第248-255页。Ieee，2009年。6[11] Kunihiko Fukushima和Masayuki Kikuchi。 用神经网络提取对称轴。神经计算，69（16）：18272[12] Christopher Funk，Seungkyu Lee，Martin R Oswald，Stavros Tsogkas，Wei Shen，Andrea Cohen，SvenDickinson，and Yanxi Liu. 2017年ICCV挑战赛：在野外探测对称性。在国际会议计算中目视Worksh. ，第1692-1701页，2017年。二、五[13] Christopher Funk和Yanxi Liu。超越平面对称-尝试：模拟人类在野外对反射和旋转对称性的感知。在国际会议计算中目视，第793-803页一、二、三、四、五、六、七[14] Alessandro Gnutti，Fabrizio Guerrini，and RiccardoLeonardi.结合外观和梯度信息的图像对称性检测。IEEE Trans. 图像处理。，2021年。2[15] Deepak K Gupta，Devanshu Arya，and Efstratios Gavves.用于跟踪的旋转等变连体网络。在IEEE/CVF计算机视觉和模式识别会议上，第12362-12371页，2021年2[16] 韩家明，丁健，薛楠，夏桂松。Redet：用于空中目标探测的旋转等变探测器在IEEE/CVF计算机视觉和模式识别会议论文集，第2786-2795页，2021年。二、四、六[17] James Hays，Marius Leordeanu，Alexei A Efros，andYanxi Liu.发现纹理规则性是一个高阶对应问题。以Eur.确认补偿目视，第522535. Springer，2006年。2[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在cvpr，第770-778页四、六[19] Hoogeboom，Jorn WT Peters，Taco S Cohen和MaxWelling。六角锥体arXiv预印本arXiv：1803.02108，2018。2[20] 约西·凯勒和尤尔·史考尼斯基。对称性检测的信号处理方法. IEEE传输图像处理。，15（8）：21982[21] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。在国际会议学习中。代表。，2015年。6[22] Seungkyu Lee，Robert T Collins，and Yanxi Liu.通过frieze展开的频率分析检测旋转对称群。在IEEE Conf.Comput.目视模式识别，第1-8页。IEEE，2008年。二、五[23] Seungkyu Lee和Yanxi Liu。倾斜旋转对称群检测。IEEE传输模式分析马赫内特尔，32（9）：1659二、五[24] 林欣芝，王玲玲，杨世九。基于自相关函数提取规则纹理的周期性。Pattern recognition letters，18（5）：4332[25] 林宗义、普里亚·戈亚尔、罗斯·格希克、何开明和彼得·多尔·拉尔。密集目标检测的焦面损失。 在IEEEConf.Comput.目视模式识别，第2980-2988页4[26] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740Springer，2014.五、六[27] Jingchen Liu，George Slota，Gang Zheng，Zhaohui Wu，Min-woo Park，Seungkyu Lee，Ingmar Rauschert，andYanxi Liu. 2013年真实世界图像竞赛的对称性检测：总结和结果。 在IEEE会议Comput.目视模式识别Worksh. 第200-205页，2013年。2，5，6，7[28]Yanxi Liu，Robert T Collins，and Yanghai Tsin.一台计算机-基于frieze壁纸组。IEEE传输模式分析马赫在-告诉。，26（3）：3542[29] Yanxi Liu，Hagit Hel-Or，and Craig S Kaplan.计算机视觉和计算机图形学。现在出版社，2010年。1[30] Yanxi Liu，Wen-Chieh Lin，and James Hays.近规则纹理分析和处理。ACM Transactions on Graphics（TOG），23（3）：3682[31] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。 Int. J. Comput. 目视，60（2）：912[32] Gareth Loy和Jan-Olof Eklundh。检测特征的对称性和对称星座。以Eur.确认补偿目视第508-521页。Springer，2006年。一、二9548[33] Diego Marcos，Michele Volpi，Nikos Komodakis，andDevis Tuia.旋转等变向量场网络。在IEEE计算机视觉国际会议的Proceedings中，第5048-5057页2[34] David R Martin，Charless C Fowlkes，and Jitendra Ma- lik.学习使用局部亮度、颜色和纹理线索检测自然图像边界。IEEE传输模式分析马赫内特尔，26（5）：5306[35] Minwoo Park，Kyle Brocklehurst，Robert T Collins，andYanxi Liu.使用均值漂移置信传播的真实世界图像中的变形格点检测。IEEE传输模式分析马赫内特尔，31（10）：18042[36] Adam Paszke、Sam Gross、Francisco Massa、AdamLerer、James Bradbury、Gregory Chanan、TrevorKilleen、Zeming Lin、Natalia Gimelshein、LucaAntiga、Alban Desmaison、Andreas Kopf、EdwardYang、Zachary DeVito、Martin Rai son、AlykhanTejani、Sasank Chilamkurthy、Benoit Steiner、LuFang、Junjie Bai和Soumith Chintala。Pytorch：一个操作风格的高性能深度学习库。In H.Wallach，H.Larochelle、A. B e ygelzime r、F. dAlc he′-Buc，E. Fox和R. Garnett，编辑，Advances in Neural InformationProcessing Systems 32，第8024Curran Asso- ciates，Inc.，2019年。6[37]V Shiv Naga Prasad和Larry S Davis。检测旋转对称性。在国际会议计算中目视第2卷，第954-961页。IEEE，2005年。一、二[38] 徐阿贤沈佑贤赵敏秀 学习通过极匹配卷积发现反射对称性。在国际会议计算中目视，2021年。一二三四五六7[39] Di