低信噪比下的边界结构的自下而上模型

1结场：低信噪比下的边界结构多尔·维宾和托德·齐克勒哈佛大学{dorverbin，zickler} @ seas.harvard.edu短曝光照片输入补丁我们的BM3D [9]美国[6]Chan-Vese[8]Ofir等人[2 3]BM3dgPb[3]BM3dHED[33]BM3d[29]图1：在短曝光（1/5000 s）下检测边界该领域的路口提取边界结构的噪声水平，其他方法失败，即使当其他人之前的去噪和最佳调整的图像。此外，我们的模型将其边界解释为组件轮廓、拐角、连接点和区域颜色（参见图2）。摘要我们引入了一个自下而上的模型，同时发现，ING在图像中的许多边界元素，包括轮廓，角落和路口。该模型解释了边界形状在每个小补丁使用一个使用非凸优化来分析图像，以在每个位置处合作地找到M+ 2个接合点值，其中空间一致性通过新颖的正则化器来实施，该正则化器在保留角点和接合点的同时减小曲率。所得到的“结点场”同时是轮廓检测器、拐角/结点检测器和区域外观的边界感知平滑。值得注意的是，它的统一的轮廓，角落，路口和统一的区域，gions的分析，使它能够成功地在高噪声水平，其他方法的分割和边界检测失败。1. 介绍识别边界是视觉的基础，能够自下而上地识别边界是很有帮助的，因为视觉系统并不总是熟悉物体和场景他们遇到。边界的本质很容易表达：它们主要是平滑和曲线;它们包括一组小而重要的零维事件，如角点和交叉点;在边界之间，区域外观在某种意义上是均匀的。然而，尽管有这种简洁的描述，提取包括所有这些元素的边界并利用它们的相互依赖性已被证明是困难的。经过几十年的工作在各种子集的轮廓检测，角点检测，连接检测和分割，社区仍在即使是深度编码器-解码器CNN，其可以被调整以利用数据集中的许多种局部和非局部模式，也难以精确地定位边界，从而激发了对架构创新的持续搜索，如跳过连接、门控卷积、双边正则化、多尺度监督、内核预测器等。我们引入了一个自下而上的模型，精确地分辨，cerns完整的边界结构轮廓，角落，交界处，所有在同一时间（见图1 -2）。它通过将非线性表示拟合到每个小图像块来实现这一点，其中M+ 2个值解释了块是均匀的或包含边缘、细条、角或68696870输入gPb [3]L0 [34]、ASJ [36]BM3D [9]→gPbBM3D→ L0，ASJ我们图2：在高和低SNR下解释边界结构（顶部和底部）。接合点的区域识别轮廓（列6）、拐角/接合点（圆形，列7）和平滑颜色（列7）。它比以前的方法更能适应噪声，这些方法特定于轮廓，连接或平滑，即使在它们之前进行了最佳调整的去噪。任何程度的连接，直到M（见图3）。该模型使用一种新形式的空间正则化来鼓励重叠面片之间的一致性，该空间正则化不是惩罚整体曲线长度或弹性，而是表达对全局边界图的偏好，该全局边界图包括由具有小曲率的轮廓连接的孤立角和连接点。据我们所知，这是第一次这样的正则化已经实现了在交界处的存在。通过求解一个非凸优化问题来分析图像，该问题在每个位置共同确定M+ 2这产生了一个领域的路口：一个蒸馏表示的轮廓，角落，路口和均匀的地区的一个图像。这是一个中间的，ATE表示，是有用的各种任务，包括轮廓检测，交界处/关键点检测，和边界感知平滑。实验上，结的场提供了对噪声的unprecedented弹性它是可重复的噪声水平，包括非常高的噪声制度，其他方法，无论是基于去噪，分割，灰，轮廓检测，或交界处检测，所有往往失败（见图1 -2）。我们将此归因于其正则化的形式及其对轮廓、拐角、接合点和均匀性的统一表示，这允许所有这些信号在分析期间相互激发和抑制。我们在第3节中介绍了结点场模型，在那里我们将分析表述为非凸优化问题。我们描述了该模型如何可以用于单通道和多通道图像，以及它如何包括一个参数控制其输出的规模。第四节是本文的核心部分：它介绍了允许分析成功的优化技术。特别是，我们提出了一个贪婪算法初始化每个补丁实际上即使它们不保持。在第5节中，我们应用领域的路口轮廓，角落，和junc- tion检测，表明它提供了新的正则化功能和可重复的性能在许多噪声水平。我们的图的扩展版本，模型的概括，其他结果，以及我们的论文的视频摘要，都可以在增刊中找到。2. 相关工作轮廓、拐角和接合点检测。这些已经被研究了几十年，通常分别使用减半的感受野来定位轮廓[6，16，21]和楔形或其他基于斑块的模型用于拐角和接合处[12，26，10]。20、7、32、36]。分离这些过程的缺点是，与我们的模型不同，它不利用轮廓，角落和交界处在检测时间之间的并发性。低信噪比下的轮廓检测。在低信噪比下检测轮廓的简单方法是在轮廓检测器之前使用强通用去噪器。Ofir等人[24，23]可能是第一个令人信服地表明，通过设计专门利用轮廓规则性的优化策略可以实现更好的结果（也见图1）。 我们通过开发不同的优化方案来建立这个想法，这些方案可以处理更广泛的边界结构集，并且在准确性和可扩展性方面改进[24，23曲率正则化在低SNR下提取的边界受到正则化的选择的强烈影响先前的工作已经表明，最小化曲率-无论是单独的还是与长度（欧拉的弹性）相结合-通常比单独最小化长度更好地保留细长结构和精细细节;并且已经有许多尝试来发明用于最小化边界曲率的良好数值方案[28，22，39，37，30，13]。所有这些方法都导致圆角，并且更关键-6871M我C{∈ ∈}NC {≡ ∈}Ci=1∈×Pj=1P {}θi我我θi我我我我{}×→通常，它们仅适用于两个区域之间的边界，因此不提供用于保留连接的方法（参见图4）。相比之下，我们的模型保留了尖角和交界处，同时还减少了沿轮廓的曲率。细分 我们的补丁模型受到Chan和Vese [ 8 ]的水平集方法的启发，特别是其多阶段推广[31，14]。事实上，我们在4.2节中的下降策略可以被解释为在每个补丁中追求最优水平集函数，每个补丁我们的实验表明，我们的正则化分片方法避免了在优化过程中手动初始化和重新初始化的需要，这两者在实践中都是经常需要的[8，31，14，19]。边界感知平滑。当定位边界时，我们的模型推断邻近每个边界点的区域颜色它与ded的效率没有竞争力更平滑[34，25，11]，但对噪声更有弹性深度编码器/解码器网络。我们的方法非常不同于依靠深度CNN来推断图3：广义M-结包括顶点和M个角，将每个片划分为至多M个均匀区域（这里，M= 3）。通过根据需要将顶点释放到面片的内部或外部，该模型同时适应轮廓、线、角、连接和均匀区域，从而允许在分析期间利用所有这些之间的并发性。M 个颜 色函数c（ 1 ） ， …c（ M ） ：Ωi→RK （ 暂时定义），使得对于所有x ∈Ωi：Ii（x）=Σu（j）（x）c（j）（x）+ni（x），（1）其中n（x）N（0，σ2）为噪声，u（j）：Ω→{0，1}边界（例如，[33，29]）或线和路口[15，38，35]。CNN具有在大型数据集上可训练的优势，允许本地和非本地模式被内化并用于预测;但仍存在与克服其内部空间子采样（这使得边界难以定位）和其有限的可解释性（这使得难以适应全新的情况）相关的持续挑战。与CNN不同，连接场模型不具有最大限度地利用特定数据集或成像模态的复杂性的能力但它具有以下优点：不被二次采样;将边界结构解释为分量轮廓、角点和边缘。是一个指示符函数，如果x在第j个内，则返回1楔形定义为θi，否则为0每个颜色函数c（j）定义在第i个补丁Ωi的支持上，并解释了该补丁的第j个楔形内的K通道值的连续场。这些函数被约束为预先选择的函数族，例如常数函数=c（x）c：cRK或线性函数=c（x）=Ax+b：ARK×2，bRK。我们将分析图像到其结域的过程写成求解优化问题：maxlog p（Θ）+log p（C）+ Σlog p（I |θ，c），（2）应用于许多噪声水平和许多单通道或多通道2D成像模态;并且Θ，Ci=1我我我由几个直观的参数控制。3. 结域从具有2D支持Ω的K通道图像I：ΩRK，我们提取密集的重叠R R空间补丁，表示为R=I i（x）N。 我们还定义了一个连续族的补丁类型，R=uθ（x），参数θ，描述的边界结构在一个RR补丁。 对于R，我们使用的家庭广义M-路口，包括M角楔周围的顶点。参数θ=（θ，x（ 0 ））RM+2是M个角度θ=（θ（1），…和顶点位置x（0）=（x（0），y（0））。重要的是，顶点可以在面片的内部或外部，并且楔形体的大小可以为0。图3示出了M= 3的示例。假设所有图像块IR由来自具有加性高斯白噪声的6872|我我我我≡PR的块描述 这意味着对于每个i ∈ {1，… 存在参数θi，并且其中p（Θ）和p（C）是在所有结参数Θ =（Θ1，…θN）和颜色函数C =（cl，…cN），并且p（I iθi，ci）是给定结参数θi和色函数ci= （ c（ 1 ） ，…c（M））。如果一致性项P（Θ）和P（C）在重叠的片块在其重叠内不一致时为0，则该目标精确地是接合点的场的MAP估计，其中一致性项被解释为接合点参数的先验。和颜色函数，我们将其建模为独立的。在本节的其余部分中，我们将提供更多信息-关于等式2中的三项的信息。为了简单起见，我们使用M=3和恒定颜色模型c（j）（x）c（j），但是扩展到高阶颜色模型和扩展到M >3是微不足道的，并且在补充中描述。该补充还示出了当噪声不是如等式1中所假设的空间独立时模型如何执行。6873N我我我→ → ∞NMMNM2NM.θi我θiΣ我ΣΣu（x）c.（八）+λBΣ∫ΣB（x）−B （x）Σdx，（9）N[13]第十三话我们的λB= 0。1我们的λB= 10具有宽度δ和强度βB的版本：logp（Θ）=−βBΣ∫ΣB（δ）（x）−B（δ）（x）Σ2 dx， （5）我我i=1其中B（δ）（x）是一个光滑的边界映射，从精确的边界位置下降宽度为δ，将在4.2节中精确定义。松弛的全局边界映射B（δ）（x）现在通过在包含它的所有面片上取每个位置x处的平滑局部边界映射的平均值（而不是最大值）来计算图4：我们的边界一致性项由λ B控制，有利于孤立的角点和由低曲率轮廓连接的结点。与其他正则化，它：是不可知的轮廓长度和凸性，保留尖角，并保留三个或更多个区域之间的交界处3.1. 补丁可能性对于单个贴片，等式1直接示出了对数似然项与该贴片中的均方误差成负比例：M2B（δ）（x）=1B（δ）（x），（6）|i ∈ Nx|i∈Nx其中Nx={i：x∈Ωi}是面片的指数集其中包含x。We由B（δ）（x）表示等式6中的松弛全局边界映射的第i片。请注意，当δ = 0时，等式5中的松弛一致性接近等式4中的严格一致性。0和βB。类似于边界空间一致性项，我们将颜色空间一致性项定义为：Σ Σ∫¨ ¨logp（C）=−βCu（j）（x）¨c（j）−I¨i（x）¨dx，Σ∫¨ ¨θiii=1j =1（j）（j）（3）logp（I i|θi，ci）= −αu （x）¨c−I i（x）¨dx，（七）其中α >0是由噪声水平σ确定的常数。等式3中的似然项可以被视为单个位置处的结参数的函数，θi，I（x）=1|Nx|（j）（j）θiii∈Nxj=1这是因为对于给定θi（参见第3.2节中的公式10）。但尽管由于该问题的维数较低，需要估计每个贴片的（M+2） 我们提出在第4.1节中对该问题的有效解决方案。使用对数似然和再似然在等式3、5和7中的松弛一致性，分析现在可以将图像写入其结的场的解写成以下最小化问题的解：minΣΣ∫u（j）（x）¨c（j）−Ii（x）¨dx3.2. 空间一致性我们的空间一致性项p（Θ）和p（C）要求所有结模型在其重叠内一致。约束一致性可以简洁地表示为每个交叉点定义的边界Θ，Cθiii=1j =12（δ）（δ）我我i=1Σ Σ∫¨ ¨i=1j=1+λCu（j）（x）¨c（j）−I¨i（x）¨dx，logp（Θ）=0如果对于所有i，Bi（x）=B（x），（四）- ∞否则其中Bi（x）是第i个面片处的边界映射，如果x是根据θ i的边界位置，则返回1，否则返回0，并且B（x）=maxi∈{1，…，N}Bi（x）是由结域定义的全局边界图。等式4中的边界一致性项提供了22j=1其中，Ii（x）是全局颜色映射的第i个补丁：6874θi我其中λB=βB/α和λC=βC/α是参数con-拖动边界的强度和颜色一致性。我们通过交替来解决问题（9），更新连接参数和颜色（Θ，C），同时全局映射（B（δ），I（））然后更新全局地图。这利用了用于最佳颜色的封闭形式表达式的优点。对于恒定颜色模型，表达式为∫u（j）（x）ΣIi（x）+λCIi（x）Σdx硬约束的结参数，这是困难的用于实践。我们用一个松弛的有限的c（j）=θi（1+λC）∫u（j）（x）dx、（10）6875×我-|←←≡我我我∆图5：在降低的光水平下捕获的SIDD [2]中的补丁的算法2的输出。算法的收敛性只有在没有噪声的情况下才能得到保证，但实际上即使在噪声很高的情况下，输出也相当准确。并且对于分段线性颜色，即， c（j ）（x）=A（j ）x+b（j），存在用3 × 3矩阵求逆和乘法替换K个除法中的每一个的类似表达式。我们的边界一致性的公式化通过在由其邻居分配低分数的像素x处抑制其自身的边界性B（δ）（x）（如由下式量化）来鼓励每个片iB（δ）（x）），并在指定的像素处激发其边界性高分。这意味着只有显著的连接点、拐角和轮廓最终对最终的全局边界图B（δ）（x）有贡献。均匀斑块和其他不太突出的斑块中的结值往往与其他斑块不一致，因此抑制了它们内部的伪边界。与此同时，我们使用的consideration的平滑版本，而不是一个严格的允许轮廓具有非零曲率，以及近似的局部collections的角落，有稍微不同的顶点，而招致惩罚。这具有曲率正则化器的效果，因为使场中的所有结点完全一致的唯一方法是当全局边界除了在间隔至少∞-距离R的有限数量的顶点处之外的任何地方都具有零曲率时（例如，多边形）。其角度和顶点位置的离散值。然后，细化过程在问题（9）的松弛上执行梯度下降，协作地调整所有结参数以找到改善空间一致性同时保持对局部外观的保真度的我们接下来描述每个步骤。4.1. 初始化许多以前的结估计方法，如[10，7]，使用梯度下降来优化单个楔形模型的顶点和角度。这些方法依赖于具有来自人或拐角检测器的良好初始化，并且当这样的初始化不可用时，事实上，即使在无噪声的情况下，总是存在一个补丁在目前的情况下，我们需要一个初始化策略，它对每个补丁都是自动和可靠的，或者至少对绝大多数补丁都是这样。我们首先描述了一个初始化算法的简单的问题，其中一个补丁的顶点是已知的，其中我们的算法保证在没有噪声的最优性;然后我们把它展开，解出顶点和角。当顶点已知时，优化一个面片的参数简化为找到分段常数的一维角函数。有基于动态规划[4，17]和启发式粒子群优化[5]的算法。相反，我们提出算法1，这是保证找到真正的交界处和-gles =（（1），…，（M）），其在无噪声情况下最小化负对数似然该算法由一个单一的坐标下降在M个连接角上更新，也就是说，它使j（（j− 1），（M），x（0），y（0））对于j = 1，…， M.我们的目标的颜色一致性项促进重叠斑块之间的颜色一致性。它改善了高噪声下的结的字段的结果，通过强制执行的颜色之间的长范围的一致性的像素集不分离的边界。算法一：角度优化初始化（1），...，（M）0.对于j= l，，M，do（j）argminϕ4. 分析将图像分析到其连接域中是一个挑战，其中问题（9）由通过空间一致性项耦合的N个连接拟合问题组成。即使没有一致性，找到单个贴片i的最佳接合点也需要最小化θi中的非光滑和非凸函数。我们分两部分来解决这个问题：初始化和重新精致这两个都是我们模型对噪声鲁棒性的关键初始化过程独立地优化每个补丁，使用少量的坐标更新来查找端定理1. 对于没有噪声的结点图像Ii（x）（即，在等式（1）中1）并且顶点x（0）已知，算法1保证找到全局最优角度。证明草图。（详见补充资料中的完整证明。）首先，请注意j（）对于所有都是连续和光滑的，除了在任何真实的结角处导数可能不连续。如果最佳不是真实连接角之一，则它必须位于两个输出输入6876←←−--≤ ≤≤θKL输入边界感知平滑边界图6：来自照片的结的场。它可以从自然图像中提取边界感知平滑和边界结构，因为它对纹理和其他自然偏离理想的广义M-结模型具有鲁棒性这样的角度，即，<$∈（<$−，<$+）. 可以证明，j（）算法二：角度和顶点的优化在（−，+）中没有任何局部极小值，因此对于两个真实结角初始化为x（0），y（0）在补丁的中心。成本函数必须在端点之一处最小化因此，对于j=1，...，保证M提供全局最优的角度集合。在实践中，我们发现，算法1提供了一个优秀的估计的真实交界角，即使当输入补丁是嘈杂的。它还具有显著的效率优势。每次坐标更新可以通过以ε为增量在所有角度上进行穷举搜索来完成，以具有复杂度O（1/ε）的任意小误差ε。因此，单个结点的复杂度为O（M/ε），与[17]的O（1/ε2）动态规划解和在所有可能的M-角集合上的朴素穷举搜索的O（1/εM）此外，算法的每个步骤可以通过计算每个O（1/ε）值的j（（j））的值并选择最小化角度来在所有角度（和所有贴片）上并行运行因此，运行时可以是AC-使用GPU或多个处理器可显著i= 1，…N initdo使用算法1求角度。x（0）argmin（，x，y（0））Xy（0）argmin（，x（0），y）y端tor函数uθ（x），使它们在x和θ上光滑，类似于水平集方法[8，31]。我们这样做，通过描述，ING每个3结使用两个距离函数（一个类似的参数化存在使用M1功能的M结）。给定顶点位置（x（0 ），y（0））和角度（1），（2），（3），并且不失一般性地假设0中文（简体）中文（简体）（3）2π，我们定义一个结<两个带符号距离函数d12和d13，由下式定义：.min{d（x），−d（x）}if（l）−（k）π当我们扩展问题以优化max{dk（x），−dl（x）}否则其中d（x，y）= −（x−x（0））sin（（l））+（y−y（0））cos（（l））除了角度。我们简单地通过初始化面片中心的顶点并使用坐标下降过程将其与角度一起更新来实现这一点。参见算法2。图5显示了一个典型示例，其中算法可很好地估计真实顶点位置和角度。L是与角度为的直线的有符号距离函数通过（x（0），y（0））。我们的松弛指示器函数被定义为：u（1）（x）= 1 −Hη（d13（x）），（l）4.2. 细化在分别初始化每个补丁后，我们使用连续的，基于梯度的优化来细化结的场。为了计算物体的梯度在问题（9）中，关于Θ，我们放松了指示。dkl（x）=（十一）6877θθη2πηu（2）（x）=Hη（d13（x））[1-Hη（d12（x））]，（12）u（3）（x）=Hη（d13（x））Hη（d12（x）），其中Hη是正则化的Heaviside函数，如[8]中所示：H（d）= 1Σ1 + 2arctan。 dΣΣ。（十三）6878×我我≤≤δ1.00.80.60.40.20.01.00.80.60.40.20.0我们公司简介ASJ基线 CNN，〜 107个参数。基线CNN，〜105个参数。我们BM3D HEDBM3dGPBGPBOfir等人14 8 4 2 0峰值信噪比[dB]计算梯度。为了允许参数首先局部地改进它们的估计，然后才使用一致性项来改进结的场，我们在1000次细化迭代中将一致性权重从0线性地增加到它们的最终值λB和λC。我们另外每50次细化迭代应用算法2（不重新初始化结参数）一次，我们发现这有助于我们的方法避免陷入局部最小值。我们的算法在NVIDIATesla V100 GPU上的运行时间是110秒，用于192 192图像，补丁大小R= 21，但运行时间和空间使用可以显着减少，只考虑每第s个补丁在两个空间维度上的一些恒定的步幅s（见补充s对运行时间和性能的影响）。我们在PyTorch中实现了我们的算法，我们的代码和数据集可以在我们的项目页面上找到[1]。图7：我们的数据集上增加噪声的顶点和边界检测F分数。在低噪声下，我们的模型与现有的边缘和结检测器以及基线CNN相当，但在高噪声下，即使经过BM3D预处理，它也明显优于它们插图：不同噪声水平下的样本面片。一致性项的平滑边界图为：B（δ）（x）=πδ·H′（min{|d12（x）|、|d13（x）|其中H′（d）是H（d）关于d的导数，5. 实验一旦图像被分析，其连接场提供边界结构和平滑区域外观的分布表示。场中的每个像素为附近（子像素）顶点位置提供“投票”，该位置周围具有相关联的楔形角和颜色值。从该领域获得的简单像素平均值对于提取轮廓、拐角和接合点以及边界感知平滑是有用的。我们在这里展示了这些我们使用三种类型的数据来评估性能第一、并且比例因子确保0B（δ）（x）1.一、我们的实验使用η = 0。01且δ = 0。1.一、我们发现该算法对这些值相当不敏感，并且改变它们并不能提供对模型行为的有用控制这与控制边界和颜色细节的比例和级别的其他参数（斑块大小R和一致性权重λB、λC）形成对比4.3. 优化详情我们通过首先使用算法2初始化Ninit= 30次迭代，然后使用Adam优化器[18]优化以最小化问题（9）Niter=1000次迭代，将图像分析到其结域中。通过在100个均匀间隔的值处评估算法1和2中的受限负对数似然函数来执行初始化。因为交叉点的顶点可以在其面片的外部（参见图3），所以在围绕每个面片的中心的长度为3R因此，我们的初始化精度为3。6◦在接合角中，和0。03R在顶点位置。对于细化步骤，我们使用0的学习率。03表示顶点位置，0. 003，全局映射B（δ）（x）和I（x）被视为常数使用前一次迭代的值计算，当我们在捕获的照片上显示定性结果。其次，我们使用智能手机图像去噪数据集（SIDD）[2]量化可重复性，评估在降低光照水平（从而增加噪声水平）下拍摄相同场景时提取边界的一致性最后，为了精确地量化提取的轮廓、拐角和接合点的准确性，我们生成300个合成灰度图像的数据集（在补充中示出），其具有已知的亚像素精度的边界元素，并且具有仔细控制的噪声水平。在本节中，我们提供了使用不相关噪声的结果，我们的补充内容包含其他噪声模型损坏的图像结果。边界感知平滑。结的场使用等式8明显地提供边界感知平滑。图6中示出了照片的示例，并且图2中示出了其对噪声的弹性与[34]的弹性的比较。边界检测结的场也通过等式6立即提供边界图。图6显示了从照片中提取的边界，图1显示了我们的边界与以前的边缘检测和分割方法在从嘈杂的短曝光照片中提取的补丁上的定性比较。边界顶点6879N我−∥∥1.00.8顶点存在于位置X处的可能性为：0.60.40.20.0V（x）∝Σi=1wiκ.x−x（0）Σ.，（15）2Σ25 20 15 10峰值信噪比[dB]图8：与具有和不具有去噪的其他检测器的可重复性相比，在来自SIDD的补丁上增加噪声的顶点检测可重复性。每种方法在干净的地面实况上检测到的点的数量是126（我们的）、49（ASJ）、57（Harris）和70（ORB）。20我们公司简介10014 8 4 2 0峰值信噪比[dB]图9：对于我们的方法和由BM3D预处理的ASJ，在我们的数据集上检测到的接合处的角度（以度为单位）的误差。我们的方法退化缓慢。我们报告的准确性ASJ正确检测的交界处。有关示例补丁，请参见图7我们将我们的结果与现有的轮廓和边界检测方法进行定量比较：gPb [3]，HED [33]，Ofir等人。[24]，以及当通过BM3D [9]降噪时的gPb和HED，其提供真实噪声水平σ。（由于[24]是针对低SNR设计的，因此我们不将其与BM3D结合。）在图7中，我们显示了在我们的合成数据集上通过每种方法获得的结果的F分数通过将每个检测器输出的边界与地面实况匹配并取其精确度和召回率的调和平均值来计算F分数曲率正则化。图4将我们的边界正则化与具有最佳调整参数的1-elastica [13这代表了现有正则化器大家族中最强的可能比较，因为elastica包括纯长度和纯曲率最小化作为特殊情况，并且因为在这些图像中最小化1范数优于2范数。与现有的正则化子不同，连接域保留了尖角;更喜欢线性轮廓而不是曲线轮廓;不知道边界的长度和凸度;据我们所知，它是第一个在保持连接的同时做到这一切的。顶点检测。交叉点区域还提供了顶点位置的地图，可以像传统的拐角、交叉点或兴趣点检测器一样使用为了创建一个顶点贴图，我们使用了场域中每个结点的加权投票的γ，以及抑制来自具有接近0°或180°的楔形角的贴片的投票的权重wi（即，没有唯一顶点）和顶点x（0）非常远离面片中心的面片。(See补充完整表达）。图2显示了与ASJ [36]相比，我们的顶点检测器在低噪声和高噪声状态下的定性结果。我们的检测器对我们的合成数据集上的噪声的鲁棒性的定量研究在图7中示出。我们再次使用F-score与ASJ [36]和BM 3D进行比较，然后是ASJ，以及我们在我们的数据集上专门针对顶点检测进行在该实验中，针对每个PSNR训练单独的CNN图8显示了我们的顶点检测器在不同噪声水平下使用从SIDD提取的补丁的可重复性，与ASJ [36]，Harris [12]和ORB [27]相比。通过将由每种方法在有噪声图像上获得的点与其在无噪声地面实况图像上的输出进行比较来计算可重复性F分数。在所有情况下，我们发现我们的模型提供了优越的弹性噪声。我们的检测器还提供了重复性的视角变化类似于其他感兴趣的点检测器（见补充）。除了顶点位置之外，交叉点的场提供每个检测到的顶点的角度的估计。我们将i视为像素i处的角度的估计。 图-图9示出了该角度估计精度的比较通过BM3D预处理的ASJ，在多个噪声水平因为ASJ单独在中等噪声水平下失效（参见图7），所以我们仅绘制BM3D随后ASJ的结果。6. 限制连接领域仅由几个参数控制，因此与深度CNN相比，它专门针对特定数据集或成像模态中存在的边界形状和外观的非局部模式的能力要小得多。此外，按照目前的设计，它一次只分析一个尺度的图像，R确定该尺度下输出中顶点之间的最小间隔最后，虽然分析算法可以很好地扩展图像大小（O（N），相比于O（N）1。5）和[24，23]的O（NlogN）算法），并且具有与一些其他分析器（如gPb）相当的运行时间，它比前馈CNN和专用平滑器和轮廓/拐角检测器慢，这些平滑器和轮廓/拐角检测器被设计用于高SNR图像上的速度。鸣谢。这项工作由国家科学基金会根据合作协议PHY-2019786（NSF AI研究所，http://iaifi.org）支持。我们BM3DBM3DASJORBBM3D HarrisASJORB哈里斯角度误差重复性F评分高斯核κ（∆x）= exp∆x2γ2宽度6880引用[1] 项目页面：连接区域：在低信噪比下提取边界结构。http://vision.seas.harvard.edu/foj/网站。7[2] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown.智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议论文集，第1692-1700页，2018年。五、七[3] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测和分层图像分割。IEEETransactionsonPatternAnalysisandMachineIntelligence，33（5）：898-916，2010. 8[4] Ivan E Auger和Charles E Lawrence。分段邻域的最优识别数学生物学通报，51（1）：39-54，1989. 5[5] Leif Bergerhoff，Joachim Weickert，and Yehuda Dar. 分段常数信号近似算法。2019年第27届欧洲信号处理会议（EUSIPCO），第1-5页IEEE，2019。5[6] 约翰·坎尼。边缘检测的计算方法。IEEE Transactionson Pattern Analysis and Machine Intelligence，（6）：679-698，1986. 2[7] 米格尔·卡索拉和弗朗西斯科·埃斯科拉诺。两种贝叶斯交 叉 口 分 类 方 法 。 IEEE Transactions on ImageProcessing，12（3）：317-327，2003. 二、五[8] Tony F Chan和Luminita A Vese。没有边的活动轮廓IEEE Transactions on Image Processing，10（2）：266-277，2001。三、六[9] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing，16（8）：2080-2095，2007. 8[10] Rachid Deriche和Thierry Blaszka。使用基于模型的有效方法恢复和表征图像特征。IEEE计算机视觉和模式识别，第530IEEE，1993年。二、五[11] Eduardo SL Gastal和Manuel M Oliveira。用于边缘感知图 像 和 视 频 处 理 的 域 变 换 。 ACM Transactions onGraphics（TOG），2011年。3[12] Christopher G Harris和Mike Stephens。一种组合的角点和边缘检测器。Alvey视觉会议，第15卷，第10-5244页Citeseer，1988年。二、八[13] 宣和、朱伟、戴学诚。通过具有L1和L2曲率的弹性能量分割：性能比较。数值数学：理论，方法和应用，12，06 2019。二、八[14] Erlend Hodneland，Xue-Cheng Tai，and Hans-HermannGerdes. 基 于 四 色 定 理 和 水 平 集 的 流 域 分 割 方 法 。International Journal of Computer Vision，82（3）：264-283，2009. 3[15] 黄昆、王亦凡、周梓涵、丁天娇、高生华和易马。学习解析人造环境图像中的在IEEE计算机视觉和模式识别会议论文集，第626-635页3[16] 李A.艾弗森和史蒂芬W. Zucker用于图像曲线的逻辑/线性 IEEE Transactions on Pattern Analysis and MachineIntelligence，17（10）：982-996，1995。2[17] Brad Jackson 、 Jeffrey D Scargle 、 David Barnes 、Sundararara-jan Arabhi、Alina Alt、Peter Gioumousis、Elyus Gwin、Paungkaew Sangtrakulcharoen、Linda Tan和Tun Tao Tsai。区间上数据的最优划分算法。IEEESignal Processing Letters，12（2）：105-108，2005。五、六[18] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[19] Chunming Li ， Chenyang Xu ， Changfeng Gui ， andMartin D Fox. 无需重新初始化的水平集演化：一种新的变分公式。在2005年IEEE计算机学会计算机视觉和模式识别会议（CVPRIEEE，2005年。3[20] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。国际计算机视觉杂志，60（2）：91-110，2004. 2[21] David R Martin，Charless C Fowlkes，and Jitendra Ma-lik.学习使用局部亮度、颜色和纹理线索检测自然图像边 界 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，26（5）：530-549，2004。2[22] C. Nieuwenhuis、E.托珀湖Gorelick，O. Veksler和Y.博伊科夫有效平方曲率。在Proc. CVPR，2014。2[23] Nati Ofir，Meirav Galun，Sharon Alpert，Achi Brandt，Boaz Nadler，and Ronen Basri.含噪图像中微弱边缘的检测 IEEE Transactions on Pattern Analysis and MachineIntelligence，42（4）：894-908，2019。二、八[24] Nati Ofir，Meirav Galun，Boaz Nadler，and Ronen Basri.低信噪比下曲线边缘的快速检测在IEEE计算机视觉和模式识别会议论文集，第213-221页二、八[25] Syl va inParisandFr e´ doDurand. 使用信号处理方法的双边滤波器的快速近似国际计算机视觉杂志，81（1）：24-52，2009。3[26] 卡尔·罗尔。通过参数化模型拟合识别角点。国际计算机视觉杂志，9（3）：213-230，1992。2[27] Ethan Rublee ， Vincent Rabaud ， Kurt Konolige ， andGary Bradski. ORB：SIFT或SURF的有效替代方案。2011年国际计算机视觉会议，第2564-2571页。IEEE，2011年。8[28] Thomas Schoenemann，Fredrik Kahl，Simon Masnou，and Daniel Cremers.基于区域的图像分割和修复的线性框架，涉及曲率惩罚。International Journal of ComputerVision，99（1）：532[29] 泽维尔·索里亚埃德加·里巴和安吉尔·萨帕密集的极限盗梦网络：一种用于边缘检测的鲁棒CNN模型。在IEEE计算机视觉应用冬季会议（WACV3[30] Xue-Cheng Tai ， Jooyoung Hahn ， and Ginmo JasonChung.欧拉弹性模型的增广快速算法6881拉 格 朗 日 方 法 SIAM Journal on Imaging Sciences ， 4（1）：313-344，2011. 2[31] Luminita A Vese和Tony F Chan。 多阶段水平使用Mumford和Shah模型的图像分割的集合框架。国际计算机视觉杂志，50（3）：271-293，2002。三、六[32] Gui-Song Xia，Julie Delon，and Yann Gousseau.自然图像中精确的结检测和表征国际计算机视觉杂志，106（1）：31-56，2014。2[33] 谢赛宁、涂卓文。整体嵌套边缘检测。在Proc. ICCV，2015中。三、八[34] 李旭、策武路、易旭、加牙贾。通过L0梯度最小化的图像平滑。2011年SIGGRAPH亚洲会议论文集，第1-12页，2011年。三、七[35] Nan Xue，Song Bai，Fudong Wang，Gui-Song Xia，Tianfu Wu，and Liangpei Zhang.学习吸引场表示鲁棒线段检测。在IEEE/CVF计算机视觉和模式识别会议论文集，第1595-1603页，2019年。3[36] Nan Xue，Gui-Song Xia，Xiang Bai，Liangpei Zhang，and Weiming Shen.室内图像的各向异性尺度结检测与匹配。IEEE Transactions on Image Processing，27（1）：