分形维不变滤波CNN实现的图像模型及应用

1分形维不变滤波及其CNN实现徐宏腾1，2，严俊驰3，3，4，林伟耀5，查宏远2，1，2，2，3，4，3，5，上海交通大学电子工程{hxu42，npersson3}@ gatech.edu，yanjc@cn.ibm.com，wylin@sjtu.edu.cn，zha@cc.gatech.edu摘要分形分析在计算机视觉中有着广泛的应用，特别是在纹理图像处理和纹理分析中。 基于分形的图像模型的关键概念分形维数对图像的双Lipschitz变换具有不变性，能够鲁棒地表征图像的内在结构信息然而，分形维数的不变性一般在滤波后不成立，限制了基于分形（一）(b) 迭代FDIF(c) 基于CNN的实现图像模型本文提出了一种新的分形维数不变滤波（FDIF）方法，将分形维数的不变性推广到滤波运算中。利用局部自相似性的概念，我们首先建立了图像的局部分形模型通过在各向异性滤波器组后增加一个非线性同时，我们表明FDIF方法可以通过基于CNN的架构近似地重新实例化，其中卷积层提取图像的各向异性结构，非线性层通过保留图像的局部分形维数来增强结构。提出的滤波方法为基于CNN的图像模型提供了一种新的几何解释。针对一个具有挑战性的图像处理任务-从纹理图像中检测复杂曲线，所提出的方法获得了优于现有方法的结果。1. 介绍许多复杂的自然场景可以建模为分形[21，29]。在计算机视觉领域，分形分析被证明是一种有效的纹理建模工具，并取得了许多研究成果。将纹理视为分形，[39]中的工作学习局部分形维数和长度作为纹理分类的特征。类似地，[45]中的工作学习了分形维数的谱*通讯作者局部分形维数输入各向异性滤波后 非线性处理后(d) 基于FDIF的曲线检测器图1.给定真实世界的噪声图像（即，对于（a）中具有复杂曲线的材料图像），我们应用（b）中提出的迭代FDIF方法来检测曲线。FDIF可以在（c）中经由CNN有效地且近似地重新实例化。基于FDIF的曲线检测器的图示如（d）所示。通过盒计数方法[10]将图像作为纹理很容易发现，所有这些方法都将分形维数作为基于分形的图像模型的关键概念，因为分形维数对双Lipschitz变换是不变性的。该属性意味着分形尺寸对于几何变形是鲁棒的（例如，脊和非脊变换）。因此，分形维数反映了图像的内在结构信息，可以作为图像的一种表征特征。然而，滤波后的图像不能保持分形维数，这可能导致结构信息的丢失。一个典型的例子是数字图像的内插，其结果可以被看作是地面实况的低通滤波。低通滤波抑制了图像的高分辨率细节，从而导致结构信息的丢失文[44]的工作表明，插值图像的分形维数是3491输入各向异性过滤非线性后处理S形或S形保持输出输入卷积层向异性滤波器组Max（.）非线性层是说滤波繁殖N层平方X21/X乙状结肠或阈值化是说滤波输出3492小于真实的高维图像。然而，深度卷积神经网络（CNN）的最新发展表明，堆叠非线性滤波模型非常适合学习图像的特征，它具有鲁棒地提取图像的结构和语义信息的能力。已经提出了许多基于CNN的方法来处理各种任务，例如：图像分类[16]、纹理分析[4]和轮廓检测[49]。换句话说，为了提取图像的代表性特征，滤波操作在CNN中是有用的，而对基于分形的方法是有害的。考虑到这两种关于滤波使用的看似矛盾的现象，出现了以下两个问题：1）我们能否提出一种保持分形维数不变性的滤波方法？2)如果过滤方法可用，那么该方法与CNN之间是否有任何联系？本文对这两个问题作了肯定的回答我们提出了一种分形维不变滤波（FDIF）方法，并使用基于CNN的架构来重新实例化它。这项工作为我们提供了一个基于图像局部分形分析的CNN几何解释。所提出的工作获得了令人鼓舞的曲线检测结果的纹理类图像，这是优于其他竞争对手。 如图图1（b）给出了图像的局部分形模型，并在迭代FDIF框架下提出了一种曲线检测器。在每一次迭代中，我们把图像的块作为局部分形，并相应地计算它们的分形维数。通过对梯度场的分析，为每一幅图像设计了各向异性滤波器，受[23]中迭代过滤策略的启发，我们重复应用上述步骤来获得曲线的特征，并通过无监督（即，阈值化）或监督（即，Logistic回归）方法。特别地，我们证明了这样的流水线可以通过基于CNN的架构来实现，如图所示。第1段（c）分段。该CNN可以从几何角度进行解释-卷积层对应于各向异性滤波器组，而非线性层近似保留局部分形尺寸。在有监督的情况下使用反向传播算法，在无监督的情况下使用预定义的参数（滤波器），我们得到了令人鼓舞的曲线检测结果。如图1（d）所示，我们的基于FDIF的曲线检测器的原理是通过调整分形的测量来保持局部分形维数图像本身）。通常，通过各向异性滤波获得的测量是平滑的。为了保持局部分形维数，我们应用非线性处理，得到一种新的测量，其中曲线的尖锐性被增强，而其余区域的尖锐性被抑制。与仅通过各向异性滤波得到的结果相比，在局部分形维数下，曲线的特征得到了很大的增强保存。因此，FDIF方法为我们提供了更好的曲线表示。我 们 测 试 我 们 的 方 法 上 收 集 的 原 子 力 显 微 镜（AFM）图像集，检测复杂的曲线的材料从AFM图像。实验结果表明，该方法在大多数情况下，特别是在噪声和纹理类的情况下，取得了优于现有的曲线检测器的结果是有前途的。总的来说，我们的工作贡献主要有三个方面：首先，据我们所知，我们的工作是第一次尝试提出一种分形维数不变的滤波方法，并与CNN进行比较。这也可能是第一次从（分形）几何的角度对CNN进行解释。其次，我们提出了一个强大的曲线检测方法的噪声和混乱的情况。我们的方法将传统手工制作的基于滤波器的曲线检测器与CNN架构连接起来。它在基于滤波器的曲线检测器和基于学习，特别是基于CNN的曲线检测器之间建立了一座桥梁这种连接还允许我们实例化一个新的预定义CNN，它可以在无监督的环境中工作，与大多数以贪婪地获取标记数据而闻名的同行不同。第三，我们展示了我们的曲线检测器在计算材料科学中的有意义的跨学科应用。收集材料信息学图像数据集，并将与本文一起发布，以供未来的公共研究。2. 相关工作分形分析：基于分形的图像模型已被广泛用于解决计算机视觉的许多问题，包括纹理分析[31]，生物医学图像处理[40]和图像质量评估[46]。文献[39]中的局部分形分析方法和文献[52，45]中的分形维数谱利用分形维数的双Lipschitz不变性进行纹理分类，其特征对纹理的形变和尺度变化具有很强的鲁棒性。由于图像的局部自相似性通常在尺度内和尺度间都是普遍存在的[15，12]，因此自然图像也可以局部地建模为分形[21，29]。最近，自然图像的分形模型被应用于图像超分辨率[44，50]，其中局部分形分析用于自适应地增强图像梯度。在[40]中，提出了一种基于分形的相异性测量来分析MRI图像。然而，由于分形维数在滤波后不再具有不变性，分形分析很难与其它图像处理方法相结合。卷积神经网络：CNN已被广泛用于从图像中提取视觉特征，有许多成功的应用。这些年来，这个有用的工具已经被引入到许多中低层的视觉问题中，例如，图像重建[41，5]，超分辨率[8]，动态纹理合成[47]，以及3493SD√轮廓检测[42，49]。目前，不同CNN模块的物理含义尚未完全理解。例如，CNN的非线性层，即，整流器线性单元（ReLU）及其输出通常是神秘的。为了深入理解CNN，已经进行了许多尝试。许多现有的特征提取方法已被证明等同于深度CNN，如[14]中的可变形在 [20 ， 4 ， 25] 中 提 出 了 一 种 称 为 散 射 卷 积 网 络（SCN）的预训练深度学习模型该模型由层次小波变换和小波不变算子组成，从信号处理的角度解释了深度学习然而，这些方法都没有从分形分析的角度讨论CNN的几何解释。曲线检测：曲线检测是基于分形的图像处理方法在许多实际任务中的潜在应用，例如电力线检测[19]，地质测量[26]和刚体检测[28]等。最近，曲线检测技术被引入到更多的跨学科领域，例如，材料，生物学和纳米技术[48，36，17]。令我们惊讶的是，尽管在下面的部分中，我们展示了基于分形的图像，在每一个模拟上的无限变换类似物的并集是一个分形，表示为F。分形F是一个分形的分析主要是基于Hausdorff测度[21]，它产生了概念分形维数分形维数涉及多尺度测量的幂律，即，数量N=1。这里D称为分形维数，它大于F的拓扑维数。在我们的工作中，图像通过像素的函数表示，表示为f（X）。这里X<$R2是像素坐标每个像素的坐标表示为x∈X。我们提出了一个基于分形的图像模型，将X表示为局部分形的并集，图像f（X）表示为（X，μ），其中μ是分形集X上支持的度量。根据幂律，对于上面提到的测量，对于每个像素x，我们有μ（Br（x））<$（2r）D（x），其中B r（x）是以x为中心的半径为r的球，D（x）是在测量μ下x处的局部分形维数。在这里，我们直接使用像素f（X）的强度作为度量μ，因此x处的局部分形维数为：logµ（Br（x））模型非常适合于曲线检测问题很少有现有的方法应用分形分析来解决D（x）=limr→0对数2r、（1）问题.利用曲线的方向性，早期的曲线检测器基于各种变换，∫其中，μ（Br（x））=22y∈Br（x）Grf（y）dy，Gr=包括霍夫变换[9]、曲波[35]、波原子[43]。除了方向之外，通过应用多尺度傅立叶变换[6]、Frangi滤波[11]和尺度空间距离变换[34]来考虑曲线的多尺度特性。专注于曲线和线段检测，[28]中提出的无参数拟合模型达到了最先进的水平。这些方法主要是构造一个各向同性滤波器组，并检测出对某些方向的局部强响应。与这些手工设计的方法相比，基于学习的方法由于大量的标注而变得流行起来exp（-x/r）是定义为[45，44]的高斯核，并且2πr“∗”在实践中，我们估计了（1）中的局部分形维数用线性回归的方法。具体地，我们计算样本对{logr，logμ（B r（x））}r={1，2，. }，并根据（1）学习线性模型log μ（Br（x））=D（x）log 2r+L（x），对于 所 有 x∈X 。 这 里 exp （ L （ x ） ） 是 单 位 球（2r=1）中的测量值μ，在[39]中被解释为D维分形长度。算法1给出了分形的方案维数估计图像变得可用[1，51]。 专注于边缘去-检测，这是一个与曲线检测相关的问题，提出了结构化的基于森林的检测器[7]和基于CNN的检测器[33，2，42，32]。这些方法在大数据集上学习参数，因此具有强大的泛化能力来处理具有挑战性的情况。然而，大多数现有的方法旨在从相对平滑的背景中检测但很少有人能从纹理图像中检测出复杂的曲线。3. 分形维不变滤波3.1. 基于分形的图像模型一个典型的分形是通过将一个几何体G变换成N个具有标度因子s的类似物，然后应用算法1分形维数估计1：输入：f（X），标度数R。第二章： 输出：分形维数D（X）。3：对于r∈ {1，...，R}，执行f（X）的卷积用Gr得到{μ（Br（x））}x∈X。4：最小D，L ，r |log µ（B r（x））− D log 2r −L|2，x ∈ X.第五章： D（X）={D（x）}x∈X.局部分形维数包含了图像的重要结构信息分形维数接近2的平滑斑块，斑块包含分形维数接近1的曲线，以及分形维数在1和2之间的纹理[10，44]。用于检测结构，例如，图像中的曲线，应保留分形维数一3494D（x）F分形维数的基本性质是其对双Lipschitz变换的不变性，如定理1所示：定理1.双Lipschitz不变性对于分形F，图2. 在θ = { 0，π，.， 29π}。的30 30分形维数D及其双Lipschitz变换g（F）仍是一个分形，其分形维数Dg=D.回想（1），我们可以发现分形维数不是唯一的，这取决于测量μ的选择。滤波器的平均值（最后一个）接近脉冲函数。在极坐标系中引入一系列方向滤波器，表示为Fθ，其元素Fθ（r，φ）满足该定理成立，因为双Lipschitz变换(i.e.、图像的几何变换和非刚性变形）不改变分形的度量。 然而，在滤波或卷积之后，Fθ（ r，φ）=.1，φ∈{θ，θ+π}，r∈[0，|B|0，否则。√|B|]的，（三）分形维数不再成立。例如，如果我们改变（1）中的卷积核Gr，分形X的度量μ和相关的分形维数将相应地改变因此，我们无法找到一个滤波器，保证滤波结果的分形维数与原始图像的分形维数完全相同面对滤波不可避免地会改变分形维数这一现实，我们追求分形维数保持的哲学，目的是抑制原始分形维数和滤波后的分形维数之间的预期变化。用F表示滤波器，用μF表示滤波结果的测量值，用DF表示滤波结果的分形维数。我们假设滤波器F是服从概率分布的随机变量。根据（1），我们有显然，在x处的滤波结果f F（x）= F θ<$f（B（x））对于θ = arctan（u h/u v）具有最强的响应。 方向滤波器满足以下命题：第二个提案。如果像素的方向分布是 均 匀 的 ， 则（3）中的滤波器的期望值是脉冲函数δ（x），其中δ（0）= 1。|B|图2显示了几个典型的方向滤波器及其最右边的均值，进一步验证了该命题。（2）我们可以发现，只要证明了方向的维数在图像的方向场中是均匀的，这一命题表明所提出的滤波器{Fθ}在滤波后趋于保持分形维数的期望值D（x）−E（DF（x））= lim1日志µ（Br（x））非线性后处理：各向异性滤波防止了预期的分形维数从改变球，r→0log 2rE（µD（Br（x）=lim1个日志记录∫y∈Br（x）Gr（y）dy 、（二）盟友 此外，我们提出了一个变换T到预-服务于滤波结果fF（X）的局部分形维数。r→0log 2ry∈Br（x）Gr<$E（F）<$f（y）dy其中E（·）计算随机变量的期望。显然，为了最小化D（x）和DF（x）之间的期望变化，滤波器的期望应该尽可能接近脉冲函数δ（x）。3.2. 迭代FDIF框架受上述分析的启发，我们提出了下面的迭代FDIF方法，如图1所示。第1段（b）分段。各向异性过滤：为了抑制分形维数变化，滤波器的期望值应尽可能接近特别地，尽管具有测量值μ F（B r（x））的局部分形维数DF（x）不等于具有测量值μ（B r（x））的原始分形维数D（x），但我们可以将T变换为μ F（B r（x）），使得具有新测量值T（μ F（B r（x）的分形维数，记为DT <$F（x），等于D（x）。根据（1）中分维数的定义和算法1给出的关系log μ（Br（x））=Dlog2r+L，很容易发现所提出的变换应为T=（·）α（x），其中α（x）=D（x）.在这种情况下，我们D（x）脉冲函数各向异性过滤器一直是一个自然的选择，为此目的。采用方向滤波[30]logT（µF（Br（x）=F(x) （DF（x）log 2r+LF（x））LF（x）例如：对于每个像素x，计算平滑的B（x）的邻域梯度，当G=[vec（G），=D（x）log2r+.DF（x）f（B（x），vec（G <$v（G<$f（B（x）]∈R|B|×2。这里G是高斯滤波器，|B|是邻 居 的基数换句话说，局部分形维数DTF （x）=D3495Hood，Vec（·）表示向量化，Vec（·）是沿水平-垂直方向偏微分算子。的最大特征值对应的特征向量D（x）。 然后我们将变换直接应用于文件-对结果fF（X）进行排序，使得局部分形维数在新的测量下保持不变对于每个x，我们有G<$G表示为u=[uh，uv]<$∈R2，表示双-fF（B（x））<$αD（x）X的反应信息。这样一个方向场的图像fT<$F（x）=<$fα（B（x））<$fF（x），α=D（x）。（四）FF3496αDF∞(a) （b）路径运算符(c)#1迭代（d）#3迭代图3.迭代自适应滤波过程与传统路径算子的比较[22]。这里，项fF（B（x））保持滤波的能量fF（B（x））该过程可以重写为fF（x）=Fθ<$f（B（x））=max{FΘ<$f（B（x））}，（5）θ∈Θ其中FΘ={F θ1，.， F θN}是N个各向异性滤波器的组。maxθ∈θ{FΘ<$f（B（x））}仅保留具有最大响应的滤波结果非线性层：所提出的后处理也可以通过以下非线性层来近似：fF（B（x）） {fF（x），0}α结果，这仅仅改变了分形长度。迭代框架：结合各向异性滤波和后处理，我们得到了建议的FDIFfTF（x）max{fF（B（x），0}α（M<$fF（B（x）max{fF（x），0}α（六）法如图1（b）所示，FDIF可以迭代地应用，以便提取隐藏在图像中的结构。以曲线检测为例。图3示出了每次迭代中AFM图像的放大输出，并将迭代滤波过程与传统路径算子[22]进行了比较。我们可以发现，曲线对应的像素越来越有鉴别力。当曲线的标签可用时，我们在逻辑回归的帮助下将曲线检测器学习为二元分类器将最终滤波结果采样到具有重叠的补丁中，我们学习sigmoid函数的参数。相反，如果标签不可用，我们只需应用阈值方法[24]将过滤结果转换为二进制图像。相反，传统的形态滤波方法，例如，路径算子[37，22]也旨在检测曲线和管，但它对图像中的噪声敏感。这两种检测方法显示在图中的最后一层。第1段（b）分段。基于FDIF的迭代曲线检测器是物理可解释的。斑块的分形维数反映了斑块的清晰度：曲线的斑块比光滑区域的斑块具有更高的尖锐度，其分形维数趋于1。我们使用的滤波器实现了图像的各向异性平滑过程，从而使分形维数的测量也得到平滑。本质上，在更平滑的测量下保留分形维数，如（4）所做的，实际上增强了曲线的锐度并抑制了其余区域的锐度，这为我们提供了更好的曲线表示。=.Mmax{fF（B（x）），0}α这里，归一化项通过卷积实现，其中M是均值滤波器，其对每个x的邻域B（x）中的强度求和。与神经科学不同的是，我们基于分形分析解释了整流线性单元（ReLU，max{·，0}）。ReLU确保过滤结果是有效的测量结果（作为测量结果）。盒计数法中使用的测量[10，45]）：定义在集合X上的有效测量μ满足非可数g at i v iμ（X）≥0，可数可加性μ（n∞k= 1Xk）=k=1μ（Xk），且空集合μ（Xk）=0μ eously，其中X，Xk<$X。我们的过滤结果自然满足null空集，而ReLU运算符则保证T的非负性和可数可加性。注意，变换运算的参数T（·）=（·）α（x）可以近似地固定为常数α。这种近似对于曲线检测问题是合理的。一方面，对图像的坐标进行建模，X是一组分形，其分形维数D（x）必须在区间[2，2+<$1]内，其中2是二维几何的拓扑维数，0≤<$11，因为由二维几何经二维变换生成的分形维数不可能达到3.<另一方面，在滤波之后，曲线也被建模为一组压裂-压裂曲线。分形维数DF（x）在区间[1，1+<$2）内的曲线，其中1是曲线（一维几何）的拓扑维数，0≤<$21.<基于分形模型，我们有α（x）=D（x）∈（2，2+1）.当α1和α2很小时，DF（x）1+1/24. FraCNN：通过CNN实现FDIF在本节中，我们将展示FDIF可以通过CNN重新实例化，如图所示。第1段（c）分段。特别地，卷积层可以被解释为各向异性滤波器组，而非线性层近似地执行后处理功能。4.1. CNN的架构回旋层：各向异性滤波可以通过滤波器组来实现。在每个像素x处，3497我们可以估计所有x的D_2。4.2. 基于FraCNN的曲线检测迭代FDIF框架可以通过堆叠上面的层来实现因此，所提出的CNN的架构在图1A和1B中示出。第1段（c）分段。为了方便起见，我们称之为FraCNN。与迭代FDIF框架类似，我们也可以在CNN的末尾添加一个sigmoid层，并通过传统的反向传播算法训练模型，或者为最终输出应用一个阈值层与许多CNN模型相比，3498算法2基于FraCNN的曲线检测器1：输入：图像f（X），滤波器组FΘ，层数N。2：输出：对应于曲线的二进制映射b（X）3：对于n=1，...，N，通过（5，6）从f（X）得到f T<$F（X），并设置f（X）= f T<$F（X）。4：无监督：b（X）= binary（f（X））。5：监督：b（X）=sigmoid（βP）。β是学习参数，P是f（X）的补丁矩阵。由于对标记训练的兴趣，我们相信我们的方法对未标记数据的适应性可能是由于我们从基于分形的几何学角度实例化我们定制的CNN的事实。针对曲线检测的任务，我们提出了一种检测算法，如算法2所示。我们提出进一步的比较和分析如下。FraCNN与FIDF：提出的CNN模型可以被视为FIDF的快速实现。首先，adap-通过各向异性滤波器组近似地实现主动各向异性滤波。滤波器θ的方向不再根据局部梯度矩阵的特征向量计算，而是从区间[0，π]均匀采样（如图2所示）。这种近似虽然降低了方向描述的准确性，但避免了对每个像素进行特征分解，从而显著加快了滤波过程。其次，将分形维数与原始分形维数的比值替换为一个固定值，从而不需要使用算法1来估计分形维数。因此，计算COM-算法复杂度为O（|X||B|3个以上|X|R3），其中第一项对应于自适应滤波，第二项对应于自适应滤波。项对应于局部分形维数估计（并且R是算法1中的尺度数 ） ， 而 所 提 出 的 CNN 的 复 杂 度 至 多 为 O（|X||B|L），其中L是滤波器组中的滤波器的数量。FraCNN与散射卷积网络：对于我们的CNN模型，最相 关 的 工 作 可 能 是 [4 ， 25] 中 的 散 射 卷 积 网 络（SCN）。我们的基于分形的CNN和SCN都可以应用预定义的过滤器，并且适用于标签不可用时的无监督学习。然而，我们的模型和SCN之间有几个重要的区别。首先，SCN旨在提取用于图像识别和分类的判别特征，而我们基于分形的CNN模型专注于低级和中级视觉问题，即，曲线检测其次，SCN的非线性层应用多个非线性算子来增强特征的不变性，度量变换例如，绝对运算符|·|用于实现平移不变性。在我们的工作中，非线性层的目的是保持局部分形维数，使图像的局部结构信息将得到增强。特征的几何不变性是不是我们的目标。 最后，与小波变换不同，因此，我们的基于分形的CNN不对滤波结果进行下采样（即，池化操作）。5. 实验5.1. AFM图像基准测试和协议我们将我们的分形维不变滤波方法应用于一个具有挑战性的现实任务：检测材料AFM图像中的结构曲线 。演 示 代 码 和 部 分 数 据 在 www.example.com 中https://sites.google。htxu313/resources/software.本研究中的图像是40个纳米纤维的原子力显微镜每幅图像都是在10µm的tap- ping模式下拍摄的，尺寸为512×512。材料的纤维结构对其性能有很大的影响电子性质，这是通过复杂的显着曲线在图像中表示，如图1（a）所示。从AFM图像中检测曲线是具有挑战性的。首先，AFM图像噪声大，对比度低，这对曲线检测有不利影响其次，这些场景中的曲线是非常复杂的密集曲线（即，具有不同形状和方向的纳米纤维）随机地分布在图像中并且彼此重叠。曲线的地面实况通过称为Fiber-App的半自动工具手动提取[38]。我们在无监督和有监督的情况下使用原始的基于FDIF的检测器测试了我们基于FraCNN的曲线检测器。具体来说，我们认为这两个检测器与阈值为基础的二进制处理（BP）和对数- tic回归（LR）作为最后一层，分别。FDIF和FraCNN中使用的滤波器大小为9×9，FraCNN中使用的各向异性滤波器的误码率为30，如图所示。2. 为了研究模型迭代的影响在学习结果上的迭代次数（深度），我们将FDIF的迭代次数设置为3（相对较浅）或6（相对较深）。因此，FraCNN的深度是6或12。在监督的情况下（仅注意最后一层），我们使用20个AFM图像作为训练集，其余20个AFM图像作为训练集。测试集 80，000块大小为9×9的斑块样本来自FDIF或FraCNN的输出图像到训练参数-乙状结肠层。将中心像素对应于曲线的训练块的一半标记为正样本，而其余块为负样本。为了进一步证明我们的方法的优越性，我们考虑以下竞争对手：[28]中的曲线和线段检测器（ELSD）;传统的基于Frangi滤波的曲线检测器[11]直接使用斑块作为特征的简单逻辑回归LR;经典的CNN所谓的LeNet[18];最先进的整体嵌套边缘检测器（HED）[42]。虽然HED最初被设计为检测边缘，但它也应该适合于检测曲线，因为曲线和边缘都满足3499表1.各种方法的性能比较(a) AFM图像 (b)手动标签(c)[11]第28话：我的世界(e)[42]第18话：我的世界，我的世界！图4.各种方法的视觉比较多尺度一致性的假设。因此，我们使用20个训练图像来微调预训练的HED模型，并相应地学习曲线检测器按照[42]中的说明，对CNN的输出进行后处理，实现检测曲线的收缩和二值化。逻辑回归由80，000个大小为9×9的补丁随机抽样训练，训练图像。 LeNet的训练样本也80，000个补丁的图像，唯一的区别是补丁的大小是28×28。在测试阶段，对测试图像的每个块进行分类，作为最终二值图的对应像素值与轮廓检测[1]类似，我们使用标准度量进行曲线检测，包括具有固定阈值的最佳F分数（ODS），具有每图 像 最 佳 阈 值 的 最 佳 F 分 数 （ OIS ） 和 平 均 精 度（AP）。5.2. 实验结果表1给出了各种方法的比较结果，图4和图5显示了一些典型的结果。像ELSD和Frangi滤波器这样的透射图像处理方法似乎不适合检测我们的情况下ELSD方法是针对自然图像中刚体的直线段和椭圆曲线的检测Frangi滤波器最初设计用于从医学图像中检测这两种方法都只能从相对平滑的背景中检测出稀疏的曲线。然而，在我们的情况下，纳米纤维的曲线非常密集和复杂，AFM图像通常是嘈杂的。结果表明，ELSD法不能检测出完整的曲线，得到的ODS、OIS和AP都很低，而Frangi滤波法对噪声和对比度变化的鲁棒性较差，只能得到混沌结果。基于学习的方法，包括LR，LeNet和HED，实现了更好的结果（即，更高的ODS、OIS和AP）。然而，他们的结果仍然很嘈杂.图4、LR包含许多非曲线像素和许多断开的曲线。LeNet得到了一些改进：长曲线被正确地检测，但是仍然存在许多非曲线像素。HED优于LR和LeNet。长曲线的检测具有更高的置信度，并且结果中出现的不正确孤立像素更少。表1显示了HED的优越性。FDIF和FraCNN都取得了令人鼓舞的成果。具体来说，我们的无监督方法FDIF+BP和FraCNN+BP明显优于其他非学习方法（ELSD和Frangi），表1中的性能更好，图2中的视觉结果更好。4.此外，FDIF+BP和FraCNN+BP也优于一些基于学习的方法。我们可以发现，他们得到更高的ODS，OIS和AP比LR和LeNet。实验结果表明，基于分形的图像模型适用于曲线检测问题，并且我们的方法可以提取曲线的代表性特征。在监督的情况下，我们的FDIF+LR和FraCNN+LR方法在ODS和OIS中优于所有竞争对手，而AP比HED略差。此外，从图2中的放大比较结果来看，5、我们发现HED的结果仍然很粗糙，而我们的方法可以得到细的曲线。结果表明，所提出的方法至少是可比的最先进的曲线检测问题。注意，我们的方法在计算复杂度方面优于HED。具体来说，在每一层中，我们的FraCNN只应用L2D卷积，大小|B|计算复杂度为O（|X||B|L），而HED将L 3D卷积应用于具有C通道的图像张量，其计算复杂度为O（|X||B|LC）。这里的一个重要观察是，尽管FraCNN可以被视为FDIF的实现，但在表1中，它有时优于FDIF。这种现象的一个可能解释是FDIF对图像中的噪声更敏感。具体而言，外国直接投资在选择方向上的灵活性可能是一把“双刃剑”。图像中的强噪声会导致滤波器方法ODSOISAP[第28话]0.058 0.058 0.030弗拉基[11]0.629 0.659 0.578非学习FDIF（×3）+BPFDIF（×6）+BP0.7170.7150.7350.7330.6990.695FraCNN（×6）+BP 0.691 0.719 0.708FraCNN（×12）+BP0.689 0.715 0.702LR0.639 0.706 0.707LeNet [18]0.677 0.718 0.643HED [42]0.722 0.739 0.784学习FDIF（×3）+LR0.728 0.770 0.700FDIF（×6）+LR0.724 0.767 0.697FraCNN（×6）+LR 0.743 0.782 0.730FraCNN（×12）+LR0.739 0.774 0.7183500(a) 手动标签（b）HED图5.各种方法的放大比较。红色曲线是手动标记的结果和各种方法的学习结果绿色区域标记未标记的曲线。(a)(b)（c）第（1）款图6.Brodatz纹理图像和过滤结果。FDIF（×3）+LR的数值结果为：OIS = 0. 534; ODS = 0。530; AP = 0。803另一方面，HED（最佳竞争者）的结果是：OIS = 0。522; ODS = 0。518; AP = 0。七九一结果。然而，FraCNN使用预定义的各向异性滤波器组。有限的方向选择可能有助于抑制噪声的影响。此外，实验结果表明，随着迭代次数和深度的增加，我们的方法的性能略有下降从数值分析的角度来看，迭代次数过多或结构太深都可能导致像素值下溢问题。在无监督的情况下，我们不是逐个微调阈值，而是将阈值统一设置为0。1公平比较请注意，阈值可能对最终结果有直接影响：在曲线上可能出现一些下溢点，因此阈值操作可能将完整的曲线分成几段短段。在有监督的情况下，补丁中的下溢点也会损害曲线的表示，这对训练sigmoid层有负面影响。此外，我们从公共Brodatz纹理数据集[3]中选择一些包含曲线的纹理图像，手动标记它们，并相应地测试我们的方法一些典型的可视化结果和数值结果如图所示6，进一步验证了该方法的性能。5.3. 对缺失标签与现有的基于学习的检测器相比，该方法的一个重要优点是能够检测未标记曲线。手动标记曲线的地面实况。对于标记纹理状复杂图像样本，人类可能在标记阶段错过一些细微或短的曲线，如图1B所示。第五条（a）款。因此，基于学习的方法（例如，HED）倾向于忽略许多现有的曲线或将它们合并在一起，因为在训练阶段，它们已经被“教导”较少关注这些未标记的曲线-参见(a) 自然图像（b）#2迭代（c）#3迭代图7.绘画风格的肖像Benoit B。Mandelbrot，《自然的分形几何》的作者图5（b）.相反，我们的方法（例如，FDIF+BP）对未标记曲线更稳健-见图。第5（c）段。我们认为这部分归因于其内在的无监督学习性质：曲线表示的目的是保持局部分形维数，而不是接近人工标记。只要各向异性滤波后面片的响应足够大，它将被保留以表示曲线。从这个角度来看，我们的方法可以被用作一个强大的特征提取方法，它有可能自动标注显着曲线5.4. 另一种可能的应用除曲线检测外，本文提出的分形维不变滤波方法还可用于从自然图像生成绘画风格图像。考虑到大多数绘画的性质，绘画中的对象是通过一系列弯曲的笔触绘制的，我们可以将绘画视为曲线的联合因此，我们可以将迭代FDIF方法应用于自然图像，增强其笔划并抑制其纹理。图7给出了一个典型的例子。与[13]中的神经算法类似，我们的FDIF方法有可能通过设计或学习不同的各向异性滤波器来生成不同的艺术风格。6. 结论与展望将图像看作是局部分形的集合，提出了一种保持分形维数的各向异性滤波模型该模型也从CNN解释中重新实现。这项工作是首次尝试将基于分形的图像模型与神经网络相结合。该方法的一个显著特点是其特征提取部分不依赖于人工标注数据，具有无监督性。这一事实可能会引起社区的兴趣：在低级视觉问题中的手动标记是乏味的并且容易出错，这损害了监督学习方法的实际使用，而我们的方法可以在这些任务上获得 与 监 督 学 习 方 法 相 比 有 竞 争 力 的 性 能 （ 即 ，HED）。鸣 谢 ： 支 承 的 同 时在部 分 通 过 NSF IIS-1639792、NSF DMS-1317424、NSF DMS- 1620345、NSF 1258425、NSF 61471235、NSF FLAMELIGERT培训计划，IGERT-CIF 21，上海市科委3501国家自然科学基金会-浙江省信息化与工业化融合联合基金U1609220。引用[1] P. Arbelaez，M.迈尔角Fowlkes和J.马利克轮廓检测与分层图像分割。TPAMI，33（5）：898[2] G. Bertasius，J. Shi和L.托雷萨尼Deepedge：一个用于自顶向下轮廓检测的多尺度分叉深度网络。CVPR，2015。[3] P. 布洛达茨纹理：艺术家和设计师的摄影专辑。多佛酒馆，1966年。[4] J. Bruna和S.马拉特 不变散射卷积网络。TPAMI，35（8）：1872[5] H. C. 伯格角J. Schmidt和S.伤害。图像去噪：普通神经网络能与bm3d竞争吗？CVPR，2012。[6] A. Calway和R.威尔逊用多分辨率傅立叶变换提取图象中的曲线见ICASSP，1990年。[7] P. 多尔和C。L. 齐特尼克利用结构森林进行快速边缘检测TPAMI，37（8）：1558[8] C.东角，澳-地C. Loy，K.他，还有X。唐学习深度卷积网络实现图像超分辨率。在ECCV。2014年[9] R. O. Duda和P.E. 哈特使用hough变换检测图片中的直线和曲线Communications of the ACM，15（1）：11[10] K.猎鹰分形几何：数学基础和应用。John Wiley Sons，2004年。[11] A. F. Frangi，W. J. Niessen，K. L. Vincken和M. A.维尔盖弗多尺度血管增强滤波。医学图像计算和计算机辅助介入，第130-137页。一九九八年。[12] G. Freedman和R.肥塔尔图像和视频从本地自例升级。TOG，30（2）：12，2011.[13] L. Gatys，A. Ecker和M.贝丝艺术风格的神经算法。NatureCommunications，2015.[14] R.格尔希克F. Iandola，T. Darrell和J.马利克可变形零件模型是卷积神经网络。CVPR，2015。[15] D. Reinner，S. Bagon和M.伊拉尼从单一图像中获得超分辨率。ICCV，2009年。[16] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。arXiv预印本arXiv：1512.03385，2015。[17] S. 约登斯湖伊萨岛Usov和R.Mezzenga。液体界面处淀粉样纤维中 二 维 各 向 同 性 和 非 平 衡 共 存 的 非 平 衡 NatureCommunications，4：1917，2013。[18] Y.勒昆湖Bottou，Y. Bengio和P.哈夫纳基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278[19] Q. Ma，D. S. Goshi，Y. C. Shih和M.- T.太阳基于毫米波雷达视频的电力线检测与预警算法。TIP，20（12）：3534[20] S. 马 拉 特 群 不 变 散 射 Communications on Pure and AppliedMathematics，65（10）：1331[21] B. B.曼德布罗特自然的分形几何，第173卷。麦克米伦，1983年。[22] O. Merveille，H.塔尔博特湖Najman和N.帕萨特通过对路径算子的方向响应进行排序的管状结构滤波。2014年，在ECCV[23] P.米兰法。现代图像过滤之旅：新的见解和方法，包括实践和理论。Signal Processing Magazine，30（1）：106[24] N.大津 灰度直方图阈值选择方法。Automatica