45140嵌入CNN的渐进最小路径方法0独立研究员 廖伟0liaowei.post@gmail.com0摘要0我们提出了Path-CNN，一种通过将卷积神经网络（CNNs）嵌入到渐进最小路径方法中来分割管状结构中心线的方法。最小路径方法广泛用于拓扑感知中心线分割，但通常这些方法依赖于弱的手动调整的图像特征。相反，CNNs使用从图像中自动学习到的强图像特征。但是CNNs通常不考虑结果的拓扑结构，并且通常需要大量的注释进行训练。我们将CNNs集成到最小路径方法中，使得两种技术互相受益：CNNs利用学习到的图像特征来改善最小路径的确定，而最小路径方法确保分割中心线的正确拓扑结构，提供强大的几何先验知识来提高CNNs的性能，并显著减少CNNs训练所需的注释数量。我们的方法对硬件要求较低，比许多最近的方法更低。与其他方法的定性和定量比较表明，Path-CNN在处理具有复杂形状和具有挑战性环境的管状结构时实现了更好的性能。01. 引言0对于管状结构的拓扑感知中心线分割在计算机视觉中起着至关重要的作用。其中一个最重要的应用领域是卫星图像中道路和河流的定量分析，用于测量、规划或导航。由于道路和河流的复杂形状以及其环境的高变异性，这些任务具有挑战性。在使用常见的物体分割方法进行此任务时，通常首先计算管状结构的二值掩码。之后，通常需要基于启发式方法的后处理，以确定中心线并处理由于噪声或图像杂波引起的管状结构上的小间隙。相比之下，基于Dijkstra算法[7]或0（a）输入图像（b）分割的中心线图1.复杂中心线几何形状导致的捷径。（a）输入是道路的卫星图像。（b）给定道路的起始点（品红框）和终点（青色圆圈）。仅使用手动调整的管状度量的先前方法的结果（黄线）和两种使用CNNs的方法（蓝线和绿线）包含捷径。我们的方法实现了正确的中心线（红线），尽管它比具有捷径的结果要长得多。0快速行进法[5]提供了一种更优雅的解决方案。与大多数最小路径方法一样，我们假设中心线的起始点xs和终点xe已知，并专注于路径本身的确定。通常，起始点和终点是使用特定应用方法自动获取的，例如[19]。最小路径方法允许将最佳路径作为成本函数的全局最优解，同时强制执行严格的线拓扑，即结果始终是中心线上点的坐标序列。此外，路径上的小间隙可以自动完成。然而，最小路径方法通常利用手动调整的图像特征，例如微分测量[8,13]，以区分管状结构和背景。这些特征计算效率高，但相对较弱，可能导致包含具有挑战性环境的图像出现捷径。使用卷积神经网络（CNNs），可以自动从图像中提取更强的图像特征。尽管这些特征本身不能确保中心线的拓扑结构，但它们可以用于更好地对像素进行分类，从而改善最小路径方法的结果。45150然而，CNN通常需要大量的标注训练数据，这可能很昂贵。如果只有有限的注释可用，通常无法完全训练基于CNN的方法，因此它们也会导致捷径。图1中显示了一些捷径的示例。在这项工作中，我们提出了一种新的方法，Path-CNN，将CNN嵌入到渐进最小路径方法[15]中，使这两种技术交替操作并相互受益：一方面，我们使用CNN自动学习图像特征，以便可以检测到更多种类的捷径，从而更好地确定最小路径。与大多数先前方法中为孤立像素学习特征不同，我们的CNN为路径上的矫正补丁学习特征。另一方面，渐进最小路径方法不仅确保结果的线拓扑，还提供强大的几何先验，这反过来可以显著减少CNN的训练样本数量。虽然我们只使用中心线作为训练数据，但我们的方法不仅确定中心线，还为管状结构生成二进制分割掩模。据我们所知，这是第一个使用这种几何先验来分割管状结构中心线的方法。与基于深度学习的大多数其他方法相比，我们的方法对于注释数量和硬件要求都较低。02. 相关工作0在本节中，我们回顾了最小路径方法的两个主要组成部分：图像特征和最小路径计算。我们还强调了我们的方法与其他最近用于道路提取的方法之间的区别。0图像特征最小路径方法通常使用管状度量作为图像特征。这些度量可以解释为像素属于管状结构的概率。广泛使用的特征，如基于Hessian的度量[8, 23]或基于流量的特征[13,27]，都是手动调整的。还有一些基于学习的特征。例如，[24]使用基于决策树的特征，[18]使用CNN。然而，这些特征是为孤立像素学习的。此外，这些特征是静态的，即在最小路径计算开始之前计算，并在此后保持不变。相比之下，我们使用基于路径的特征。虽然比基于像素的特征更强大，但这些特征只能在最小路径计算过程中动态计算。0最小路径计算在计算最小路径时，有不同的方法来克服捷径。通过域提升，将额外的维度引入参数空间以表示更多的特征，如线宽或方向[14,20]，但随着维度的增加，计算成本显著增加。在[3,4]中，快速0提出了具有各向异性特征的行进方法，但这些特征需要比常用的各向同性特征更复杂的数值方案。我们使用Dijkstra算法，其中各向异性和各向同性特征以相同的方式使用，无需进一步的数值方案。在[28]中，使用更复杂的图形结构来表示诸如曲率或扭曲之类的高阶约束，但这会导致计算时间长且特征类型有限。在[2,12]中，通过启发式方法插入额外的关键点，而渐进最小路径方法[4,15]则使用即时计算的基于路径的特征。但是，这些方法仍然依赖于基于外观或几何的手动调整特征。此外，这些方法中的基于路径的特征仍然是从基于像素的特征派生出来的。相比之下，我们使用直接使用路径学习的动态特征。此外，我们的方法可以以统一的方式处理更多种类的捷径。0道路提取方法对于使用卫星图像进行道路提取，存在最近的方法（例如[1，16，19]）。然而，这些方法与我们的方法之间存在重要区别。首先，现有方法通常需要大量的训练数据。例如，[19]使用了最大的公共道路图像数据集之一[1]，并使用U-Net获取特征进行进一步的细化。相比之下，通过将最小路径方法和CNN相结合，我们的方法所需的注释训练数据比U-Net和大多数其他架构要少得多，即使可用的注释非常稀疏，我们的方法也能表现得更好。其次，许多模型（例如[1]）对硬件要求相对较高，而我们的模型只需使用2GB的GPU内存即可高效地进行训练和部署。第三，以前的方法只适用于城市或郊区地区的道路提取，而我们的方法也用于其他环境和河流中的道路。此外，虽然我们的方法只使用中心线注释进行训练，但它还会对图像中的每个像素进行分类，对应于二进制分割。通过这种方式，还可以确定管状结构的其他属性，如宽度或面积。03. 最小路径框架0管状结构的分割可以自然地使用最小路径框架来进行，该框架依赖于离散情况下的Dijkstra算法或连续情况下的快速行进方法。我们的方法侧重于Dijkstra算法。让图像 I引导一个图 G = (V, E)，其中 V 和 E分别是顶点和边的集合。每个顶点对应于 I中的一个像素，相邻像素的顶点通过边相连。函数 w使用图像特征为边分配正权重。路径 γ 是一个顶点序列{v_0, v_1, ..., v_|γ|}。给定起始点 x_s 和终点45160算法1：统一的Dijkstra算法。0输入：起始点 x_s，终点 x_e，图像 I，图 G = (V,E)，初始边权重 w_ini，输出：前驱函数 π01 对于每个 x ∈ V 做02 π[x] ← none; d[x] ← ∞;03 d[x_s] ← 0; Q ← V; S ← �;04 当 x_e 不在 S 中时执行 // 主循环05 u ← arg min x ∈ Q d(x);06 Q ← Q - {u}; S ← S ∪ {u};08 w[e_u,v] = AdaptWeight(u, v, w_ini, π, I);09 如果 d[v] > d[u] + w[e_u,v]，则010 d[v] ← d[u] + w[e_u,v];011 π[v] ← u;012 返回 π0x_e，对应于图像中管状结构的中心线的最小路径ˆγ_x_s,x_e 可以通过最小化以下代价函数来确定0ˆγ_x_s,x_e = arg min γ ∈Γ(x_s, x_e)0i = 1 w[e_v_i-1,v_i], (1)0其中 Γ(x_s, x_e) 是连接 x_s 和 x_e 的所有路径的集合，v_i是路径 γ 上的第 i 个顶点。路径 γ 上的连续顶点 v_i-1 和v_i 通过边 e_v_i-1,v_i相连。为了最小化(1)，我们使用了改进自[6]的Dijkstra算法的统一形式，如算法1所示。对于每个顶点 u，π(u)指定其在路径中的前驱，而 d(u) 是路径权重，即 u和起始点 x_s 之间的路径上所有边的权重之和。N(u) 表示 u的邻居顶点集合。我们引入了一个新的函数 AdaptWeight来转换 w_ini。在标准的Dijkstra算法中，AdaptWeight只返回边 e_u,v 的初始权重 w_ini[u,v]，即 w =w_ini。在第4节中提出了一个改进版本的 AdaptWeight。V被分为两个不相交的集合 Q 和 S。对于 S 中的每个顶点u，d(u) 和 π(u) 是最终确定的，而在 Q中，它们可能仍然会被更新。在主循环的每次迭代中，将路径权重最小的顶点 u 从 Q 移动到 S，并且对于每个邻居 v∈ N(u)，检查是否可以通过 e_u,v 到达 v 来减小d(v)。如果是这种情况，则 u 成为 v 的前驱。一旦终点 x_e被添加到 S 中，可以通过从 x_e 开始，并使用 π递归地查找前驱，直到达到起始点 x_s，提取出ˆγ_x_s,x_e。以这种方式获得的中心线自动具有严格的线拓扑。通常，边 e 的初始权重 w_ini 被定义为0wini[e] = 0V(e) + ϵ + λ ∙ L(e)，(2)0(a) 输入图像 (b) 管状结构 (c) 捷径0图2.由于前景和背景的相似外观而导致的捷径。红框中的区域在(a)中具有与(b)中的前景相似的管状结构，导致(c)中的捷径。0其中V(e)是管状度量，ϵ是一个小常数，用于避免除以零。项λ ∙L(e)控制路径的平滑度，其中L(e)是e的欧几里得长度，λ是一个常数。在我们的方法中，使用了管状度量[8]。04. Path-CNN方法0在本节中，我们提出了Path-CNN，一种解决最小路径方法中常见问题的新方法：捷径问题。为此，我们将CNN嵌入到渐进最小路径方法[15]中，使得这两种技术自然地相互补充，以实现更好的性能。04.1. 捷径的分类0捷径是最小路径方法找到的不正确的中心线。捷径主要有两个原因，分别称为类型1和类型2。在类型1的情况下，正确的路径可能非常长且弯曲，因此即使通过背景运行，错误但较短的连接仍然可以实现较低的成本（1），例如图1b中的示例。在类型2的情况下，背景可能与前景非常相似。例如，在图2a中，红框表示与附近的河流相似的背景区域。该区域也具有较高的管状度（图2b），导致了一条捷径（图2c）。大多数先前的方法只尝试避免类型1的捷径，而一些方法则在几何或管状结构的外观的某些假设下处理类型2（例如，[4]）。相反，我们的方法以一种通用和统一的方式考虑了这两种类型。04.2. 路径分类0为了避免捷径，我们在Dijkstra算法中添加了一步：应用CNN对使用本地路径提取的图像块进行分类，并使用分类结果来检测可能的捷径。45170算法2：Path-CNN的AdaptWeight。0输入：顶点u和v，权重wini，π，图像I输出：调整后的权重wa 1 γL ←ComputeLocalPath(u, π);02 P ← CropTubularPatch(γL, I);03 Prect ← RectifyPatch(γL, P);04 c ← Classify(Prect);0n06 wa = wini[e u,v];0加惩罚08 wa = wini[e u,v] + wp;09 return wa0根据[15]，对于图中的顶点u∈S，本地路径γL(u)定义为长度为L0的常数路径。γL(u)可以通过从u开始的空路径，递归地使用π查找前驱节点，直到路径长度达到L0来确定。直观地说，我们可以通过检测和避免包含这些捷径的段γL来避免ˆγxs，xe的捷径。使用我们下面描述的方法，我们能够使用本地路径来处理类型1和类型2的捷径，只需应用一个CNN。0CNN和基于路径的特征为了使用基于路径的特征，我们在函数AdaptWeight中引入了三个新操作：沿着本地路径裁剪管状图像块、对这些图像块进行矫正，并使用CNN对矫正后的图像块进行分类。所有这些步骤必须在计算最小路径时进行，即在算法1的主循环开始之前，因为本地路径需要使用π在集合S中计算，但是S只有在主循环的第4行开始后才非空。AdaptWeight的详细步骤如算法2所示。初始边权重wini使用管状度量计算。根据CNN的分类结果，最终权重w要么等于wini，要么远高于wini。首先，我们提取顶点u处的本地路径γL。然后，沿着γL裁剪图像区域，得到一个具有恒定宽度的管状图像块P，使得γL是P的中心线。在矫正的步骤中，通过沿着中心线对管状图像块P进行变形，将其变为矩形图像块，并将其旋转到规范方向，得到矫正后的图像块Prect。然后，使用CNN对Prect进行分类，该CNN使用了在规范方向上矫正的图像块进行训练，而不是使用任意方向的非矫正图像块。后续步骤取决于CNN的分类结果：如果Prect被分类为前景，则我们得出结论u（γL的起点）在某些管状结构内。在这种情况下，u和v之间的边的权重不变。这与标准的Dijkstra算法相同。另一方面，如果Prect被分类为背景-0地，那么我们可以得出结论u不在管状结构内，因此γL更有可能是一条短路径的一部分而不是最终的最小路径ˆγxs,xe，即可能在u处检测到一个可能的捷径。在这种情况下，我们将边eu,v的权重从初始值wini增加一个惩罚wp，wp是一个较大的正数。因此，即使v最终被证明在ˆγxs,xe上，由于wp，u成为v在ˆγxs,xe上的前驱的概率显著降低，因为v可能通过其他路径权重较低的相邻顶点v'到达。我们将Prect的新步骤放入算法2中，以更好地强调与标准Dijkstra算法的区别。在实际实现中，只需要对u的所有邻居对Prect进行一次分类。0示例完整算法主循环的一个步骤示例如图3所示。假设u是Q中具有最小路径权重d=10的元素，其在Q中的邻居具有临时路径权重d(v1)=20和d(v2)=12，边的权重为w[eu,v1]=5和w[eu,v2]=8。计算局部路径γL（从u开始的黑线）后，可以提取出管状补丁P（围绕γL的蓝色条纹）。P内的品纹和绿色形状分别表示其纹理。然后将P转换和旋转为规范方向以获得Prect，γL相应地转换为Prect中间的直立垂直线段γL,rect。P的纹理也经过相同的转换和旋转。CNN分类器检查Prect是否在前景中。如果是这样，那么d(v1)和d(v2)将像标准Dijkstra算法一样更新：d(v1)的先前值大于d(u)+w[eu,v1]=15，因此d(v1)更新为15，π(v1)=u。d(v2)不会更新，因为d(u)+w[eu,v2]=18>d(v2)。相反，如果Prect不在前景中，则γL是可能的捷径。因此，权重w[eu,v1]和w[eu,v2]都会增加一个较高的惩罚wp=1000，以降低u成为最终最小路径上的顶点的概率。在这种情况下，d(v1)和d(v2)都不会改变，π也不会更新。0F-maps我们的方法不仅提供了管状结构的中心线，还将像素分类为前景或背景（算法2中的第4行）。为了避免与中心线分割混淆，我们使用术语F-map（前景图）来指代被分类为前景的图像区域，而不是分割。F-map具有一个显著的特性：我们的CNN分类器仅使用中心线注释进行训练，但生成的F-map为前景提供了二值分割掩模。04.3. 训练和推断0为了训练CNN，我们使用没有宽度信息的中心线作为注释。沿着这些中心线的矩形补丁被用作正样本，而负样本则不进行矩形化处理。例如，在正样本中0.50.6.7.80.91.0DenseNet121InceptionV3MobileNetMobileNetV2ResNet500.50.6.7.80.91.0DenseNet121InceptionV3MobileNetMobileNetV2ResNet50EPFLROADRIVERMRD4519011 15 21 25 31 35 41 45 5155 61 65 71 补丁尺寸0精度011 15 21 25 31 35 41 45 5155 61 65 71 补丁大小0召回率0图5. 使用矫正图像补丁训练的CNN的结果。0(a) 基于像素的CNN (b) 无矫正 (c) 矫正0图6. 被分类为前景的区域。 (a) M1: 基于像素的分类。 (b) M2:路径分类，无矫正训练。 (c) M3: 路径分类，使用矫正样本训练。0增加补丁大小并不总是会提高性能，不同架构的分类性能也没有明显差异。基于准确性和速度之间的权衡，我们选择了MobileNet作为我们的CNN，因此在测试过程中最大的GPU内存消耗仅约为2GB。我们对所有实验使用了大小为31×31的补丁。我们使用EPFL的图像1来比较三种方法M1、M2和M3的像素分类。M1和M2都使用相同的分类器Ca，该分类器是使用轴对齐补丁训练的，而M3，即我们的Path-CNN，使用了使用矫正补丁训练的分类器Cr。M1将Ca直接应用于每个像素，而M2和M3都使用我们的框架，并将分类器嵌入到Dijkstra算法中。由于我们的稀疏训练数据，M1产生了大量的间隙，而且管状结构很难识别（图6a）。相比之下，通过将相同的CNNCa嵌入到我们的最小路径方法中，M2的F-map显示了道路的更多几何细节（图6b）。经过矫正补丁的训练，M3的F-map中的噪声和管状结构的不连续性更少（图6c）。图6a、b和c中的地图分别对应图1b中的蓝色、绿色和红色路径。05.2. 中心线分割0数据我们实验的数据概述如表1所示。对于每条测试路径，我们手动设置起点和终点。我们的训练集非常小。例如，对于MRD，我们使用了来自12张图像的补丁，总共相当于3张完整图像的大小。相比之下，最近的方法[1,19]都使用了25张图像进行训练和15个0训练。图像 5 6 6 3 (12)0测试图像 9 14 14 490测试路径 130 64 14 7510表1. 实验中使用的数据概述。0用于测试。我们的方法仅使用没有宽度信息的中心线进行训练。0基准我们将我们的方法与其他五种方法进行了比较，包括DIJK，DIJK-CNN，PROG，PROG-CNN和U-Net[21]。DIJK和DIJK-CNN是使用不同的管状度量的标准Dijkstra算法[7]：DIJK使用度量[8]，而DIJK-CNN使用MobileNet特征（即像Sec.5.1中的M1方法一样的像素级分类结果）。类似地，PROG和PROG-CNN是使用度量[8]和MobileNet特征的渐进最小路径方法[15]。与DIJK和PROG一样，我们的方法也使用管状度量[8]来计算初始边权重win。在DIJK和DIJK-CNN中，边权重保持不变，而PROG和PROG-CNN通过对局部路径进行分类来调整边权重。但与我们的方法不同，PROG或PROG-CNN中没有裁剪或矫正。相反，仅使用局部路径上的管状度量[8]或MobileNet特征的均值进行分类。与我们方法的F-map的定义类似，我们将PROG和PROG-CNN的F-map定义为被分类为前景的区域。DIJK和DIJK-CNN没有分类步骤，因此我们将DIJK和DIJK-CNN的F-map定义为当到达终点时，距离起点的距离不再改变的区域（即算法1中的区域S）。0误差分析为了定量地测量结果的误差，我们使用分割中心线与相应地面真值之间的平均距离来定义：0ed = 10N0�0γ0xi ∈ γ ed(xi) =10N0�0γ0xi ∈ γ | xi - xgt(i) |,(3)0其中N是所有分割中心线上点的总数，γ和xi是γ上的点的坐标，xgt(i)是xi在地面真值上的最近点。结果总结在表2中。对于所有数据集，我们的方法实现了最低的平均距离。DIJK和PROG的误差比我们的结果高至少2倍。DIJK-CNN和PROG-CNN的误差较低，但仍然显著高于我们的结果。在图7中，分割中心线上的点的误差ed被分为三个区间，即小于5个像素的误差、5到10个像素之间的误差和大于10个像素的误差。最低的误差界限设置为5个像素，因为这大约是管状结构宽度的一半。ed55 < ed10 ed > 10range of error ed0%20%40%60%80%100%ed55 < ed10 ed > 10range of error ed0%20%40%60%80%100%ed55 < ed10 ed > 10range of error ed0%20%40%60%80%100%ed55 < ed10 ed > 10range of error ed0%20%40%60%80%100%45200数据集 DIJK PROG DIJK-CNN PROG-CNN 我们的方法0EPFL 4.74 (2.82) 3.36 (2.00) 2.82 (1.68) 2.74 (1.63) 1.680ROAD 6.69 (2.25) 5.98 (2.01) 3.91 (1.32) 3.68 (1.24) 2.970RIVER 19.01 (5.03) 18.43 (4.88) 7.16 (1.89) 6.31 (1.67) 3.780MRD 21.89 (6.10) 18.83 (5.25) 6.17 (1.72) 5.25 (1.46) 3.590表2. 使用公式(3)测量的像素误差。大括号中的数字表示其他方法与我们的结果之间的比率。0错误百分比0EPFL0DIJK PROGDIJK-CNNPROG-CNN我们的方法0错误百分比0ROAD0错误百分比0RIVER0错误百分比0MRD0图7. 使用四个数据集进行中心线分割的错误分布0U-Net U-Net 我们的方法0注释类型中心线掩膜中心线0Dice系数0.1163 0.2953 0.61080表3. U-Net和我们的方法在EPFL上的Dice系数0我们的图像中的结构。在这个范围内的中心线被认为足够接近地面真值，因为我们没有使用管状结构的宽度信息来训练我们的算法。直观地说，大误差的百分比越高，表示存在更多的捷径。使用我们的方法，中心线上的大多数点都在较小的误差范围内。例如，在我们的方法在EPFL中分割的中心线上的点中，95.78%的点的误差在5个像素以下，只有0.52%的点的误差超过10个像素。相比之下，DIJK、PROG、DIJK-CNN和PROG-CNN的误差在10个像素以上的比例为4%到8%。对于RIVER，我们的方法的错误中有72.89%在5个像素以下。超过10个像素的误差比例为6.20%，而DIJK、PROG、DIJK-CNN和PROG-CNN分别为37.71%、43.88%、12.71%和8.92%。对于MRD，我们的方法有91.38%的误差小于5个像素。由于EPFL的道路掩膜可用，我们计算了仅使用中心线训练的U-Net、使用掩膜训练的U-Net和我们的方法的Dice系数。9个测试图像的结果显示在表3中。尽管我们的方法仅使用中心线进行训练，但它实现了最高的Dice系数。示例显示在图8中。0定性结果在下面我们展示更多的结果。在图中，起始点和终点分别显示为品红色的方框和青色的圆圈。ROAD和RIVER中的图像具有挑战性，因为背景中有很多管状结构。0图8.U-Net对图1a中的图像的分割结果。左：地面真值。中：仅使用中心线训练的U-Net（Dice = 0.1511）。右：使用掩膜训练的U-Net（Dice =0.3521）。我们的结果显示在图6c中（Dice = 0.6658）。0(a) 输入图像 (b) 结果 图9.ROAD数据集中一张图像的结果。（a）白色箭头显示了两个困难情况。（b）DIJK，PROG，DIJK-CNN，PROG-CNN和我们的方法的结果分别用黄色，蓝色，绿色，黑色和红色表示。0尽管这些结构的外观与实际道路或河流略有不同，但仅使用管状特征很难捕捉到这些差异。对于ROAD数据集中的一张图像，图9中突出显示了两个困难情况（白色箭头）。在情况1中，DIJK找到了一条捷径（类型1），因为它比正确路径短得多。PROG能够检测到这条捷径并避免它。但在情况2中，背景中的管状度量也很高，PROG找到了一条捷径（类型2）。相反，DIJK-CNN，PROG-CNN和我们的方法都正确处理了这两种情况，并找到了正确的中心线。图10显示了一个更具挑战性的RIVER示例。We introduced Path-CNN, a new method for topology-aware centerline segmentation for tubular structures.Inour method, a CNN is embedded as an integral componentinto the progressive minimal path method. The CNN en-hances hand-tuned image features to better control the min-imal path computation, while the progressive minimal pathmethod provides strong geometric priors to improve the per-formance of the CNN, and ensures the line-topology of thesegmented centerlines. Path-CNN employs path-based clas-sification to avoid different types of short cuts, and con-sequently centerlines can be better segmented, especiallyfor tubular structures with complex shapes in challengingenvironments.In addition to centerline segmentation, abinary mask (F-map) is also obtained. Our method onlyneeds sparse and simple annotations for training, and it haslower hardware requirements than many other methods. Itseffectiveness is demonstrated using experiments with fourdatasets of satellite images and comparison with five othermethods. Future work includes extension of our method formedical images, especially 3D medical images.45210(a) 输入 (b) DIJK (c) PROG (d) DIJK-CNN (e) PROG-CNN (f) 我们的方法 (g) U-Net0图10. RIVER数据集中一张图像的结果。（a）输入图像和管状度量图。（b）-（f）DIJK，PROG，DIJK-CNN，PROG-CNN，我们的方法的结果（上排）和相应的F-map（下排）。（g）使用U-Net的结果。0(a) 输入图像 (b) F-map (c) 地面真值 图11.MRD图像的一个部分的F-map（掩膜）。地面真值只包含中心线，不包含掩膜。0RIVER数据集中的一个例子，只有我们的方法成功地分割出了河流。F-map显示，虽然我们的方法正确分类了大多数图像区域并大多保持在前景中，但所有其他方法都探索了大部分背景，并导致了捷径。我们还通过将DIJK应用于使用U-Net获得的掩膜而不是管状度量图来计算路径。然而，由于我们的训练集中样本数量较少（仅有6个训练图像中的9条河流），U-Net无法训练出足够好的前景掩膜。因此，未找到正确的路径（图10g）。MRD中的图像涵盖了具有复杂道路网络的大面积区域。即使在同一图像中，道路的外观也可能非常不同，并且它们经常被树木或其阴影遮挡。沿着道路的建筑物经常显示出某些规律的模式，导致道路外部的管状度很高。还有一些不是道路的管状结构，例如河流或建筑物之间的狭窄空间。图11显示了城市区域图像的一个部分。在那里，我们的方法很好地处理了上述挑战，得到了相当精确的F-map（图11b）。在不重新训练的情况下，相同的模型可以用于其他环境中的道路。例如，图12显示了郊区区域的完整图像的F-map。我们的方法甚至检测到了地面真值中缺失的几条小道路。要获得图像中所有道路的F-map，用户只需为整个图像设置一个起始点，即不需要终点或进一步的起始点，即使道路彼此之间没有连接。F-map对于起始点的位置不敏感，因此可以使用不同的起始点获得类似的F-map。0(a) 输入图像 (b) F-map (c) 地面真值 图12.使用整个图像的一个起始点获得的MRD的完整图像的F-map。使用我们的方法检测到了一些在地面真值中缺失的道路（黄色箭头）。0我们引入了Path-CNN，一种用于管状结构的拓扑感知中心线分割的新方法。在我们的方法中，CNN被嵌入到渐进最小路径方法中作为一个组成部分。CNN增强了手动调整的图像特征，以更好地控制最小路径计算，而渐进最小路径方法提供了强大的几何先验，以提高CNN的性能，并确保分割的中心线具有线状拓扑。Path-CNN采用基于路径的分类来避免不同类型的捷径，因此可以更好地分割中心线，特别是在具有复杂形状的挑战性环境中的管状结构。除了中心线分割，还获得了二值掩膜（F-map）。我们的方法只需要稀疏和简单的注释进行训练，并且其硬件要求低于许多其他方法。通过对四个卫星图像数据集的实验和与其他五种方法的比较，证明了其有效性。未来的工作包括将我们的方法扩展到医学图像，特别是3D医学图像。06. 结论45220参考文献0[1] Favyen Bastani，Songtao He，So�aneAbbar，Mohammad Al- izadeh，Hari Balakrishnan，SanjayChawla，Sam Madden和DavidDeWitt。RoadTracer：从航空图像中自动提取道路网络。在IEEE计算机视觉和模式识别会议上，2018年。2，60[2] Fethallah Benmansour和Laurent D.Cohen。通过从2D或3D图像上的单个点生长最小路径进行快速对象分割。数学成像和视觉杂志，33(2):209–221，2009年。20[3] Fethallah Benmansour和Laurent D.Cohen。基于最小路径方法和各向异性增强的管状结构分割。国际计算机视觉杂志，92:192–210，2011年。20[4] Da Chen，Jiong Zhang和Laurent D.Cohen。具有相干惩罚和自适应各向异性的管状结构分割的最小路径。IEEE图像处理交易，28(3):1271–1284，2019年3月。2，30[5] Laurent D. Cohen和RonKimmel。主动轮廓模型的全局最小值：一种最小路径方法。国际计算机视觉杂志，24(1):57–78，1997年。10[6] Thomas H. Cormen，Charles E. Leiserson，Ronald L.Rivest和CliffordStein。算法导论（第三版）。麻省理工学院出版社，2009年。30[7] E.W.Dijkstra。关于图形的两个问题的注释。数值数学，1:269–271，1959年。1，60[8] Alejandro F. Frangi，Wiro J. Niessen，Koen L.Vincken和Max A.Viergever。多尺度血管增强滤波。在医学图像计算和计算机辅助干预中，1998年。1，2，3，60[9] Kaiming He，Xiangyu Zhang，Shaoqing Ren和JianSun。深度残差学习用于图像识别。在IEEE计算机视觉和模式识别会议上，2016年。50[10] Andrew G. Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，Marco An-dreetto和HartwigAdam。Mobilenets：用于移动视觉应用的高效卷积神经网络。在Arxiv，2017年。50[11] Gao Huang，Zhuang Liu，Laurens van der Maaten和Kil-ian Q.Weinberger。密集连接的卷积网络。在IEEE计算机视觉和模式识别会议上，2017年。50[12] Vivek Kaul，Anthony Yezzi和YichangTsai。使用最小路径检测具有未知端点和任意拓扑的曲线。IEEE模式分析与机器智能交易，34(10):1952–1965，2012年。20[13] Max W.K. Law和Albert C.S.Chung。使用最佳定向通量进行三维曲线结构检测。在欧洲计算机视觉会议上，2008年。1，20[14] Hua Li和AnthonyYezzi。血管作为4D曲线：提取3D管状表面和中心线的全局最小4D路径。IEEE医学成像交易，26(9):1213–1223，2007年。20[15] Wei Liao，Stefan W¨orz，Chang-Ki Kang，Zang-HeeCho和KarlRohr。渐进最小路径方法用于2D和3D线结构的分割。IEEE交易0模式分析与机器智能交易，40(3):696–709，2018年3月。2，3，4，60[16] Gellert Mattyus，Wenjie Luo和Raquel Urtasun。Deep-RoadMapper：从航空图像中提取道路拓扑。在IEEE国际计算机视觉会议上，2017年。20[17] Volodymyr Mnih.高空图像标签的机器学习。多伦多大学博士论文，2013年。50[18] Volodymyr Mnih和Geoffrey E.Hinton。学习在高分辨率航空图像中检测道路。在欧洲计算机视觉会议上，2010年。20[19] Agata Mosinska, Mateusz Kozinski, and Pascal Fua.曲线结构的联合分割和路径分类。IEEE模式分析与机器智能交易，2020年。1，2，60[20] Mickael Pechaud, Renaud Keriven, and Gabriel Peyre.在方向域上提取管状结构。在2009年IEEE计算机视觉和模式识别会议上。20[21] Olaf Ronneberger, Philipp Fischer, and Thomas Brox.U-net:用于生物医学图像分割的卷积网络。在2015年医学图像计算和计算机辅助干预中，卷9351的计算机科学讲义，页面234-241。60[22] Mark Sandler, Andrew Howard, Menglong Zhu, AndreyZh- moginov, and Liang-Chieh Chen. Mobilenetv2:倒置残差和线性瓶颈。在2018年IEEE计算机视觉和模式识别会议上。50[23] Yoshinobu Sato, Shin Nakajima, Nobuyuki Shiraga,Hideki Atsumi, S
我的内容管理
展开
