基于条件卷积的自顶向下车道线检测框架

3773CondLaneNet：一种基于条件卷积的自顶向下车道线检测框架刘立哲1陈晓浩1朱思宇1谭平121阿里巴巴集团2西蒙菲莎大学摘要现代基于深度学习的车道检测方法在大多数情况下都是成功的，但在具有复杂拓扑结构的车道线上却举步维艰。在这项工作中，我们提出了Cond-LaneNet，一种新的自上而下的车道检测框架，首先检测车道实例，然后动态预测每个实例的线形。为了解决车道线实例级判别问题，提出了一种基于条件卷积和逐行公式化的条件车道线检测策略.此外，我们设计的循环实例模块（RIM），以克服检测车道线的复杂拓扑结构，如密集线和叉线的问题。得益于端到端的流水线，需要很少的后处理，我们的方法具有实时效率。我们广泛评估我们的方法上的三个基准的车道检测。结果表明，我们的方法在所有三个基准数据集上都达到了最先进的性能。此外，我们的方法具有准确性和效率共存，例如，在CULane上的78.14F1分数和220FPS。 我们的代码可在https://github.com/aliyun/conditional-lane-detection上获得。1. 介绍人工智能技术越来越多地应用于驾驶领域，这有利于自动驾驶和高级驾驶辅助系统（ADAS）。作为自动驾驶中的基本问题，车道检测在诸如车辆实时定位、驾驶路线规划、车道保持辅助和自适应巡航控制等应用中起着至关重要的作用。传统的车道检测方法通常依赖于手工制作的算子来提取特征[24，43，13，17，15，1，16，33]，然后通过 诸 如 霍 夫 变 换 [24 ， 43] 和 随 机 采 样 一 致 性（RANSAC）[17，15]的后处理来拟合线形。然而，传统的方法无法在真实场景中保持鲁棒性，因为手工构建的模型无法处理多样性不同场景下的车道线[27]。最近，大多数图1.具有复杂拓扑的车道线场景。对于第一排密集线和第二排分叉线等场景的处理是一个挑战。在该图中，不同的实例由不同的颜色表示。关于车道检测的研究集中于深度学习[34]。早期基于深度学习的方法通过分割来检测车道线[28，27]。最近，各种方法，诸如基于锚的方法[32，2，39]、行-明智的检测方法[30，29，41]和参数预测方法[31，25]已经被提出，并且继续更新精度和效率。虽然基于深度学习的车道检测方法已经取得了很大的进展[42]，但仍然存在许多挑战。车道检测的一个常见问题是实例级区分。大多数车道检测方法[27，28，19，32，12，21，29，2，30，41，39]首先预测车道点，然后将点聚合成线。但是将不同的点分配给不同的车道实例[34]仍然是一个常见的挑战。简单的解决方案是将车道线标记为固定数量的类别（例如，如果最大通道数为4，则标记为0，1，2，3），并进行多类分类[28，30，41，3]。但局限性在于可以检测预定义的固定数量的通道[27]。为了克服这一限制，研究了后聚类策略[27，19]。然而，这种策略在某些情况下会遇到困难，例如密集线路。另一种方法是基于锚点的方法[25，22，39]。但由于锚的形状固定，预测线形另一个挑战是检测具有复杂拓扑结构的车道线，例如具有相同起点的分叉线，以及与接近起点平行的密集线。这种情况在驾驶场景中是常见的，例如：分叉线通常出现在车道数3774变 化 Homayounfar 等 人 [10] 提 出 了 一 种 针 对 HDMap（High Definition Map）的离线车道线检测方法，该方法可以处理分叉线。然而，有很少的研究的车道线的感知复杂拓扑结构的实时驾驶场景。车道检测任务类似于实例分割，其需要将不同像素分配给不同实例。最近，一些研究[35，38]已经研究了条件实例分割策略，该策略也有希望用于车道检测任务。然而，直接将该策略应用于车道检测是低效的，因为掩模的约束与指定线形不完全一致[3，34，30]。在这项工作中，我们提出了一种新的车道检测框架称为CondLaneNet。为了解决车道实例级判别问题，我们提出了受CondInst [35]和SOLOv2 [38]启发的条件车道检测策略。与实例分割任务不同，我们将优化集中在基于行式公式[30，41]指定车道线形状上此外，我们还设计了循环实例模块（RIM）来处理具有复杂拓扑结构的车道线检测此外，受益于端到端的流水线，需要很少的后处理，我们的方法达到实时效率。本工作的贡献总结如下：• 我们提出的条件车道线检测策略和行式公式大大提高了车道线实例级判别的能力• 我们解决了问题的检测车道线与复杂的拓扑结构，如密集线和叉线的建议RIM。• 我们的CondLaneNet框架在多个数据集上实现了最先进的性能，例如CurveLanes的F1得分为86.10（比SOTA高4.6%），CULANE的F1评分为79.48（比SOTA高3.2%）此外，我们的CondLaneNet的小型版本具有高效率，同时确保高精度，例如一78.14 F1评分和220 FPS上CULANE。2. 相关工作本节介绍了最近基于深度学习的车道检测方法。根据线型描述的策略，现有的方法可分为四类：基于分割的方法、基于锚的方法、逐行检测方法和参数预测方法。2.1. 基于分段的方法基于分割的方法[28，12，27，19，21，6]是最常见的，并取得了令人印象深刻的性能。早期的方法[28，6]使用多类分类策略进行车道实例判别。如前一节所述，此策略是不灵活的。为了获得更高的实例精度，后聚类策略[4]被广泛应用[27，19]。考虑到基于分割的方法通常预测缩小的掩模，一些方法[19]预测偏移图以用于细化。最近，一些研究[3，30]表明，将车道线描述为掩模是低效的，因为分割的重点是获得每个像素的准确分类，而不是指定线条形状。为了克服这个问题，提出了基于锚点的方法和逐行检测方法。2.2. 基于锚点的方法基于锚点的方法[32，2，39]采用自上而下的管道，并通过回归相对坐标将优化集中在线形上。预定义的锚点可以减少无视觉线索问题的影响[32]并提高实例辨别能力。 由于对于车道线的细长形状，不能直接使 用 在 目 标 检 测 中 广 泛 使 用 的 箱 形 锚 点 [7]Point-LaneNet [2] 和 CurveLane [39] 使 用 垂 直 线 作 为 锚 。LaneATT [32]设计了细长形状的锚钉，并在多个数据集上实现了最先进的性能。然而，固定锚形状导致描述线形的自由度低[39]。2.3. 逐行检测方法逐行检测方法[30，29，41]很好地利用了形状先验并预测每行的线位置。在训练阶段，通过每行的位置约束实现基于从行到行的预测位置的连续性和一致性，可以将形状约束添加到模型[29，30]。此外，在效率方面，一些最近的逐行检测方法[30，41，11]已经实现了优势。然而，实例级判别仍然是行式公式化的主要问题。由于基于分割的方法[27，19]中广泛使用的后聚类模块[4]不能直接集成到行式公式中，因此行式检测方法仍然采用多类分类策略进行车道实例区分。考虑到在准确性和效率上的令人印象深刻的性能，我们还采用了逐行公式在我们的方法。2.4. 参数预测方法与上述预测点的方法不同，参数预测方法直接输出由曲线方程表示的PolyLaneNet [31]首先提出使用深度网络来回归车道曲线方程。LSTR [25]将Transformer[37]引入通道3775骨干提案负责人条件形封头提案热图逐行位置参数映射RIMRIMRIM输入图像位置图...条件卷积偏移贴图...条件卷积共用分支Transformer编码器∈--卷积+BN+ReLU卷积条件卷积位置图的Kenerl偏移映射的Kenerl图2. CondLaneNet框架的结构。主干采用标准ResNet [8]和FPN [23]进行多尺度特征提取。Transformer编码器模块[37]被添加用于更有效的上下文特征提取。建议头负责检测位于行的起始点处的建议点同时，包含动态预测卷积核。条件形状头预测行位置、垂直范围和偏移映射，以描述每条线的形状。针对密集线和分叉线的情况，设计了RIM。检测任务，并获得420fps的检测速度。然而，参数预测方法在准确性方面并没有超过3. 方法给定输入图像IR C×H×W，目标是我们的CondLaneNet是预测通道L=11，12，… 其中N是通道的总数。一般地，每个通道lk由一组有序的坐标表示车道检测是钝的和不合适的。一方面，由于自由度过高，基于分割的形状描述对于车道线是无效的[30]。另一方面，针对一般对象的实例检测策略由于边界和中心的不明显的视觉特征而不适合细长和弯曲的对象。我们的条件车道检测策略改进形状预测和实例检测，以解决上述问题。如下所示I k=[（x k1，y k1），（x k2，y k2），...，（x kNk，y kNk）]（1）步骤1：实例检测步骤2：形状预测其中k是通道的索引，Nk是第k个通道的最大采样点数量。CondLaneNet的整体结构如图2所示。本节将首先介绍条件实例1实例3a. 条件实例分割实例2车道线检测策略，然后介绍了RIM（Recurrent InstanceModule），最后详细介绍了框架设计。3.1. 条件车道检测针对实例级判别能力，提出了基于步骤1：实例检测实例1实例2实例3 4步骤2：形状预测实例1实例2条件卷积-使用动态内核参数的有条件检测-实例3b. 条件车道检测例如4处理过程[35，38]具有两个步骤：实例检测和形状预测，如图3所示。实例检测步骤预测对象实例并针对每个实例回归一组动态内核参数。在形状预测步骤中，应用条件卷积来指定实例形状。该过程以动态内核参数为条件。由于每个实例对应于一组动态内核参数，因此可以逐实例地预测形状。这种策略在实例分割任务上取得了令人印象深刻的性能[35，38]。然而，直接将条件实例分割策略应用到图3. 条件实例段a-和提出的条件车道检测策略。我们的CondLaneNet检测每条线的起点，例如检测，并使用逐行公式来描述线的形状，而不是掩模。重叠线可以根据拟议的RIM区分，详见第3.2节。3.1.1形态预测我们改进了行式公式[30]，以基于我们的条件形状头部预测线形，如图2所示。在行式公式中，我们预测实例1实例2实例3线性垂直范围......3776GT×.y= H/Y·iminΣ，vMax我ΣGTGT行Nv我我车道位置，然后基于线形状的先验将位置聚合以获得从底部到顶部的顺序的我们的行式公式有三个组成部分：行式位置，垂直范围和偏移映射。前两个输出是大多数逐行检测方法的基本元素[30，41]。此外，我们预测一个偏移映射作为第三个输出，以进一步完善。X积极消极的垂直范围逐行定位图4. 从位置图中解析逐行位置和垂直范围的过程。如图4所示，我们将输入图像划分为形状Y X的网格，并预测相应的位置图，该位置图是由所提出的条件形状头输出的形状1×Y×X的特征图其中V表示标记线的垂直范围，Nv是有效行数。垂直范围垂直车道范围通过逐行预测车道线是否通过当前行来确定，如图4所示。我们添加一个线性层，并逐行执行二进制分类我们使用位置图中每一行的特征向量作为输入。采用softmax-cross-entropy loss方法指导训练过程。lrange=Σ（−yilog（vi）−（1−yi）log（1−vi）） （5）其中v i表示预测的正概率，第i行，并且yi是第i行的基础真值。偏移贴图等式3中定义的行方向位置指向网格左侧顶点的横坐标，而不是精确位置。因此，我们添加偏移映射来预测每行的行方向位置附近我们使用L1-损失来约束偏移映射，如下所示。1 Σ。.在位置图上，每一行都有一个横坐标指示车道线的位置。为了得到行方向的位置，基本方法是将I偏移=NΩ（j，i）∈Ω. δij−δij。（六）在每一行中删除X类分类。在推理时间中，逐行位置通过拾取每行中响应最快的横坐标来但是，常见的为了克服这个问题，我们引入以下公式。其中δ（ij）和δij是fset的预测值和fset在坐标（j，i）上的标签。我们将Ω定义为具有固定宽度的车道线附近的区域 NΩ是像素数，单位为Ω。形状描述每个输出车道线表示为一组有序的坐标。对于第k行，第i行的坐标（xi，yi）表示如下。对于每一行，我们预测车道线出现在每个网格中。KKIkxi=W/X·（loci+δ（loci，i））（七）pi=softmax（fi）（2）k k k其中i表示第i行，filoc是的特征向量其中i∈ΣvkkmaxK·min而vk分别位置图f的第i行locloc，pi是概率向量预测垂直方向的最小值和最大值范围，l〇ck从Ek四舍五入，δ（·）是预测的对于第i行。最终的行方向位置被定义为预期的横坐标。E（x（i））=j·pij（3）J其中E（x（i）是期望横坐标，pij是车道线通过坐标（j，i）的概率。在训练阶段，应用L1损失。l=1Σ|E（x）−x|（四）i∈V线性，v3777我我offset.3.1.2实例检测我们设计了用于实例检测的提案头，如图2所示。对于一般的条件实例分割方法[35，38]，通过预测每个对象的中心来检测端到端流水线但是，对于细长曲线，由于其视觉特性，很难预测其中心点tral并不明显。3778自我注意模块SoftmaxV线性××××⊗⊕ⓈK线性Q线性SFc模块我们通过检测位于线的起点处的建议点来起点有了更清晰的界定和更明显的视觉特征--l=1Σ−[y·log（s）+（1−y）·log（1−s）]比中央。 我们遵循CenterNet [5]并预测建议热图，用于检测建议点并采用状态Ni i i我我（九）在CornerNet [20]和CenterNet[5]之后的焦点丢失。−1Σ。（1−Pxy）αlog（Pxy）Pxy=1N其中si是第i个状态的softmax操作的输出resultyi是第i个状态的基础真值，Ns是一批状态输出的总数。l点=pxy（1−Pxy）β（Pxy ）αlog（1−Pxy）否则（八）在训练阶段，总损失定义如下。其中，Pxy是坐标（x，y）处的标签，Pxy是建议热图的坐标（x，y）Np是输入图像中的提议点的数量。此外，我们通过预测CondInst [35]和SOLOv2 [38]的参数映射来回归动态核参数。通过对线形的约束来构造参数映射的约束。3.2. 循环实例模块在上述提议头中，每个提议点被绑定到车道实例。然而，在实践中，多车道线可以落在相同的建议点，例如分叉线。为了处理上述情况，我们提出了循环实例模块（RIM）。l总=l点+α 1行+β 1范围+γ 1偏移+η 1状态（10）超参数α、β、γ和η分别设置为1.0、1.0、0.4和1.03.3. 架构总体架构如图2所示。我们采用ResNet [8]作为主干，并添加标准FPN [23]模块以提供集成的多尺度功能。预测头通过预测形状1Hp Wp的预测热图来检测车道实例。同时，预测包含动态核参数的形状Cp Hp Wp的参数图。对于建议点位于（xp，yp）的实例，相应的动态核参数包含在参数上的（xp，yp）处的Cp维核特征向量i“1塞吉i“1���iℎi塞吉塞吉塞吉1美元���i$11美元1美元地图此外，给定核特征向量，RIM重新预测动态核参数。最后，条件形状头预测的线条形状的实例明智的动态核参数的条件。图5. 循环实例模块。在该图中，h和c分别是短期记忆和长期记忆，f是输入特征向量，s是输出状态logit，k是输出核参数向量。拟议RIM的结构如图所示五、基于LSTM（长短期记忆）[9]，RIM循环预测状态向量si和内核参数向量ki，其中i是从同一提议点开始的行的索引。我们将si定义为表示两种状态的二维logit：“继续”或“停止”。向量ki包含用于后续逐实例动态卷积的核参数。在推理阶段，RIM循环地预测绑定到相同提议点的逐车道内核参数，直到状态为“停止”。如图2所示，为每个建议点添加RIM。因此，每个建议点可以指导多个车道实例的形状预测。我们采用交叉熵损失来约束状态输出如下。图6. Transformer编码器的结构。的 ，分别表示矩阵加法、点积运算和逐元素乘积运算。我们的框架需要一个强大的上下文特征融合能力。例如，建议点的预测基于整个车道线的特征，其通常具有细长形状和长距离。因此，我们增加了一个Transformer编码器结构的骨干网的最后一在我们的框架中使用的Transformer编码器的结构如图6所示.编码层×���重塑Self-attention位置编码变平Conv3x3-bn-reluConv3x3-bn-reluLSTM单元Fc模块LSTM单元3779ΣS×4. 实验4.1. 实验环境为了广泛地评估所提出的方法，我们在三个基准上进行实验：[39]、[39]。CurveLanes是最近提出的一个基准测试，适用于复杂拓扑，如分叉线和密集线。CULANE是一种广泛使用的大型车道检测数据集，具有9种不同的sce- narios。TuSimple是另一个广泛使用的高速公路数据集仅适用于CurveLanes数据集。在优化过程中，我们使用Adam优化器[18]和步长学习率衰减[26]，初始学习率为3e-4。对于每个数据集，我们在没有任何额外数据的情况下对训练集进行训练。我们分别训练14，16和 70 个 epoch 用 于 Curve- Lanes ， CULANE 和TuSimple ， 批 大 小 为 32 。 结 果 报 告 在 CULANE 和TuSim- ple的测试集上。对于CurveLanes，我们报告了CurveLane [39]之后验证集的结果所有实验都在具有RTX2080 GPU的机器上计算。驾驶场景 显示了三个数据集的详细信息在选项卡中。1.一、数据集训练验证测试道路类型叉曲线车道100K20K30K城市&公路√CULANE 88.9K9.7K34.7K城市公路×TuSimple 3.3K 0.4K 2.8K Highway ×表1. 三个数据集的详细信息。对于CurveLanes和CULane，我们采用了SCNN [28]的评估指标，该指标利用F1度量作为度量。采用预测泳道线和GT标记之间的IoU来判断样品是真阳性（TP）还是假阳性（FP）或假阴性（FN）。两行的IoU定义为具有固定线宽的它们的掩码的IoU。此外，F1-测量如下计算型号名称主干方案头输入形头输入大ResNet-101缩小16缩小4介质ResNet-34缩小16缩小8小ResNet-18缩小16缩小8表2.我们的CondLaneNet的不同版本的差异4.2. 结果CurveLanes、CULane和TuSimple数据集的可视化结果如图7所示。结果表明，我们的方法可以应付复杂的线拓扑结构。即使是密集线和分叉线的情况下，我们的方法也可以成功地区分的实例。TP精密度=（11）TP+FPTP回忆=（12）TP+FNF1=2×精确度×召回率精确度+召回率（十三）表3.比较不同的方法在曲线上。对于TuSimple数据集[36]，有三个官方指标：假阳性率（FPR）、假阴性率（FNR）和准确性。曲 线 通 道 曲 线 通 道 的 比 较 结 果 如 表 3 所 示 。CurveLanes包含具有复杂拓扑（如曲线、分叉和C形夹准确度=夹子（十四）密集车道我们的大版本CondLaneNet达到了86.10的最新 F1 成 绩 ， 比 CurveLane-L 高 出 4.63% 。 我 们 的CondLaneNet小版本仍然有其中C剪辑是正确预测的车道点的数量，并且S剪辑是剪辑的车道点的总数。准确度大于85%的泳道被认为是真阳性，否则是假阳性或假阴性。此外，还报告了F1评分。我们为所有三个数据集修复了CondLaneNet的大型、中型和小型版本。三种型号之间的差异如表2所示。对于所有三个数据集，在训练和测试期间，输入图像的大小调整为800 320像素。由于在CULANE和TuSimple中没有出现分叉线的情况，RIM在85.09 F1得分（比SOTA高3.40%）。由于我们的模型可以处理的情况下，叉和密集的车道线，有一个显着的改善召回指标。相应地，假阳性结果将增加，导致精度指标降低。我们的CondLaneNet和其他现有技术方法对CULane的结果示于表4中。我们的方法实现了79.48 F1分数的新的最先进的结果，增加了3.19%。此外，我们的方法在九个sce- narios中的八个中实现了最佳性能，显示出对不同场景的鲁棒性对于一些方法F1精度召回FPSGFlops（G）[28]65.0276.1356.74328.4Enet-SAD [12]50.3163.6041.603.9PointLaneNet [2]78.4786.3372.9114.8CurveLane-S [39]81.1293.5871.597.4[39]第三十九话81.8093.4972.7111.6[39]第三十九话82.2991.1175.0320.7CondLaneNet-S85.0987.7582.5815410.3CondLaneNet-M85.9288.2983.6810919.7CondLaneNet-L86.1088.9883.414844.93780×图7.CurveLanes（第一行）、Culane（中间行）和TuSimple（最后一行）数据集的可视化结果不同的车道实例由不同的颜色表示。对于曲线、夜间等困难情况，我们的方法具有明显的优势。此外，我们的Cond- LaneNet的小型版本以220FPS的速度获得了78.14的F1分数，比LaneATT-L高1.12和8.5的速度。与LaneATT-S相比，CondLaneNet-S实现了4.01%的F1分数改善，具有相似的效率。在CULane的大多数情况下，我们的CondLaneNet的小版本超过了F1测量中所有以前的方法。Tusimple上的结果如表所示5. 相对而言，由于数据量较小和单一场景较多，因此该数据集上不同方法之间的差距较小。我们的方法实现了97.24的新的最先进的F1得分。此外，我们的方法的小版本在220 FPS的情况下获得了97.01的F1分数。4.3. 消融改进策略我们基于CondLaneNet的小版本对CurveLanes数据集进行了消融实验。结果示于表6中。我们采用基于原始条件实例分割策略[35，38]（如图3.a所示）的车道检测模型作为基线。第一行显示基线的结果在第二行中，应用所提出的条件车道检测策略，并且车道掩码表达式被逐行公式化所取代（如3.b中所示）。在第三行中，添加了用于后细化的偏移映射。在第四行中，添加Transformer编码器并且移除偏移映射。第五行呈现具有逐行公式、偏移映射和Transformer编码器的模型的结果。在最后一行中，添加RIM类别总正常拥挤Dazzle阴影没有线箭头曲线横晚上FPSGFlops（G）[28]71.6090.6069.7058.5066.9043.4084.1064.40199066.107.5328.4ERFNet-E2E [41]74.0091.0073.1064.5074.1046.6085.8071.90202267.90[29]第二十九话85.9063.6057.0069.9040.6079.4065.20701357.8090.3ENet-SAD [12]70.8090.1068.8060.2065.9041.6084.0065.70199866.00753.9UFAST-ResNet34[30]72.3090.7070.2059.5069.3044.4085.7069.50203766.70175.0UFAST-ResNet18[30]68.4087.7066.0058.4062.8040.2081.0057.90174362.10322.5ERFNet-IntRA-KD [1]72.40100.0[39]第三十九话71.4088.3068.6063.2068.0047.9082.5066.00281766.209.0[39]第三十九话73.5090.2070.5065.9069.3048.8085.7067.50235968.2035.7[39]第三十九话74.8090.7072.3067.7070.1049.4085.8068.40174668.9086.5[32]第三十二话75.1391.1772.7165.8268.0349.1387.8263.75102068.582509.3LaneATT-中等[32]76.6892.1475.0366.4778.1549.3988.3867.72133070.7217118.0[32]第三十二话77.0291.7476.1669.4776.3150.4686.2964.05126470.812670.5CondLaneNet-Small78.1492.8775.7970.7280.0152.3989.3772.40136473.2322010.2CondLaneNet-Medium78.7493.3877.1471.1779.9351.8589.8973.88138773.9215219.6CondLaneNet-Large79.4893.4777.4470.9380.9154.1390.1675.21120174.805844.8表4.Culane不同方法的比较预测GT 预测GT预测 GT37814.4. Transformer编码器本节进一步分析了变压器编码器的功能，说明了它在前面的实验中起着至关重要的作用。我们的方法首先通过检测提案点来检测实例，然后预测每个实例的形状。建议点的精度极大地影响车道线的最终精度。我们设计了不同的控制组来比较CurveLanes上的建议点和车道线的精度。我们定义的建议点位于地面实况点的八个邻域作为真阳性样本。我们报告了建议点和车道线的F1分数，如表7所示。表5.不同方法在TuSimple上的比较基线逐行偏移 编码器RIM F1评分√72.19√80.09（+7.9）√ √81.24（+9.05）√ √81.85（+9.66）√83.41（+11.22）√85.09（+12.90）表6.基于小版本的CondLaneNet，对曲线车道的改进策略进行了消融研究.比较前两行，我们可以看到，所提出的条件车道检测策略有显着提高的性能。比较第2行和第3行，第4行和第5行的结果，我们可以看到偏移映射的积极效果此外，Transformer编码器在我们的框架中起着至关重要的作用，这可以通过比较第2行和第4行，第3行和第5行来表示。此外，针对分叉线和密集线设计的RIM也提高了精度。如图8所示，具有复杂拓扑的车道线，包括分叉线和密集线，可以通过CondLaneNet与RIM检测。表7.Transformer编码器模块的消融研究第一行显示了标准CondLaneNet的小型、中型和大型版本的结果在第二行，Transformer编码器被删除。在第三行中，我们通过用标准模型（第一行）输出的提案热图替换提案热图来破解第二行的推理过程。对于小版本，移除编码器导致提议点和通道的显著下降。然而，使用标准模型的提议热图，第三行上的结果接近于第一行。以上结果证明，编码器的功能主要是提高建议点的检测，这依赖于上下文特征和全局信息。此外，上下文特征可以在更深的网络中被更充分地细化。因此，对于中、大版本，编码器的改进远不及小版本。5. 结论不带RIM带RIMGT在这项工作中，我们提出了CondLaneNet，一种新颖的自上而下的车道检测框架，其首先检测车道实例，然后实例地预测形状。针对实例级鉴别问题，提出了基于条件卷积和行式公式的条件车道线检测策略。此外，我们设计RIM，以应付复杂的车道线拓扑，如密集线和分叉线。我们的CondLaneNet框架刷新了CULANE、CurveLanes和TuSimple的最新性能。此外，在CULANE和CurveLanes上，我们的CondLaneNet的小版本不仅在准确性上超过了其他方法，而且还在更高的精度上超过了其他方法。图8. CondLaneNet有和没有RIM的结果。活泼，但也提出了实时效率。方法F1ACCFPFNFPS GFLOPS[28]95.97 96.536.17 1.807.5埃尔-甘[6]96.26 94.904.12 3.3610.0PINet [19]97.21 96.702.94 2.63[22]第二十二话96.79 96.874.42 1.9730.0PointLaneNet [2]95.07 96.344.67 5.1871.0ENet-SAD [12]95.92 96.646.02 2.0575.0ERF-E2E [41]96.25 96.023.21 4.28[29]第二十九话93.92 95.207.60 4.5090.3UFAST-ResNet34[30]88.02 95.86 18.91 3.75 169.5UFAST-ResNet18[30]87.87 95.82 19.05 3.92 312.5PolyLaneNet [31]90.62 93.369.42 9.33 115.00.9LSTR [25]96.86 96.182.91 3.384200.3LaneATT-ResNet18[32]96.71 95.573.56 3.012509.3LaneATT-ResNet34[32]96.77 95.633.53 2.9217118.0LaneATT-ResNet122[32]CondLaneNet-S96.06 96.10 5.64 2.1797.01 95.48 2.18 3.80 22070.510.2CondLaneNet-M96.98 95.37 2.20 3.82 15419.6CondLaneNet-L97.2496.54 2.013.50 5844.8模型小介质大目标P. 点线P. 点线P. 点线标准88.35 85.09 88.99 85.92 89.54 86.10S.无编码器85.51 82.97 88.68 85.91 89.33 85.98黑客攻击88.05 84.39 88.90 85.93 89.37 85.993782引用[1] Amol Borkar，Monson Hayes，and Mark T Smith.基于ransac和kalman滤波器的鲁棒车道线检测与跟踪。在IEEE图像处理国际会议（ICIP）的会议录中，第3261-3264页[2] Zhenpeng Chen，Qianfei Liu，and Chenfan Lian.点车道网：用于准确实时车道检测的高效端到端cnn在IEEE智能车辆研讨会（IV），第2563-2568页[3] Shriyash Chougule，Nora Koznek，Asad Ismail，GaneshAdam，Vikram Narayan，and Matthias Schulze.利用cnn作为回归网络进行可靠的多车道检测和分类。欧洲计算机视觉会议（ECCV）研讨会论文集，2018年。[4] Bert De Brabandere，Davy Neven，and Luc Van Gool.基于判别损失函数的语义实例分割。arXiv预印本arXiv：1708.02551，2017。[5] 段凯文，白松，谢灵犀，齐红刚，黄庆明，田奇.Centernet：用于对象检测的关键点三元组。在IEEE计算机视觉国际会议论文集，第6569-6578页[6] MohsenGhafoorian 、 CedricNugteren 、 No'raBaka 、OlafBooij和Michael Hofmann。El-gan：嵌入损失驱动的生成对抗网络用于车道检测。欧洲计算机视觉会议（ECCV）研讨会论文集，2018年。[7] 何开明、吉欧吉亚·吉欧萨里、彼得·多尔和罗斯·吉尔希克.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961-2969页[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition，第770-778页[9] SeppHochreiter和JürgenSchmidhube r. 长短期记忆。神经计算，9（8）：1735[10] Namdar Homayounfar ， Wei-Chiu Ma ， Justin Liang ，Xinyu Wu，Jack Fan，and Raquel Urtasun. Dagmapper：通过发现通道拓扑来学习映射。在IEEE计算机视觉国际会议论文集，第2911[11] Yuenan Hou，Zheng Ma，Chunxiao Liu，Tak-Wai Hui，and Chen Change Loy.基于区域间相似度蒸馏的道路标线分割。在IEEE计算机视觉和模式识别会议论文集，第12486[12] Yuenan Hou ， Zheng Ma ， Chunxiao Liu ， and ChenChange Loy.通过自注意蒸馏学习轻量级车道检测cnns。在IEEE计算机视觉国际会议论文集，第1013-1021页[13] Junhwa Hur，Seung-Nam Kang和Seung-Woo Seo。使用条件随机场的城市驾驶环境中的多车道检测。在IEEE智能车辆研讨会（IV），第1297-1302页[14] Xu Jia，Bert De Brabandere，Tinne Tuytelaars，and LucVan Gool.动态过滤网络。神经信息处理系统进展，第667-675页，2016年[15] Ruyi Jiang ， Reinhard Klette ， Tobi Vaudrey ， andShigang Wang.新的车道线模型和距离变换用于车道线的检测和跟踪. 图像和图案的计算机分析国际会议论文集，第1044-1052页，2009年[16] 颜江，高峰，徐国炎。基于计算机视觉的多车道直线和曲线检测图像分析和信号处理国际会议论文集，第114-117页，2010年[17] 金祖焕在挑战场景中的鲁棒车道检测和跟踪。IEEETransactions on Intelligent Trans-portation Systems ， 9（1）：16[18] Diederick P Kingma和Jimmy Ba。Adam：随机最佳化的方法。国际学习代表会议（ICLR），2015年。[19] Yeongmin Ko Jiwon Jun Donghwuy Ko Moongu Jeon车道线检测的关键点估计和点实例分割方法。arXiv预印本arXiv：2002.06604，2020。[20] 黑律和贾登。Cornernet：将对象检测为成对的关键点。在欧洲计算机视觉会议论文集（ECCV）中，第734-750页[21] Seokju Lee 、 Junsik Kim 、 Jae Shin Yoon 、 SeunghakShin 、 Oleksandr Bailo 、 Namil Kim 、 Tae-Hee Lee 、Hyun Seok Hong 、 Seung-Hoon Han 和 In So Kweon 。VPgnet：用于车道和道路标记检测和识别的消失点引导网络。在IEEE国际计算机视觉会议论文集，第1947[22] 李翔，李军，胡小林，杨健。Line-cnn：使用线路建议单元进行端到端交通线路检测。IEEE Transactions onIntelligent Transportation Systems，21（1）：248[23] 林宗义、彼得·多尔、罗斯·格希克、何开明、巴拉特·哈里哈兰和塞尔日·贝隆吉.用于对象检测的特征金字塔网络。在IEEE计算机视觉和模式识别会议论文集，第2117-2125页[24] Guol i angLiu，FlorentinW oürgoütter，andIreneMar ke eli c´.结合统计hough变换和粒子滤波的鲁棒车道线检测与跟