内陆水域浮游废物检测的数据集和基准

109530FloW：内陆水域浮游废物检测的数据集和基准0Yuwei Cheng � 1, 2，Jiannan Zhu � 1, 4，Mengxin Jiang 1, 2，Jie Fu 3，Changsong Pang 1, 4，Peidong Wang 1, 20Kris Sankaran 3，Olawale Onabola 3，Yimin Liu 2，Dianbo Liu 3，Yoshua Bengio 301 ORCA-Uboat，2 清华大学，3 Mila-Qu´ebec AI研究所，4 西北工业大学0摘要0海洋垃圾严重威胁海洋生物，并对整个生态系统造成持续污染。为了防止废物进入海洋，有助于使用无人驾驶水面船只等自主清洁设备清理内陆水域中的浮游废物。清洁效率依赖于高精度和稳健的目标检测系统。然而，目标的小尺寸，水面上强烈的光反射以及岸边其他物体的反射都给基于视觉的目标检测系统带来了挑战。为了促进自主浮游废物清理的实际应用，我们提出了FloW†，这是内陆水域浮游废物检测的第一个数据集。该数据集包括图像子数据集FloW-Img和多模式子数据集FloW-RI，其中包含同步的毫米波雷达数据和图像。提供了图像和雷达数据的准确注释，支持基于图像、雷达数据和两种传感器融合的浮游废物检测策略。我们在数据集上进行了几个基线实验，包括基于视觉和基于雷达的检测方法。结果表明，检测准确率相对较低，浮游废物检测仍然是一项具有挑战性的任务。01. 引言0近年来，海洋废物问题引起了研究人员和公众的日益关注。废物，尤其是涌入海洋的塑料，严重威胁海洋生物并对整个生态系统造成持续污染[24]（如图1(a)所示）。然而，根据[50]的数据，只有15%的海洋废物漂浮在海洋表面，而15%停留在水柱中，70%沉积在海底。虽然已经启动了许多项目来清理漂浮的海洋废物，但防止废物0* 平等贡献。†FloW数据集以及开发工具可在以下网址公开获取：https://github.com/ORCA-Uboat/FloW-Dataset。0（a）海洋废物0（b）内陆水域废物0（c）手动清洁0（d）自主清洁0图1. 严重的水污染和清洁方法。0防止废物进入海洋。与海洋源相对立的陆地源被认为是废物进入海洋的主要来源[20]。因此，清理内陆水域中的浮游废物，如运河、河流、湖泊和海湾（如图1(b)所示），是减缓海洋废物和水污染增长趋势的重要途径。传统的处理内陆水域浮游废物的策略主要依赖人力，如图1(c)所示。然而，当有大量浮游废物或污染水域面积较大时，手工清理效率低且成本高[48]。此外，排水系统中的有毒气体和液体[49]以及意外溺水等潜在风险限制了手工清理的场景。因此，高效的自主浮游废物清理方法需求迫切。最近，无人驾驶水面船只（USVs）因其在各种任务中的使用而受到了广泛关注。特别是在环境应用中，USVs在浮游废物清理方面显示出巨大潜力[1，48]（如图1(d)所示），因为USVs可以进入一些难以到达的区域并独立操作。[17]对河流塑料污染捕捉设备进行了调查，并列出了其中的40个进行比较。与一些固定设备相比，一个好的清洁USV可以被认为是109540图2.（a）浮动废物占据较小的图像区域。（b）其他物体的反射使得难以识别瓶子。（c）无害浮动物质如落叶干扰了视觉系统。（d）强光的反射使得塑料杯几乎看不见。0作为一种全面的设备，可以通过伸缩臂和定向驾驶来引导（通过伸缩臂和定向驾驶），清除，包含和运输水面上的碎片[17]。为了实现高效可靠的无人驾驶清洁，实时准确的浮动废物检测系统是不可或缺的。随着计算机视觉和深度学习的发展，视觉系统提供的关于物体外观的数据可以更好地利用。因此，依赖于视觉信息的浮动废物检测可以是最具成本效益的解决方案。然而，在内陆水域，像瓶子和饮料罐这样的浮动废物尺寸较小。大多数浮动废物占据较小的图像区域，这增加了准确检测的难度。对于基于深度神经网络的目标检测，与大型物体相比，小型物体通常缺乏外观信息，小型物体的高级特征不具有区分性，很难将其与背景区分开并实现准确的定位[2，22]。小物体检测的准确性远低于中型和大型物体检测。除了尺寸较小外，内陆水域的复杂实际场景也给基于视觉的检测方法带来挑战。例如，岸边物体的反射以及其他无害浮动物质会干扰视觉检测系统。水面上的强光反射可能导致曝光过度的图像，使废物变得不可见。上述问题的示例如图2所示。因此，基于视觉的浮动废物检测仍然是一个未解决的实际应用问题。补充传感器可以增加自动驾驶系统的适应性。随着77GHz毫米波电路技术和先进的信号处理技术的繁荣，毫米波雷达已广泛应用于自动驾驶的感知系统，用于检测物体和障碍物[40]。与相机相比，雷达对天气和光照条件更具鲁棒性，并且能够在更远的范围内显示目标。此外，雷达数据不仅提供目标的位置，还提供目标的多普勒速度[38]。对于浮动废物检测，雷达为图像数据提供了补充。可以看出，公共数据集可以推动相关研究，并为不同策略提供可比性。对于基于视觉的目标检测，通过对著名数据集如COCO[28]和PASCAL VOC[11]的探索，已经取得了进展。为了引起人们对内陆水域中使用USVs进行浮动废物清理的关注，并帮助研究人员在水面上进行小物体检测，我们介绍了FloW，这是第一个用于内陆水域中USVs视角下浮动废物检测的数据集，包括一个图像子数据集FloW-Image（FloW-Img）和一个多模态子数据集FloW-Radar-Img（FloW-RI）。FloW-Img包含2000张带有5271个标记浮动废物的图像。小物体占标记对象的一半以上。除了带注释的图像外，我们还提供了200个独立的视频序列，包含超过20000个没有注释的图像帧，以支持在水面上进行浮动废物跟踪的研究。此外，我们数据集的一个亮点是FloW-RI，它包含了4000帧同步和校准的图像和毫米波雷达数据。FloW数据集在不同的照明和波浪条件下收集，包含了不同范围和视角上的各种外观的废物。我们在我们的数据集上评估了一些常用算法，以说明在水面上检测浮动废物的挑战。这项工作主要在以下几个方面做出了贡献：0技术，77GHz毫米波雷达已广泛应用于自动驾驶的感知系统，用于检测物体和障碍物[40]。与相机相比，雷达对天气和光照条件更具鲁棒性，并且能够在更远的范围内显示目标。此外，雷达数据不仅提供目标的位置，还提供目标的多普勒速度[38]。对于浮动废物检测，雷达为图像数据提供了补充。可以看出，公共数据集可以推动相关研究，并为不同策略提供可比性。对于基于视觉的目标检测，通过对著名数据集如COCO[28]和PASCAL VOC[11]的探索，已经取得了进展。为了引起人们对内陆水域中使用USVs进行浮动废物清理的关注，并帮助研究人员在水面上进行小物体检测，我们介绍了FloW，这是第一个用于内陆水域中USVs视角下浮动废物检测的数据集，包括一个图像子数据集FloW-Image（FloW-Img）和一个多模态子数据集FloW-Radar-Img（FloW-RI）。FloW-Img包含2000张带有5271个标记浮动废物的图像。小物体占标记对象的一半以上。除了带注释的图像外，我们还提供了200个独立的视频序列，包含超过20000个没有注释的图像帧，以支持在水面上进行浮动废物跟踪的研究。此外，我们数据集的一个亮点是FloW-RI，它包含了4000帧同步和校准的图像和毫米波雷达数据。FloW数据集在不同的照明和波浪条件下收集，包含了不同范围和视角上的各种外观的废物。我们在我们的数据集上评估了一些常用算法，以说明在水面上检测浮动废物的挑战。这项工作主要在以下几个方面做出了贡献：0•据我们所知，FloW是第一个从无人船视角收集的用于内陆水域漂浮垃圾检测的数据集，涵盖了各种条件下的真实世界内陆水域。该数据集可以引起人们对内陆水域漂浮垃圾问题的关注，并有助于内陆水域漂浮垃圾检测算法的发展和可比性。0•FloW-Img图像子数据集中超过一半的标记漂浮垃圾被视为小物体，这可以促进对水面小物体检测的研究。0•FloW-RI子数据集包含连续的同步图像和毫米波雷达数据序列，并带有准确的注释，支持基于雷达数据和图像与雷达数据融合的漂浮垃圾检测研究。0• 我们对一些常用的目标检测算法进行了基准测试。109550在我们的数据集上运行算法，以说明基于视觉的内陆水域漂浮垃圾检测的问题。02. 相关工作02.1. 基于视觉的水面目标检测0在图像目标检测领域取得了很大的进展，特别是基于深度学习的算法，通常可以分为两类：基于区域提议的方法，如Faster R-CNN [47]、FPN[26]，以及基于回归/分类的方法，如YOLO [45]、SSD[29]。对于水面上的目标检测，首先应用了基于传统图像分割和显著性的方法来解决这个任务[31, 6,19]。这些方法可能对不同的环境或光照条件不稳定，并且无法区分不同的目标（如陆地或船只）[7]。研究人员已经开始探索使用深度学习方法进行水面目标检测，特别是海上目标检测。新提出的模型，如Faster R-CNN [47]、MaskR-CNN[16]等，直接应用于海上目标检测，或者通过修改以提高模型的实时性能和检测准确性[34, 57,56]。然而，海洋环境和内陆水域环境之间的差异以及目标尺寸的差异给我们的漂浮垃圾检测任务带来了新的挑战。一些工作专注于使用无人机或监控摄像头检测漂浮垃圾[36,52]。与利用俯视图像进行垃圾监测的工作不同，我们的工作有助于支持清洁无人船的漂浮垃圾检测。02.2. 基于毫米波雷达的目标检测0在过去的几年里，77GHz毫米波雷达广泛应用于自动驾驶。基于雷达的目标检测成为自动驾驶感知系统的重要解决方案。对于内陆无人船，毫米波雷达作为一种新型传感器用于目标检测。恒虚警率（CFAR）检测器及其变种，如平均单元（CA）-CFAR和有序统计（OS）-CFAR，被认为是毫米波雷达的经典检测器[40]。对于经典雷达目标检测，检测器主要集中于检测目标的存在与否，而不是生成关于目标的语义信息（例如杂波、漂浮瓶子或石头）。近年来，基于深度学习的毫米波雷达目标检测引起了越来越多的关注。这些方法可以用于特定目标的检测，如行人和车辆。有两种0这些工作中使用的雷达数据的主要演示格式有两种。一种是经典雷达信号处理流程的最终输出：雷达点云[9, 33,35]。另一种是雷达信号处理流程中生成的中间数据[39, 25,30]，例如Rang-Dopple矩阵、Range-Azimuth矩阵和雷达立方体。Danzer等人[9]提出了一种仅使用稀疏雷达点云的2D车辆检测方法，基于PointNet架构。在[30]中，Major等人提出了一种基于深度学习的车辆检测方法，该方法基于雷达Range-Azimuth-Doppler张量进行操作。Nabati和Qi[35]提出了一种用于自动驾驶车辆中目标检测的区域提议网络。Lim等人[25]使用雷达和相机早期融合进行车辆检测。毫米波雷达用于特定目标检测的研究主要针对自动驾驶应用。在水面上使用雷达进行小物体检测仍然是一个未开发的任务。02.3. 相关数据集0计算机视觉界的研究人员已经付出了努力来进行垃圾检测以应对环境问题。已经发布了基于视觉的垃圾检测数据集。[55]提供了TrashNet数据集，其中包含了玻璃、纸张等常见垃圾的类别，用于将垃圾分类为可回收物。Wang等人[53]提供了他们的UAV-BD数据集，用于在无人机图像中对地面上的真实垃圾瓶进行检测。最近发布的TACO数据集[42]包含了野外垃圾的多类别注释照片。[54]构建了一个名为MJU-Waste的室内RGBD垃圾数据集，并提出了一种基于深度学习的垃圾分割方法。此外，Deep-sea DebrisDatabase[12]收集了逼真的水下环境中的垃圾图像和图像。基于这些数据集，已经进行了基于视觉的垃圾检测的工作[14,10,18]。然而，如图3所示，尽管这些数据集对于垃圾分类或监测很有价值，但应用场景与内陆水域环境差异很大。据我们所知，FloW是第一个解决复杂的真实内陆水域中漂浮垃圾检测的数据集。从无人船的视角收集的FloW数据集可以直接支持清洁无人船的工作。至于水面上的目标检测，新加坡海洋数据集（SMD）[41]及其上建立的基准[34]已经推动了无人船的海上目标检测工作[21,44]。MODD2[3]为海洋无人船提供了用于障碍物检测的立体视频。此外，[15]提供了一个包含河岸、船只等类别的数据集，用于内陆水域无人船的安全导航。这些数据集主要包含相对较大且不容易受环境影响的目标，如船只。除了相关的视觉数据集外，受到109560UAV-BD0TrashNet0TACO0MJU-Waste0Deep-seaDebris0图3. FloW数据集与其他数据集的比较。我们的数据集是第一个针对复杂的真实内陆水域环境中漂浮垃圾检测的数据集。（某些图片经过缩放或裁剪以对齐。）0随着毫米波雷达应用的增加，基于雷达的目标检测数据集也已经发布，主要用于自动驾驶。Astyx发布了一个包含注释的高分辨率3D汽车雷达点云的数据集，用于基于深度学习的目标检测[32]。nuScenes数据集[4]包含在公共道路上收集的带有多类别注释的雷达数据。[38]中介绍的CARRADA数据集是一个包含相机和雷达记录的数据集，具有范围-角度-多普勒注释，用于目标检测、语义分割和目标跟踪。虽然毫米波雷达在自动驾驶中用于目标检测变得越来越流行，但在内陆水域中将其用于垃圾检测是一种新颖而有意义的尝试。03. 数据集0本节将讨论FloW数据集的详细信息。03.1. 采集平台0我们使用配备摄像头和毫米波雷达的清洁无人船作为收集平台（如图4所示），在真实的内陆水域中收集漂浮瓶子的图像，从而满足使用无人船进行自主清洁的要求。如图所示，车辆前方配备了两个摄像头，面向前方记录了清洁无人船在内陆水域中的行驶场景。考虑到在真实的内陆水域场景中，可能存在超出普通摄像头范围的动态范围。0图4.我们的采集平台配备了两个相机和一个毫米波雷达。用于采集FloW-RI的传感器的方向用不同颜色标记（X-红色，Y-绿色，Z-蓝色）。0为了接收到更清晰的图像，我们设置了一个高动态范围（HDR）模式的相机来平衡光照。HDR相机（带有AR0230芯片）的分辨率为1280×720，而另一个相机提供的图像分辨率为1280×640像素。两个相机在不同的环境下启用，以获取多样化的图像数据，并提供独立的图像集，以避免重叠。0我们使用的雷达是德州仪器的77GHz频率调制连续波（FMCW）雷达AWR1843，具有3个发射天线和4个均匀间距的接收天线。雷达也装备在车辆前方，以收集浮游废物的补充信息。有关雷达和相关参数设置的详细信息将在下一部分讨论。��1095703.2. 数据采集和处理0在收集数据集时，考虑了收集场景的多样性、光照条件、每帧物体数量、物体的外观、视角和目标距离，以增加样本的多样性。在为期3个月的时间里，我们的无人船在不同的真实内陆水域中手动和自动驾驶，记录了不同光照条件下的浮游废物视频序列。我们数据集中的浮游废物主要包括具有不同外观的塑料瓶和饮料罐。在每个水域中，我们为车辆设置了一条航线，以重复航行在水面上。随着车辆从不同方向接近物体，可以确保物体分布、距离和视角的多样性。车辆还会手动驾驶围绕浮游废物，以增加废物分布的多样性。FloW-Img和FloW-RI的收集过程是独立的，两个子数据集之间没有重叠。FloW-Img数据集。通过从部分原始视频序列中提取每30帧图像，首先生成图像数据集。然后手动排除相似度高和一些模糊的图像。FloW-Img数据集中的视频序列是从其他原始序列中剪切的。注释图像和视频序列之间没有重叠。FloW-RI数据集。为了收集多模态数据集，选择FMCW雷达的波参数和雷达原始数据的信号处理过程，以提供内陆水域中浮游废物的有效信息。对于FMCW雷达，一个帧由N个线性调频的chirp组成，其频率在最小频率fmin和最大频率fmax之间随时间线性变化。因此，每个chirp可以用持续时间Tchirp和带宽B = fmax -fmin来描述。考虑到均匀线性天线阵列，目标在第l个接收器处的回波信号可以表示如下：0d(l, n, p) ≈ exp0�0j ∙ 2π0��2 ∙ R ∙ Bc ∙ Tchirp + fd0�nfs0+ fmin ∙ l ∙0c + fd ∙ p ∙ Tchirp + 2 ∙ fmin ∙ R0c0(1)其中n是每个chirp内快时间样本的索引，p是不同chirp之间慢时间样本的索引，c是光速，fd表示多普勒频移，fs表示采样率，d表示间距0图5. 传统FMCW雷达信号处理链。0表1. 雷达波形参数和性能数据。0参数值 性能值0f min 77 GHz 距离分辨率 0.0349m f max 80.76 GHz最大测距 14.5m T chirp 133.33us 速度分辨率 0.03m/s Nchirp 128 最大速度 4.10m/s0相邻天线元素之间的相位差为  ϕ ， ω为噪声。由于雷达检测的性能受到波形参数的影响，根据对浮游废物检测的要求，设计了如表1所列的参数。模数转换（ADC）采样的原始数据只能在信号处理过程之后使用。图5显示了传统的FMCW雷达信号处理链。采样的回波首先通过1D（距离）FFT和2D（多普勒）FFT转换为距离-多普勒矩阵（RDM）[38]。然后，在RDM中能量较强的信号被检测为目标。最后，在到达方向（DOA）处理模块中，通过数字波束形成（DBF）估计每个目标的方位角和俯仰角。在FloW-RI中，我们提供了经过初步信号处理的数据，即RDM。为了增加雷达的空间分辨率，我们使用时分复用-多输入多输出（TDM-MIMO）技术。因此，我们的雷达系统可以达到八个虚拟接收天线用于方位角估计和四个虚拟天线用于俯仰角估计的等效。因此，对于每一帧雷达检测，我们提供12个虚拟接收天线的RDM。RDM是一个复矩阵，每个单元格由实部和虚部组成。此外，为了使雷达数据更直观，我们提供了由恒虚警率（CFAR）检测和基于12个RDM的DBF生成的4D雷达点云数据。在FloW-RI中，毫米波雷达数据和图像通过记录每帧的时间戳进行同步。两个传感器的采样频率为10 Hz。由于内陆水域中USV的速度相对较低（不超过2m/s），同步精度Figure 7. The annotation processes. In the first image, the redpoints on the RDM image show the cells detected by the CFARdetector with a low threshold. The second image shows the cor-responding points projected on the RGB image, and the real tar-get points are annotated (framed by the green boxes). Last imageshows the final real target cells in red.109580（a）浮游废物图像。0（b）雷达RDM。0（c）雷达点云（俯视图）。0图6.在这一帧中，图像、雷达RDM和雷达点云中都可见三个浮游瓶。绿色框框出了三个数据格式中的瓶子。瓶子的点云被放大并显示在旁边。0可以满足内陆水域实时浮游废物检测的要求。数据集中提供了雷达和相机之间的外参数。通过时间和空间对齐的雷达和图像数据，确保了两个传感器的融合。图6显示了包括图像、雷达RDM和雷达点云的一帧数据。03.3. 标注0FloW-Img标注。FloW-Img中的图像是使用著名的工具LabelImg[51]进行标注的，通过绘制一个包围每个帧中浮游废物的边界框来标记图像，并使用单一标签。由于远处的浮游废物尺寸非常小，很难找到物体的边界，因此标注过程非常耗时。为了确保标注的效率和质量，我们雇佣了一些经验丰富的标注员。在标注之前，统一了以下标注规则以避免歧义：应标记不同方向捕捉到的所有浮游废物。瓶子的反射不包括在标记区域内，也不被视为独立的对象。所有的标注都经过反复验证和修正，以确保标注质量。FloW-RI标注。多模态数据集的标注基于图像和雷达RDM。直接标注RDM很困难，因为RDM不能直接反映目标的分布，就像图像那样。此外，很难获取目标的真实多普勒速度。在这种情况下，如图7所示，我们采取以下步骤对RDM进行标注：（1）首先，0图7.注释过程。第一张图中，RDM图像上的红点显示了由CFAR检测器检测到的低阈值单元。第二张图显示了在RGB图像上投影的相应点，绿色框标注了真实目标点。最后一张图显示了红色的最终真实目标单元。03.4. 数据集划分和统计0FloW-Img。该图像数据集包含2,000张带有5,271个标记浮游垃圾的图像。我们按照6:4的比例划分训练集和测试集。我们随机选择1,200张图像作为训练集，其余作为测试集。整个数据集、训练集和测试集中每帧中对象数量的分布以及标记对象的占用面积分布如图8所示。可以看出，训练集和测试数据中不同大小目标的分布大致匹配。小型目标（面积<32×32）在我们的数据集中占比最大，这使得检测更具挑战性。此外，我们还提供了200个未标注的FloW-Img数据集中的视频序列。序列的持续时间从几秒钟到一分钟不等，每个序列中包含的目标数量从1到8个不等。这些视频序列可用于支持浮游垃圾跟踪的研究。FloW-RI。FloW-RI包含4,000帧同步图像和雷达RDM数据，以及每帧对应的雷达点云以增加直观性。所有帧来自21个连续序列，没有采样，以鼓励对我们的数据集进行进一步研究，例如我们设置了相对较低的RDM检测阈值，并使用DOA估计生成4D雷达点云。（2）然后，根据相机和雷达之间的外部标定结果，将一帧中的点云投影到相应的图像上。对于雷达点云的投影，我们参考了[8]中使用的投影方法。（3）将所有点云投影到图像上后，通过参考图像手动标注真实目标点。投影在瓶子上的点被视为真实目标点。（4）最后，由于雷达点与RDM中的单元之间存在一对一的匹配，雷达点云的标签被转换回RDM中的单元的注释。109590图8. FloW-Img的数据集划分和数据分布。（a）每帧中的对象数量分布。（b）每个对象的占用面积分布。0（a）小型（面积 < 32^2）0（b）中型（32^2 < 面积 < 96^2）0（c）大型（面积 > 96^2）0（d）全部0图9. 不同目标检测算法在FloW-Img测试集上的PR（精确率-召回率）曲线（IoU阈值=0.5）。AP 500表示IoU阈值为0.50时的平均精度。0表2. 使用不同目标检测算法在FloW-Img测试集上的检测结果。0DSSD [13] RetinaNet [27] YOLO-v3 [46] Faster R-CNN [47] FPN [26] Cascade R-CNN [5]0mmAP 0.275 0.249 0.128 0.184 0.334 0.4340FPS 28.6 7.6 23.2 9.3 7.4 3.90* mmAP表示IoU=.50:.05:.95下的平均精度。0目标跟踪。对于FloW-RI，选择了16个序列作为训练集，其余5个序列作为测试集。04. 实验和评估04.1. FloW-Img上的实验0基于视觉的目标检测基准。我们评估了6种常用的基于深度学习的目标检测算法在我们的数据集上的性能，包括单阶段算法DSSD [13]，RetinaNet [27]，YOLO-v3[46]，以及两阶段算法Faster R-CNN [47]，FPN[26]，以及多阶段级联R-CNN[5]。除了检测准确度外，由于实时性对于无人船自主清洁非常重要，我们还记录了每个算法的每秒帧数（FPS）。实验是在具有GeForce GTX 1070 GPU的相同机器上进行的。0表3. UAV-BD和FloW-Img数据集上小物体的mmAP比较。0数据集 级联R-CNN FPN DSSD0UAV-BD [53] 0.491 0.481 0.5270FloW-Img 0.293 0.213 0.1210上述算法的结果如图9所示。每个算法的平均检测准确率和FPS在表2中显示。我们还在相关数据集上进行实验，以进行比较并说明我们数据集的差异。我们使用三种算法在UAV-BD[53]数据集上进行测试。UAV-BD和我们数据集上小物体的mmAP比较如表3所示。可以看出，在使用相同的检测算法时，我们数据集上小物体的检测准确率较低。109600表4.FloW-Img测试集上的结果。使用不同数据集的图像来训练模型。0数据集 mmAP0UAV-BD [53] 0.0580TACO [42] 0.0690MJU-Waste [54] 0.0320除了尺寸小之外，我们数据集上浮游垃圾检测还面临其他三个挑战。首先，水面上的强光反射会遮挡目标。此外，水波也会遮挡目标。这两个原因会导致漏检。此外，岸边物体的反射会导致误报，因为当前方法无法区分真实目标和岸边物体的反射。上述原因对当前基于视觉的方法构成了挑战。在我们的数据集上，上述算法中，级联R-CNN在我们数据集上的检测准确率最高，对物体尺寸更具鲁棒性。然而，级联R-CNN的FPS相对较低，可能无法满足USVs浮游垃圾检测的实时要求。为了验证我们数据集对浮游垃圾检测任务的重要性，我们还使用其他相关数据集来训练模型，并在真实世界浮动瓶子的数据上进行测试。实验基于级联R-CNN（Resnet101作为骨干网络）。我们分别使用UAV-BD数据集、TACO数据集和MJU-Waste数据集（仅选择包含瓶子或饮料罐的图像）重新训练模型，并在FloW-Img测试集上进行测试。如表4所示，真实世界浮动瓶子的检测准确率非常低。04.2. FloW-RI上的实验。0对于多模态数据集FloW-RI，我们分别在图像和雷达数据上进行实验，以及在图像和雷达数据的融合上进行实验。对于基于视觉的检测，我们使用级联R-CNN（Resnet101作为骨干网络，在FloW-RI的训练集上重新训练）来检测FloW-RI测试集中的浮游垃圾。对于基于雷达的物体检测，我们评估雷达RDM图像和雷达点云的检测准确率。对于雷达RDM图像的检测，我们也使用级联R-CNN（Resnet101作为骨干网络），就像我们在图像中进行检测一样。对于雷达点云的检测，我们使用VoteNet[43]进行实验。VoteNet是一种基于深度点集网络和Hough投票的端到端3D物体检测网络。对于基于图像和雷达融合的物体检测，我们测试了[37]和[23]中提出的两种算法。0数据格式 方法 AP 500RGB图像级联R-CNN [5] 0.6400雷达RDM图像级联R-CNN [5] 0.898雷达点云VoteNet [43] 0.4050点云+图像CRF-Net [37] 0.754 点云+图像Li等[23]0.6770* 雷达点云的评估是在2D空间中进行的。0测试集上的结果如表5所示。可以看出，当使用相同的检测算法时，雷达RDM上的检测性能优于图像上的检测性能。雷达数据在内陆水域中用于浮游垃圾检测具有良好的潜力。此外，可以看出，融合方法在某种程度上优于基于视觉的方法。然而，这两种融合方法和其他大部分提出的方法主要针对道路上的驾驶场景中的物体检测。我们认为，在水面上进行小物体检测时，仍然有一些值得改进的地方。05. 结论0在本文中，我们介绍了FloW，这是内陆水域浮动垃圾检测的第一个数据集。FloW包括两个子数据集，FloW-Img和FloW-RI。FloW-Img包含2000个带注释的图像和200个未注释的视频序列。FloW-RI是一个多模态数据集，包含4000帧同步图像和毫米波雷达数据。我们评估了一些经典的基于视觉的目标检测算法和雷达检测器在我们的数据集上的性能。实验结果表明，对于基于视觉的目标检测，模型的鲁棒性需要改进以满足实际应用的要求。通过发布数据集，我们希望提高浮动垃圾检测的准确性，并更加关注水域清洁工作。将来，我们将收集其他种类的浮动垃圾，以获取更多类别的数据，并在一些受污染的水域进行公共使用，以促进内陆水域自主清洁的实际应用。0参考文献0[1] Abir Akib，Faiza Tasnim，Disha Biswas，Maeesha BinteHashem，Kristi Rahman，Arnab Bhattacharjee和Shaikh AnowarulFattah。无人浮动垃圾收集机器人。在TENCON 2019-2019IEEE第10区域会议（TENCON）中，第2645-2650页。IEEE，2019年。10[3] Borja Bovcon，Janez Perˇs，MatejKristan等。通过IMU辅助语义分割实现无人表面船舶的立体障碍物检测。《机器人与自主系统》，104:1-13，2018年。3[11] Mark Everingham, Luc Van Gool, Christopher KI Williams,John Winn, and Andrew Zisserman. The pascal visual objectclasses (voc) challenge. International journal of computervision, 88(2):303–338, 2010. 2[13] Cheng-Yang Fu, Wei Liu, Ananth Ranga, Ambrish Tyagi,and Alexander C Berg. Dssd: Deconvolutional single shotdetector. arXiv preprint arXiv:1701.06659, 2017. 7[14] Michael Fulton, Jungseok Hong, Md Jahidul Islam, and Ju-naed Sattar. Robotic detection of marine litter using deep vi-sual detection models. In 2019 International Conference onRobotics and Automation (ICRA), pages 5752–5758. IEEE,2019. 3[15] WidedHammedi,MetzliRamirez-Martinez,PhilippeBrunet, Sidi-Mohamed Senouci, and Mohamed Ayoub Mes-sous. Deep learning-based real-time object detection in in-land navigation. In 2019 IEEE Global Communications Con-ference (GLOBECOM), pages 1–6. IEEE, 2019. 3[16] Kaiming He, Georgia Gkioxari, Piotr Doll´ar, and Ross Gir-shick. Mask r-cnn. In Proceedings of the IEEE internationalconference on computer vision, pages 2961–2969, 2017. 3[17] Olivia K Helinski, Cara J Poor, and Jordyn M Wolfand.Ridding our rivers of plastic: A framework for plastic pol-lution capture device selection. Marine Pollution Bulletin,165:112095, 2021. 1, 2[18] Jungseok Hong, Michael Fulton, and Junaed Sattar. Trash-can: A semantically-segmented dataset towards visual de-tection of marine debris. arXiv preprint arXiv:2007.08097,2020. 3[19] Xianli Jin, Peiwen Niu, and Linfeng Liu. A gmm-based seg-mentation method for the detection of water surface floats.IEEE Access, 7:119018–119025, 2019. 3[20] Laurent CM Lebreton, Joost Van Der Zwet, Jan-WillemDamsteeg, Boyan Slat, Anthony Andrady, and Julia Reisser.River plastic emissions to the world’s oceans. Nature com-munications, 8:15611, 2017. 1[21] Sung-Jun Lee, Myung-Il Roh, Hye-Won Lee, Ji-Sang Ha,Il-Guk Woo, et al. Image-based ship detection and classifi-cation for unmanned surface vehicle using real-time objectdetection neural networks. In The 28th International Oceanand Polar Engineering Conference. International Society ofOffshore and Polar Engineers, 2018. 3[22] Jianan Li, Xiaodan Liang, Yunchao Wei, Tingfa Xu, JiashiFeng, and Shuicheng Yan. Perceptual generative adversar-ial networks for small object detection. In Proceedings ofthe IEEE conference on computer vision and pattern recog-nition, pages 1222–1230, 2017. 2[23] Liang-qun Li and Yuan-liang Xie.A feature pyramid fu-sion detection algorithm based on radar and camera sensor.In 2020 15th IEEE International Conference on Signal Pro-cessing (ICSP), volume 1, pages 366–370. IEEE, 2020. 8[24] Wai Chin LI, HF Tse, and Lincoln Fok.Plastic waste inthe marine environment: A review of sources, occurrenceand effects. Science of the Total Environment, 566:333–349,2016. 1[25] Teck-Yian Lim, Amin Ansari, Bence Major, Daniel Fontijne,Michael Hamilton, Radhika Gowaikar, and Sundar Subrama-nian. Radar and camera early fusion for vehicle detection inadvanced driver assistance systems.