Apollo公开课:构建纯视觉感知的合成数据集解析

需积分: 5 5 下载量 33 浏览量 更新于2024-08-05 收藏 3MB PDF 举报
"Apollo公开课分享了如何为纯视觉感知生成合成数据集,强调了合成数据集在减少人工标注成本和提供多样性数据上的优势,并对比了现有的合成数据集,特别是Apollo的高分辨率数据集特点和提供的多种真值类型。制作合成数据集的技术挑战包括创建新场景和解决Domain Gap问题,采用的方法包括提高渲染质量、Domain Adaptation和Domain Randomization等。" 在纯视觉感知系统中,相机作为主要传感器取代了昂贵的LiDAR,提供了一种经济高效的感知解决方案。然而,这样的系统依赖于大量精确标注的数据来训练。传统的数据采集和标注方法既耗时又昂贵,而且往往存在错误。合成数据集的出现,解决了这个问题。通过使用游戏引擎,可以快速生成包含各种环境、天气和路况的精确真值数据,无需人工干预。 合成数据集的显著优势在于其灵活性和可扩展性。它可以模拟现实世界中难以获取或无法获得的情况,如极端天气、夜间驾驶、不同道路条件等。此外,合成数据集还可以轻松创建不同时间、车辆颜色和随机障碍物的多样化数据集,这对于训练视觉感知模型至关重要,有助于增强其泛化能力。 当前的合成数据集有多种来源,一些基于游戏引擎,例如Apollo的数据集,拥有高分辨率图像和超过27万张独立图片,覆盖了高速公路、城市、住宅区和室内停车场等多个场景。这些数据集提供的真值包括二维和三维包围盒,以及Apollo特有的三维车道线真值,这对于自动驾驶系统的车道保持和路径规划尤其有用。 制作合成数据集的技术挑战主要包括两方面:一是高效创建新的、多样化的场景;二是解决真实数据与合成数据之间的Domain Gap问题,即两者之间的差异可能导致模型在真实世界中的表现下降。为解决Domain Gap,可以采用提高渲染质量、Domain Adaptation(领域适应)和Domain Randomization(领域随机化)策略,以及Image-to-Image Translation技术,来尽可能地使合成数据接近真实世界。 虚拟测量法是一种常用的技术,通过拍摄多张真实照片并进行对齐,生成点云,构建三维模型。但为了适应实际应用,通常需要对密集的三维模型进行简化,以保证计算效率。 Apollo的这种方法展示了在生成高质量合成数据集方面的努力和创新,对于推动纯视觉感知技术的发展具有重要意义。