Apollo公开课：构建纯视觉感知的合成数据集解析

"Apollo公开课分享了如何为纯视觉感知生成合成数据集，强调了合成数据集在减少人工标注成本和提供多样性数据上的优势，并对比了现有的合成数据集，特别是Apollo的高分辨率数据集特点和提供的多种真值类型。制作合成数据集的技术挑战包括创建新场景和解决Domain Gap问题，采用的方法包括提高渲染质量、Domain Adaptation和Domain Randomization等。" 在纯视觉感知系统中，相机作为主要传感器取代了昂贵的LiDAR，提供了一种经济高效的感知解决方案。然而，这样的系统依赖于大量精确标注的数据来训练。传统的数据采集和标注方法既耗时又昂贵，而且往往存在错误。合成数据集的出现，解决了这个问题。通过使用游戏引擎，可以快速生成包含各种环境、天气和路况的精确真值数据，无需人工干预。 合成数据集的显著优势在于其灵活性和可扩展性。它可以模拟现实世界中难以获取或无法获得的情况，如极端天气、夜间驾驶、不同道路条件等。此外，合成数据集还可以轻松创建不同时间、车辆颜色和随机障碍物的多样化数据集，这对于训练视觉感知模型至关重要，有助于增强其泛化能力。 当前的合成数据集有多种来源，一些基于游戏引擎，例如Apollo的数据集，拥有高分辨率图像和超过27万张独立图片，覆盖了高速公路、城市、住宅区和室内停车场等多个场景。这些数据集提供的真值包括二维和三维包围盒，以及Apollo特有的三维车道线真值，这对于自动驾驶系统的车道保持和路径规划尤其有用。 制作合成数据集的技术挑战主要包括两方面：一是高效创建新的、多样化的场景；二是解决真实数据与合成数据之间的Domain Gap问题，即两者之间的差异可能导致模型在真实世界中的表现下降。为解决Domain Gap，可以采用提高渲染质量、Domain Adaptation（领域适应）和Domain Randomization（领域随机化）策略，以及Image-to-Image Translation技术，来尽可能地使合成数据接近真实世界。 虚拟测量法是一种常用的技术，通过拍摄多张真实照片并进行对齐，生成点云，构建三维模型。但为了适应实际应用，通常需要对密集的三维模型进行简化，以保证计算效率。 Apollo的这种方法展示了在生成高质量合成数据集方面的努力和创新，对于推动纯视觉感知技术的发展具有重要意义。