AR虚拟镜面映射预测：从竞品分析到深度学习方法

项目1_v2文档聚焦于2020年11月至2021年6月期间的AR虚拟镜面小球环境映射预测技术的研究与改进。在这个项目中，核心挑战是如何提高AR应用中虚拟物体的高反射表面与周围环境的真实映射，以提升用户体验。最初，团队进行了竞品分析，发现A公司竞品在纹理清晰度、结果变化范围以及场景泛化能力上存在不足。 在12月，研究者深入调研了LightHouse算法，这是一种基于深度学习的模型，它解决了传统方法如DeepLight和Fastspatially*的局限，这些方法要么只预测单个光照，要么仅估计每个位置的照度。LightHouse通过预测三维体积RGBα模型并考虑视场外的内容，利用窄基线立体对图和球面全景图进行训练，即使没有3D Groundtruth也能实现实时渲染。通过比较deeplight等论文，团队设计了更有效的训练策略，将原来的FOV图转换为经过裁剪和随机填充的pano图，以解决像素间不匹配的问题。 在1月，他们引入了在线生成系统，简化了训练过程，只需提供pano文件夹。团队还采用了混合损失函数，即在已知区域使用L1损失确保像素对应，而在整体图像上采用L2损失使图像更平滑。这一改进的关键函数`defGenerator()`定义了一个卷积神经网络架构，包括多个下采样层，如64、128、256、512等不同深度的特征提取，以便更好地处理图像数据。 项目1_v2的核心内容围绕AR虚拟物体环境映射的优化技术，包括竞品分析、深度学习方法的引入、训练数据处理和网络结构的设计，旨在提升虚拟物体在真实环境中的视觉效果，从而提升AR应用的沉浸感和用户满意度。