RL-GAN-Net：基于强化学习Agent控制的GAN网络实现点云形状实时补全 - CSDN文库

PDF格式 | 2.08MB | 更新于2025-01-16 | 25 浏览量 | 举报

收藏

5898

RL-GAN-Net：一种基于强化学习Agent控制的GAN网络实现点云形状

的实时补全

Muhammad

Sarmad KAIST

韩国

sarmad@kaist.ac.kr

Hyunjoo Jenny Lee

韩国

hyunjoo. kaist.ac.kr

Young Min

Kim

Jakistan

，

SNU

韩国

youngmin.kim邮件

snu.ac.kr

摘要

我们提出了

RL-GAN-Net

，其中强化学习（

RL

）代理

提供了对生成对抗网络（

GAN

）的快速和鲁棒控制我

们的框架被应用于点云形状完成，通过控制

GAN

将噪

声，部分点云数据转换为高保真的完整形状虽然

GAN

是不稳定的，难以训练，但我们通过以下方式规避了

这个问题：（

1

）在潜在空间表示上训练

GAN

，与原始

点云输入相比，该潜在空间表示的维度减少了，以及

（

2

）使用

RL

代理来找到

GAN

的正确输入，以生成最

适合不完整点云当前输入的形状的潜在空间表示。所

提出的流水线能够鲁棒地完成大面积缺失区域的点

云。据我们所知，这是第一次尝试训练

RL

代理来控制

GAN

，它有效地学习了从

GAN

的输入噪声到点云的潜

在空间的高度非线性映射

RL

代理取代了对复杂优化的

需求，从而使我们的技术实时。此外，我们证明了我

们的管道可以用来提高点云与丢失数据的分类精度

地面实况

（GT）

AE

RL-GAN-Net

中

的P

RL-GAN-Net

和GT

1.

介绍

从激光扫描仪、立体重建或RGB-D相机获取3D数据

都由于有限的视角、遮挡、传感器分辨率或无纹理区

域（立体重建）或镜面材料中的不稳定测量，原始输

出通常遭受大的缺失区域。为了利用这些测量结果，

进一步的后处理是必不可少的，包括配准、去噪、恢

复、语义理解以及最终重建3D网格模型。

在这项工作中，我们专注于填补缺失的区域

共同

通讯作者

图

1

：

给定输入数据缺失70%的原始点，点云形状完成的

定性结果。我们提出了

RL-GAN-Net

，它观察一部分输入

点云数据

（P

in

），并在几毫秒内完成形状。

即使当输入严重失真时，

与使用自动编码器（AE）的先前方法相比，我们的方法也

以高保真度完成了形状[1]。

在3D数据中通过数据驱动的方法。获取的测量值的主

要形式是非结构化和无序的3D点云因此，不可能直接

应用传统的卷积神经网络（CNN）方法，其对于结构

化数据（例如，对于像素的2D网格[20，21，5]。CNN

在3D中的扩展已被证明可以很好地与3D体素网格一起

工作[37，7，8]。然而，计算成本增长德拉斯-

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

最新资源