深度3D到2D水印的编码和解码

100310深度3D到2D水印：在3D网格中嵌入信息并从2D渲染中提取0Innfarn Yoo 1 Huiwen Chang 1 Xiyang Luo 1 Ondrej Stava 20Ce Liu 1 � Peyman Milanfar 1 Feng Yang 101 Google研究 2 Google LLC0{innfarn, huiwenchang, xyluo, ostava, milanfar, fengyang}@google.com ce.liu@microsoft.com0摘要0数字水印广泛应用于版权保护。传统的3D水印方法或商业软件通常设计用于将信息嵌入到3D网格中，并从失真/未失真的3D网格中直接提取信息。然而，在许多情况下，用户只能访问渲染后的2D图像而不是3D网格。不幸的是，从3D网格的2D渲染中提取信息仍然具有挑战性且未被充分研究。我们引入了一种新颖的端到端学习框架来解决这个问题，包括：1）一个编码器，用于在网格几何和纹理中隐蔽地嵌入信息；2）一个可微分渲染器，用于在不同的摄像机角度和不同的光照条件下渲染带有水印的3D物体；3）一个解码器，用于从2D渲染图像中恢复信息。通过实验证明，我们的模型可以学习将对人类视觉不可察觉的信息嵌入到图像中，并从经历3D失真的2D渲染图像中提取嵌入的信息。此外，我们还证明了我们的方法也可以与其他渲染器一起使用，例如光线追踪器和实时渲染器，无论是否进行微调。01. 引言0数字水印技术是版权保护、源追踪和数字内容认证的关键技术。数字水印的目标是将信息嵌入到另一个媒体中，例如图像、视频或3D模型，并能够在复制、编辑或失真的情况下解码信息。水印分为可见和不可见两种类型。本文主要关注不可见水印，即水印媒体在感知上与原始媒体相同。由于3D模型在各个领域中的广泛应用，3D水印技术面临着广泛的挑战。0� 目前隶属于Microsoft Azure AI。0信息编码0CVPR0信息解码0CVPR CVPR CVPR CVPR0解码：0图1.一个椅子网格被嵌入了“CVPR”信息，然后被渲染为图像。可以从不同视角和光照条件下的渲染图像中提取嵌入的信息。0数字水印在电影制作、游戏、3D打印、增强现实（AR）、3D建模等各种应用领域已成为数字水印的重要研究课题。传统的3D模型水印问题主要是在3D空间中嵌入和提取信息。虽然传统的3D水印方法[18,34]和商业工具[27]在3D制造和打印行业有用，但在游戏、电影制作和图形设计等媒体中却无法应用，因为这些媒体需要从3D模型的2D渲染中提取信息。0在这项工作中，我们研究了3D到2D水印的问题，即如何在3D网格中隐蔽地嵌入信息，并能够从2D渲染中稳健地恢复。最近的一些研究工作[1,15,42]表明，基于深度神经网络的方法在图像水印领域取得了最先进的性能。一种可能的解决方案是通过可微分编码器将信息嵌入到网格几何和纹理中，然后通过不同的摄像机角度和不同的光照条件渲染带有水印的3D物体，最后从2D渲染图像中恢复信息。Texture Encoder: ETVe�ex Encoder: EG* W1* W2* WNBinary Message Bits: NbDecoded Message Bits: Nb100320可微分渲染器0可微分0渲染器0编码器0噪声0裁剪0缩放0失真层0图像解码器0解码器0网格输入0消息0输入0相机和光照参数0消息输出0图2.我们深度水印的总体概述。编码器以不可察觉的方式将消息嵌入到3D网格中。然后，我们对带水印的3D网格应用一些失真，如裁剪、缩放。使用可微分渲染器生成渲染图像。然后我们从渲染的2D图像中提取消息。0利用这些方法的一种解决方案是将消息嵌入和提取到3D对象的渲染的2D图像中。然而，这种方法无法轻松地适应从不同相机视角或在不同光照和阴影条件下渲染的相同对象的2D解码。因此，这种方法是不实际的。另一种解决方案是将消息嵌入到3D网格的2D纹理中，并从2D渲染中提取消息。我们的实验证明这种方法不起作用，因为现有的深度图像水印解决方案对3D到2D渲染失真不具有鲁棒性。0为了解决这些问题，我们提出了一个端到端可训练的深度3D到2D水印框架，该框架对各种3D失真具有抵抗力，并能够从在不同光照条件和相机视角下渲染的图像中提取消息。0我们的框架包括：1）编码器；2）失真层；3）可微分渲染器；4）解码器，如图2所示。具体而言，受到使用可微分渲染器进行3D重建的进展的启发，我们采用了一种最先进的可微分渲染器来弥合3D编码和2D解码阶段之间的差距。在编码阶段，我们的模型首先将消息比特嵌入到原始3D数据的3D几何和/或2D纹理中。在解码阶段，它学习从可微分渲染器生成的2D图像中提取消息比特。我们构建了一个包括5146个带纹理的3D对象的3D到2D水印基准，并研究了不同架构在其上的性能。然后，我们通过测量其容量（即我们可以嵌入的消息大小）、鲁棒性（即在各种失真情况下的比特准确性）和质量或隐形性（即带水印/不带水印的2D渲染之间的差异）来分析我们方法的性能。0我们评估了其容量（即我们可以嵌入的消息大小）、鲁棒性（即在各种失真情况下的比特准确性）和质量或隐形性（即带水印/不带水印的2D渲染之间的差异），并展示了我们的模型可以与其他渲染器（如光线追踪和实时渲染器）一起使用，以及对其他不可微分渲染器进行微调的可行性。我们的主要贡献如下：•据我们所知，本文提出了第一种可以从其渲染的2D图像中检索编码在3D网格中的消息的3D到2D水印方法，并扩展了3D水印的用途。0•使用可微分渲染使我们的方法完全可微分，可以使用一系列可微分的3D扭曲来端到端地训练整个框架。0•我们的解码器可以从不可微分渲染器中解码嵌入的消息，并可以通过微调进一步改进。0尽管我们的模型在第4节中表现良好，但在多个方面仍存在限制。例如，与传统的3D水印方法相比，我们的方法的比特容量较低。然而，低比特容量仍然对版权保护有用（例如，零比特水印）。另一个限制是，如果攻击者使用完全不同的风格渲染技术，如卡通渲染，我们的模型需要重新训练。1003302. 相关工作0与我们的工作相关的方法被归类为水印技术、可微分渲染、神经网络架构和其他方法。02.1. 水印技术0与3D视觉数据的水印相关的工作有很多。几篇论文 [ 2 ,  34]对3D水印进行了很好的调查。早期的3D水印方法 [ 16 ,18 ,  33]利用了三角形或多边形网格上的傅里叶或小波分析。最近，Hou等人 [ 5]提出了一种利用3D打印物体中的分层伪影的3D水印方法。Son等人 [ 25]利用网格显著性作为感知度量来最小化顶点失真。Hamidi等人 [ 4]进一步扩展了网格显著性与小波变换，使3D水印具有鲁棒性。Jing等人 [ 11]通过分析顶点曲率研究了点云的水印。基于深度学习的图像水印方法 [ 1 , 15 , 35 , 39 , 42]近年来取得了很大的进展。HiDDeN [ 42]是最早的一种深度图像水印方法，与传统的水印方法相比，取得了良好的性能。此后，对该方法进行了许多扩展，包括基于循环卷积的新型架构 [ 1 ]，对更复杂失真的鲁棒性改进[ 15 , 29 , 36 ]，以及用于复杂失真的新型两阶段框架 [ 13]。02.2. 可微分渲染0可微分渲染主要用于显式的3D表示，如网格、点云和体积 [12 ,  19 ,  24 ,  38]。尽管显式的3D表示由于易于操作和在下游应用和3D软件中的流行而被广泛使用，但由于通过网格光栅化进行反向传播的困难，它们在深度学习流水线中一直被排除在外。Loper等人首次提出了一种名为OpenDR的通用可微分渲染器，它可以有效地近似对3D模型的导数。随后，出现了SoftRasterizer [ 12 ]、DiffRen [ 3 ]和Differentiable Ray-tracer [10]，并设计了不同的技术来使渲染可反向传播。在本文中，我们使用3D网格表示以与传统的3D水印工作 [ 16 ,  18 ,  33 ,34 ]保持一致，并在我们的可微分渲染组件中使用DiffRen [3 ]。02.3. 神经网络架构0对于3D数据，PointNet [ 20 ]和PointNet++ [ 21]使用了多个共享的多层感知器（MLPs）和变换层，已被广泛应用于提取3D点云的特征。PointNet架构可以很容易地扩展到3D网格顶点。卷积网格0自动编码器 [ 22]应用了Chebyshev卷积滤波器和重心网格重采样。[ 28]中引入了一种处理网格连接性和几何性的3D变分自动编码器。最近，一种完全卷积网格自动编码器 [ 40]允许可变大小的网格输入。在2D图像领域，标准的卷积神经网络（CNN）[ 7]在分类对象方面取得了显著的进展，并已积极扩展到许多其他领域。通过更深的网络进一步提高了图像分类和目标检测的准确性。U-Net [ 23]在变分自动编码器架构中对编码器和解码器特征图进行了对称连接，并在图像分割任务上显示出改进。02.4. 其他相关工作0评估3D网格的感知质量是一个没有标准化度量的开放问题。对于许多应用来说，使用简单的度量，如Hausdorff距离 [ 6]或均方根误差已经足够，但这些度量往往与人类视觉感知的实际质量相关性较差。视觉质量度量 [ 26]使用了一个额外的平滑因子，与纯空间度量相比，更能与人类视觉相关。在 [ 8]中进一步改进了相同的概念，提出了一种基于曲率统计的多尺度网格质量度量，该度量依赖于不同邻域尺度上的曲率统计。这些方法的局限性在于不可微分性和它们仅依赖于纯粹的3D几何数据，而不考虑其他因素，如材料、纹理或照明。在 [ 9]中，研究表明，使用对3D模型的渲染图像进行基于图像的质量评估是一种可行的策略，可以隐式处理所有表面和材料属性进行评估。03. 方法0图2显示了我们的深度3D水印流程，包括四个模块：a）编码器；b）扭曲层；c）可微分渲染器；d）解码器。我们将在接下来的章节中详细介绍每个模块。03.1. 定义0我们用M(V, F, T,P)表示输入网格。顶点V∈RNv×Cv包含Nv个顶点，每个顶点有Cv个顶点元素，如3D位置、法线、顶点颜色和2D纹理坐标元素。网格面F∈{0,∙∙∙,Nv−1}Nf×Cf包含顶点索引，其中Nf是面的数量，Cf是面索引的数量，对于三角形网格为3，对于四边形网格为4。T∈RHt×Wt×Ct存储纹理信息，其中Wt、Ht和Ct分别是纹理的宽度、高度和颜色通道数。网格材质颜色信息P∈R10包括环境光、漫反射、镜面RGB颜色和光泽度。我们用α |100340M∈{0,1}Nb是长度为Nb的二进制消息，将被嵌入到网格中。03.2. 编码器0改变网格面F会产生不良的伪影，而材质颜色信息P太小，无法隐藏信息。因此，我们决定将信息嵌入到顶点和纹理组件中。请注意，我们只将信息编码到顶点中的法线和纹理坐标元素中，因为改变顶点位置会创建退化的三角形并阻止反向传播。我们可以将信息嵌入到其中一个组件或两个组件中。在编码器中，我们将每个消息位Nv复制Nv次，构建一个维度为Nv×Nb的张量，以将消息嵌入到顶点组件中。为了将消息嵌入到纹理中，我们将每个消息位Ht×Wt复制Nb次，构建一个维度为Ht×Wt×Nb的张量。然后，我们将消息张量与输入顶点和/或纹理连接起来。我们将这个连接的张量定义为Vm∈RNv×(Cv+Nb)和Tm∈RHt×Wt×(Ct+Nb)，分别用于顶点和纹理情况。然后，我们得到带有水印的顶点Ve=EG(Vm)∈RNv×Cv和带有水印的纹理Te=ET(Tm)∈RHt×Wt×Ct，其中EG和ET分别是顶点和纹理信息嵌入神经网络。对于EG，我们将PointNet架构[20]设置为全卷积，并使用类似于[42]的CNN架构来处理ET。图3和图4显示了带有水印的网格和纹理的比较。从视觉上看，我们无法区分带有水印和不带水印的对。03.3. 扭曲0为了使我们的水印系统对不同的扭曲具有鲁棒性，我们在水印训练流程中添加了一个扭曲层。我们考虑了几种常用的扭曲方式：1）均值为µ，标准差为σ的加性高斯噪声；2）具有参数（α，x，y，z）的随机轴角旋转；3）具有参数s的随机缩放；4）在3D顶点上进行随机裁剪。由于所有这些扭曲都是可微分的，我们可以端到端地训练我们的网络。03.4. 可微分渲染0为了训练一个能够从2D渲染图像中提取信息的3D水印系统，我们需要一个可微分的渲染层。我们借鉴了巴勒莫等人在可微分渲染领域的最新工作[3]，该工作分为三个步骤：1）光栅化，计算每个像素的屏幕空间缓冲区和像素在三角形内的重心坐标；2）延迟着色；3）点状化，将每个光栅化的表面点转换为以像素为中心的点状物，并用相应的着色颜色进行着色。该方法在像素网格上计算平滑的导数。0关于网格顶点和每个顶点属性的导数。在本文中，我们使用Phong反射模型[17]进行着色。我们的可微分渲染示例如图5所示。在我们的流程中，我们假设有一定数量的点光源位于LiP处，强度为LiI。给定光照参数L、相机矩阵K和网格M，我们使用可微分渲染器生成输出的2D图像。0I = R D(M, K, L) ∈ RHr×Wr×3. (1)03.5. 解码器0我们使用神经网络D从渲染图像I中检索消息Mr，即Mr =D(I)。解码器网络D在几个卷积层之后使用全局池化层，以允许可变大小的输入图像，然后使用几个全连接层。最后一个全连接层具有固定数量的输出节点，即消息的长度（更多细节请参见补充材料）。为了进一步改善解码器在商业软件等不可微分渲染器上的性能，我们可以使用特定的渲染输出对解码器进行微调或训练。我们将在第4.9节中展示一个具体的例子，即实时和基于物理的渲染器。最终的消息位Mrb∈ {0, 1}Nb是通过使用公式2对预测消息进行二值化得到的。0Mrb = clamp(sign(Mr - 0.5), 0, 1). (2)0请注意，Mrb用于计算第3.6节中的消息损失，而Mrb用于评估位准确性。03.6. 损失0我们通过优化以下目标来建模3D到2D水印：1）顶点水印损失，2）纹理水印损失，3）2D渲染损失，4）消息损失。其中，顶点水印损失计算水印网格顶点Ve与原始网格顶点V之间的距离。0Lvertex(V, Ve) = �0iwi � α | V  i [ α ]  −  V  i e[ α ] |0NvCv, (3)0其中i表示顶点的一个组成部分，例如法线或纹理坐标，wi是每个组成部分的权重。通过调整wi，我们可以调整每个顶点组成部分的变化敏感性。类似地，纹理损失计算水印纹理Te与原始纹理T之间的差异。0Ltexture(T, Te) = �0HtWtCt. (4)α |100350（a）顶点差异0（b）未水印0（c）水印0（d）差异（4倍）0图3.网格的几何元素差异以颜色编码并显示在（a）中。输入网格的渲染图像、水印网格的渲染图像以及输入和水印图像之间的（4倍）差异分别显示在（b）、（c）和（d）中。0（a）未水印0（b）水印0（c）差异（4倍）0图4. 输入纹理、水印纹理和（4倍）差异图像分别显示在（a）、（b）和（c）中。0真实纹理0噪声纹理0图5. 可微分渲染结果示例。02D渲染损失计算原始网格的渲染图像Io与水印网格的渲染图像Iw之间的差异。0Limage(Io, Iw) = �03HwWw. (5)0消息丢失惩罚解码错误，由预测消息Mrb与真实消息M之间的差异定义。0Lmessage(M, Mr) = � α | M[α] - Mr[α] |0N_b. (6)0最后，总损失是所有损失的加权和，0总损失 = λ顶点损失 + γ纹理损失 + δ图像损失 +θ消息损失 + η正则化损失，(7)0其中L_reg是正则化损失，即所有网络权重的L2和，λ，γ，δ，θ和η是超参数。04. 实验04.1. 数据集0我们使用ModelNet40类数据集[37]进行训练和测试。我们将输入顶点的位置元素{x，y，z}归一化到[-1，1]，同时保持宽度、高度和深度之间的比例。然后，使用CGAL库[31]将输入网格简化为固定的三角形和顶点数，如图6所示。在数据集中固定顶点和三角形的数量是为了训练效率和内存限制。但是我们的网络可以通过在顶点编码器架构中应用全局池化层来处理不同大小的网格（详细信息请参见补充材料）。我们还手动过滤掉质量较低的简化网格。因此，ModelNet40类数据集中的网格数量减少到5146个用于训练和1329个用于测试。请注意，原始数据集的训练和测试网格数量分别为9843个和2468个。ModelNet数据集不包含纹理信息，因此我们使用球面映射分配纹理坐标，并从开放纹理数据集[41]中高斯平滑白噪声或随机选择和裁剪纹理来获取纹理。100360图6. 输入（简化）网格示例。04.2. 实现细节0网格参数 输入网格的N_v = 5000，N_f = 5000，C_f =3，C_v =5。输入纹理的高度为128，宽度为128，通道数为3。渲染图像的宽度为600，高度为400。训练和测试参数为了评估我们的方法，我们在测试数据集中随机选择100个网格，并取输出值的平均值。我们使用批量大小4，学习率0.0001进行训练。同时，我们将总损失函数中的权重设置为λ= 2.0，γ = 1.0，δ = 1.0，θ∈[0.1，2.0]，η =0.01。为了确定超参数，我们对超参数进行广泛的范围扫描，并手动选择最佳值。渲染参数我们使用常见的相机参数，包括相机位置、相机注视位置、相机上方和视野（fovy）。我们使用一个点光源，参数是点光源位置、颜色和衰减因子。在训练过程中，相机和光照参数在给定范围内随机生成。在我们的实验中，我们使用随机相机位置范围为x =0，y∈[-3，-2]，z∈[2，4]。相机始终以60°的视野朝向物体中心。点光源位置也是从均值为µ =(2，1，2)、标准差为σ =0.2的高斯分布中随机采样的。我们将所有的网络架构和训练细节放在补充材料中。请注意，以下实验中嵌入的消息都是8位的，除非另有说明。04.3. 架构0我们研究了顶点编码器、纹理编码器和图像解码器的不同架构。对于顶点编码器，我们比较了两种架构：1）PointNet；2）完全卷积的PointNet（称为PointNetv2）。表1和表2分别显示了带有和不带有纹理编码器的比较结果。如表中所示，这两种架构在性能上表现相似。0比特精度、几何L1差异和渲染图像的定量度量，然而，我们选择了完全卷积的PointNet，因为它可以接受不同大小的网格作为输入进行推理。0位准确性 几何 L1差异 渲染图像0架构 最佳 µ σ 正常纹理坐标 PSNR SSIM0PointNet 0.8553 0.7591 0.0789 0.0529 0.0805 25.57 0.9425 PointNet v2 0.82070.7213 0.0754 0.0415 0.0745 25.10 0.94160表1. 带纹理编码器的顶点编码器架构比较。0位准确性 几何 L1差异 渲染图像0架构 最佳 µ σ 正常纹理坐标 PSNR SSIM0PointNet 0.6837 0.6151 0.0366 0.1873 0.0546 28.47 0.9563 PointNet v2 0.66160.6255 0.0216 0.1506 0.0430 28.83 0.95570表2. 不带纹理编码器的顶点编码器架构比较。0对于纹理编码器，我们比较了使用基于CNN的架构[42]和完全卷积U-Net架构，如表3所示。U-Net具有更好的位准确性，而HiddeN生成的水印纹理更不可见。请注意，[15]与HiDDeN [42]具有相同的编码器和解码器架构。0位准确性 纹理0架构 最佳 µ σ L1差异 PSNR SSIM0CNN（HiDDeN）0.8269 0.7614 0.0411 0.03536 26.20 0.9113 U-Net 0.84740.7451 0.1289 0.05692 23.55 0.91430表3. 纹理编码器架构比较。0最后，对于解码器，我们评估了HiDDeN[42]和两个简单的基准模型 -一个标准CNN（4层）和一个残差CNN（4层）。如表4所示，所有架构都能检测到消息，其中HiDDeN解码器由于其较大的模型尺寸和容量而表现优于其他模型。0位准确性0架构 最佳 µ σ0简单CNN（4层）0.6396 0.6184 0.0415残差CNN（4层）0.7390 0.6453 0.0332CNN（HiDDeN）0.8269 0.7614 0.04110表4. 解码器架构比较。04.4. 位准确性与消息长度的比较0我们使用消息长度 N b ∈ {4, 8, 16, 32,48}，对每个消息长度进行10次实验，并在图7中展示位准确性与消息长度之间的关系。蓝线和区域分别表示平均位准确性、1σ、2σ和3σ范围。我们可以看到，随着位数的增加，位准确性下降。100370图7.位准确性与消息长度之间的关系。我们使用不同位数训练了我们的流水线10次，然后计算最佳和平均准确性以及标准差。04.5. 信息嵌入策略0如表6所示，当使用“仅顶点”编码器时，水印网格可以容纳的位数较少，与“仅纹理”或“顶点+纹理”编码器相比。将顶点和纹理编码器结合使用在更多位数上显示出更好的位准确性，优于“仅纹理”编码器。04.6. 位准确性与网格质量的比较0如表5所示，位准确性与网格质量之间存在明显的权衡。较高的位准确性导致纹理和渲染图像的L1差异增加，PSNR和SSIM降低。我们可以通过改变消息损失权重θ来控制这种权衡。04.7. 扭曲0我们评估了我们的方法对不同扭曲的鲁棒性，例如噪声、旋转、缩放和裁剪，如表7所示。我们可以看到，我们的方法对不同的扭曲具有较强的鲁棒性。关于上述实验的更多细节请参见补充材料。04.8. 与深度图像水印方法的比较0我们还与一种深度图像水印方法[42]进行了比较。为了进行公平比较，我们在我们的纹理图像上训练了HiDDeN编码器和解码器。对于我们的方法，我们使用训练好的HiDDeN图像编码器作为我们的纹理编码器，在训练过程中固定它，只训练我们的顶点编码器和图像解码器。在训练我们的网络之后，我们生成了渲染图像，并使用HiDDeN解码器和我们的解码器从渲染图像中解码消息位的性能进行比较。如表8所示，我们的解码器可以成功解码消息位，而其他解码器显示出几乎随机的位。这显示了我们的端到端可训练的3D-2D水印框架的有效性。04.9. 从其他渲染器解码0在表9中，行a-d显示了我们的解码器（未经过微调）从多个渲染器的渲染结果解码的比特准确性。它包括我们的可微分渲染器，实时（RT）渲染器和两个基于物理的（PB）渲染器。请注意，尽管比特准确性仍然较低，但并非随机。我们的解码器仍然可以恢复一些信息。通过像信道编码这样的技术，我们可以通过牺牲一些容量（即嵌入的有用比特数）来实现更高的比特准确性。图8显示了渲染结果的示例。此外，尽管我们无法对非可微分的渲染方法进行端到端的训练，但我们可以使用它们的渲染输出对解码器进行微调，以提高比特准确性，如表9e所示。在这里，我们创建了一个包含6000个用于训练和1500个用于测试的水印网格的数据集，然后从Eevee渲染器生成它们的渲染结果。使用渲染图像，我们对解码器进行了微调。图9显示了原始网格和水印网格的光线追踪图像以及两个图像之间的差异。0(a) Workbench (RT)0(b) Eevee (PB)0(c) Cycle (PB)0图8.不同渲染输出的示例：（a）RT渲染器，（b）PB渲染器和（c）PB光线追踪器。0(a) 未加水印0(b) 加水印0(c) 差异（4倍）0图9.从原始网格生成的光线追踪图像示例（a），从水印网格生成的光线追踪图像示例（b）以及（4倍）差异图像。0.010.54750.49970.00900.04750.05370.004246.570.98490.005536.910.97000.10.79470.72560.03960.04720.06210.005641.110.98440.006235.670.96141.00.92620.88570.02550.04370.06990.018630.740.86390.006335.350.96092.00.93250.89210.04320.20710.24040.022929.370.80620.007134.700.96035.00.87750.85620.01460.25630.28730.036325.450.66260.008832.900.955210.00.93620.82880.11350.10410.18100.054922.420.50880.010531.100.9426ageex-s.od.en-fault100380比特准确性 几何 L 1 差异 纹理差异 渲染0θ 最佳 µ σ 正常纹理 L 1 PSNR SSIM L 1 PSNR SSIM0表5. 消息丢失权重与输入和水印网格之间的差异之间存在权衡关系。较高的消息丢失权重提供较高的比特准确性，但输出的水印网格发生更大的变化。04比特 8比特 16比特 32比特 48比特0仅顶点 0.7646 0.6289 0.5717 0.5627 0.5370 仅纹理 0.95540.8970 0.7975 0.6364 0.5679 顶点+纹理 0.9208 0.8480 0.80000.6441 0.59050表6.比特准确性和不同消息嵌入策略的比较。准确性是10次实验的平均值。0失真类型 Bit Accuracy0无失真 0.9046 噪声（σ =0.01）0.9036旋转（±π/6）0.9028缩放（<25%）0.8953裁剪（<20%）0.88400表7. 不同失真的影响。0HiDDeN [42] 我们的方法0Bit Acc 0.5132 0.82130表8. 与深度图像水印方法的比较。0渲染器类型 Bit Acc0a 可微分渲染器0.7490 bWorkbench（RT）渲染器0.6341 cCycle（PB）光线追踪器0.6634 dEevee（PB）渲染器0.59730e Fine-tuned (Eevee) 0.76790表9.从不同渲染器解码的消息比特的准确性，包括RT渲染器，PB渲染器（a-d）通过我们的默认解码器以及经过微调的解码器（e）。04.10. 渲染图像的用户研究0定量指标，如L1，PSNR和SSIM，可能无法完全反映人类感知。为了评估用户是否能够区分原始和水印图像，我们通过亚马逊的MechanicalTurk进行了两项众包用户研究。我们将原始和水印渲染图像并排显示，以随机的左右顺序。然后，我们要求参与者在几秒钟内确定这两个图像是“相同”还是“不相同”。0onds。每个案例中总共评估了200对，每对由5个评估者独立评估。0相同评级 PSNR SSIM L 1  差异0纹理74.07% 47.76 0.997 0.0009 光线追踪78.06% 54.520.999 0.00040表10.关于带水印和不带水印图像的用户研究。评价者被问及这两个图像是否“相同”或“不相同”。0表10显示，在74%的噪纹理情况下，参与者回答“相同”。对于用户研究，我们使用了从可微分渲染器中渲染的图像。对于光线追踪图像，在78%的情况下，参与者回答“相同”。05. 结论、限制和未来工作0我们研究了3D到2D水印处理的问题，这是保护3D模型的版权和完整性的自动和安全解决方案的关键步骤，以防止其2D渲染图像的侵权。我们的贡献包括第一个能够抵抗各种3D失真和操作的端到端可训练模型，并对其鲁棒性、容量和准确性进行了定量和定性评估。此外，我们的方法推广了3D水印处理的用例。我们进一步分析了不同架构的效率，并探索了我们的框架在几个真实渲染器上的性能。值得注意的是，还需要更多的工作来使其更适用于实际情况。例如，我们的解码器需要重新训练以适应完全不同类型的渲染技术。改进和推广我们的解码器是一个有趣的研究课题。未来的工作包括对非可微3D失真的鲁棒性以及使解码器能够检索由传统编码器编码的消息的研究。另一个方向是探索更好的可微分渲染器，以便该框架可以模拟和推广到更复杂的3D模型或着色效果。[15] Xiyang Luo, Ruohan Zhan, Huiwen Chang, Feng Yang, andPeyman Milanfar. Distortion agnostic deep watermarking.In CVPR, 2020. 1, 3, 6[18] Emil Praun, Hugues Hoppe, and Adam Finkelstein. Robustmesh watermarking. In SIGGRAPH, 1999. 1, 3[27] support@treatstock.com. Watermark3d. https://www.watermark3d.com. 1[30] The Blender Foundation.Blender.https://www.blender.org, November 2020. 4[35] Bingyang Wen and Sergul Aydore. ROMark: A robust wa-termarking system using adversarial training. arXiv preprintarXiv:1910.01221, 2019. 3[36] Eric Wengrowski and Kristin Dana. Light field messagingwith deep photographic steganography. In CVPR, 2019. 3[37] Zhirong Wu, Shuran Song, Aditya Khosla, Fisher Yu, Lin-guang Zhang, Xiaoou Tang, and Jianxiong Xiao.3dShapeNets: A deep representation for volumetric shapes. InCVPR, 2015. 5100390参考文献0[1] Mahdi Ahmadi，Alireza Norouzi，NaderKarimi，Shadrokh Samavi和AliEmami。ReDMark：基于深度网络的残差扩散水印框架。ExpertSyst. Appl，2020年，146。1，30[2] Jihane Bennour和Jean-LucDugelay。朝着3D水印基准的发展。MMSPW，2007年。30[3] Kyle Genova，Forrester Cole，Aaron Maschinot，AaronSarna，Daniel Vlasic和William TFreeman。用于3D可塑模型回归的无监督训练。CVPR，2018年。3，40[4] Mohamed Hamidi，Aladine Chetouani，Mohamed ElHaziti，Mohammed El Hassouni和HocineCherifi。基于网格显著性和小波变换的盲3D网格水印处理，用于版权保护。Information，2019年，10(2)。30[5]侯钟旭，金道坤和李炯奎。通过分析分层伪影进行盲3D网格水印处理。TIFS，2017年，12(11)：2712-2725。30[6] D. P. Huttenlocher，G. A. Klanderman和W. J.Rucklidge。使用Hausdorff距离比较图像。TPAMI，1993年，15(9)：850-863。30[7] Alex Krizhevsky，Ilya Sutskever和Geoffrey EHinton。使用深度卷积神经网络的ImageNet分类。NeurIPS，2012年。30[8] GuillaumeLavou´e。用于3D网格视觉质量评估的多尺度度量。CGF，2011年，30(5)：1427-1437。30[9] Guillaume Lavou´e，Mohamed Chaker Larabi和LiborV´aˇsa。用于评估3D模型视觉质量的图像度量的效率。TVCG，2016年，22(8)：1987-1999。30[10] Tzu-Mao Li，Miika Aittala，Fr´edo Durand和Jaakko Lehti-nen。通过边缘采样的可微分蒙特卡洛光线追踪。TOG，2018年，37(6)。30[11]刘静，杨雅洁，马豆力，何文娟和王英辉。基于顶点曲率的三维点云模型水印算法。IJDSN，2019年，15(1)。30[12] Shichen Liu，Tianye Li，Weikai Chen和Hao Li。Softrasterizer：一种用于基于图像的3D推理的可微分渲染器。ICCV，2019年。2，30[13] Yang Liu, Mengxi Guo, Jian Zhang, Yuesheng Zhu, andXiaodong Xie.一种新的两阶段可分离深度学习框架用于实际盲水印. In  MM ,2019. 30[14] Matthew M Loper and Michael J Black. Opendr:一种近似可微分的渲染器. In  ECCV , 2014.  30[16] Ryutarou Ohbuchi, Akio Mukaiyama, and ShigeoTakahashi. 一种基于频域的三维形状水印技术. CGF ,21(3):373–382, 2002.  30[17] Bui Tuong Phong. 计算机生成图片的照明.  ACM Comm. ,18(6), 1975.  40[19] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas.Pointnet: 用于三维分类和分割的点集深度学习. In  CVPR , 2017.30[20] Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J.Guibas. PointNet: 用于三维分类和分割的点集深度学习. In  CVPR, 2017.  3 ,  40[21] Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas JGuibas. PointNet++: 度量空间中点集的深度分层特征学习. InNeurIPS , 2017.  30[22] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, andMichael J. Black. 利用卷积网格自编码器生成三维面部. In  ECCV ,2018.  30[23] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-Net: 用于生物医学图像分割的卷积网络. In  MICCAI , 2015.  30[24] Vincent Sitzmann, Justus Thies, Felix Heide, MatthiasNießner, Gordon Wetzstein, and Michael Zollh¨ofer.Deep-voxels: 学习持久的三维特征嵌入. In CVPR , 2019.  30[25] Jeongho Son, Dongkyu Kim, Hak-Yeol Choi, Han-Ul Jang,and Sunghee Choi. 利用网格显著性进行感知性三维水印. InICISA , 2017.  30[26] Olga Sorkine, Daniel Cohen-Or, and Sivan Toledo.用于网格编码的高通量化. In  SGP , 2003.  30[28] Qingyang Tan, Lin Gao, Yu-Kun Lai,