深度网络隐藏数据：利用深度神经网络编码信息和恢复原始消息的方法

HiDDeN：使用深度网络隐藏数据Jiren Zhu[0000−0002−2446−4630]，RussellKaplan，Justin Johnson，Li Fei-Fei斯坦福大学计算机科学系{jirenz，rjkaplan，jcjohns，feifeili}@ cs.stanford.edu抽象。 最近的研究表明，深度神经网络对输入图像的微小扰动高度敏感，从而产生了相反的例子。 虽然这个属性通常被认为是学习模型的一个弱点，但我们将探讨它是否有益。我们发现，神经网络可以学习使用不可见的扰动来编码大量有用的信息。事实上，人们可以利用这种能力来完成数据隐藏的任务 我们联合训练编码器和解码器网络，其中给定输入消息和封面图像，编码器产生视觉上无法区分的编码图像，解码器可以从中恢复原始消息。 我们表明，这些编码与现有的数据隐藏算法是compet- itive，并进一步说，他们可以鲁棒噪声：我们的模型学习重建隐藏的信息，尽管存在高斯模糊，像素的辍学，裁剪，JPEG压缩的编码图像。 即使JPEG是不可微的，我们表明，一个强大的模型可以使用可微近似训练。最后，我们证明了对抗训练提高了编码图像的视觉质量。关键词：对抗网络，隐写术，鲁棒盲水印，深度学习，卷积网络1介绍有时候，一个图像比眼睛看到的要多。图像对于不经意的观察者可能是正常的，但是有知识的接收者可以提取更多的信息。存在两种用于在图像中隐藏信息的常见设置。在隐写术中，目标是秘密通信：发送者（Alice）将消息编码在图像中，使得接收者（Bob）可以解码消息，但是对手（Eve）不能辨别任何给定的图像是否包含消息;Eve s t ask of detecting i n g e d i n g e d i m age s is called d s t e g a l y s。在给出水印时，目标是稳健地编码信息：Alice希望在图像中编码指纹;然后Eve会以某种方式扭曲图像（通过裁剪，模糊等），Bob应该能够在扭曲的图像中检测到指纹。数字水印可用于识别图像所有权：如果Alice是摄影师，那么通过在她的图像中嵌入数字水印，她可以证明那些图像的所有权，即使在线发布的版本被修改。这些作者贡献相等。2Zhu*，Kaplan*，Johnson和Fei-Fei+=覆盖图像HiDDeN扰动“Copyright ID:Fig. 1.给定封面图像和二进制消息，HiDDeN编码器产生包含消息的视觉上不可区分的编码图像，其可以由解码器以高精度恢复。通常，新一代网络能够从人眼不可见的图像中“检测”。最近的研究表明，神经网络容易受到对抗性示例的影响：给定一个图像和一个目标类，图像的像素可以被不知不觉地修改，从而使其被自信地分类为目标类[1，2]。此外，这些生成的图像的对抗性质在各种图像变换下被保留[3]。虽然对抗性示例的存在通常被视为神经网络的缺点，但它对于信息隐藏来说可能是可取的：如果一个网络可以被小的扰动愚弄而做出不正确的类预测，那么它应该可以从类似的扰动中提取有意义的信息。我们介绍HiDDeN，第一个端到端的可训练的数据隐藏框架，可应用于隐写和水印。HiDDeN使用三个卷积网络进行数据隐藏。编码器网络接收封面图像和消息（编码为比特串）并输出编码图像;解码器网络接收编码图像并尝试重构消息。第三个网络，对手，预测给定的图像是否包含编码的消息;这提供了一个对抗性的损失，提高了编码图像的质量。在许多现实世界场景中，图像在发送者和接收者之间失真（例如，在发送者和接收者之间失真）。在有损压缩期间）。我们通过在编码器和解码器之间插入可选的噪声层来对此进行建模，这些噪声层应用不同的图像变换，并迫使模型学习可以在噪声传输中生存的编码。我们通过最小化来(1)覆盖图像和编码图像之间的差异，（2）输入消息和解码消息之间的差异，以及（3）对手检测编码图像的能力。我们通过测量容量来分析我们的方法的性能，我们可以隐藏的消息的大小;保密性，编码图像可以通过隐写分析工具（steganalyzers）检测到的程度;和鲁棒性，我们的编码消息可以在各种形式的图像失真中我们表明，我们的方法在基于深度学习的隐写术中优于先前的工作，并且我们的方法也可以产生鲁棒的盲水印。该网络学习在编码图像中重建隐藏信息，尽管存在高斯模糊、像素丢失、裁剪和JPEG压缩。虽然JPEG是不可微的，但我们可以在训练时使用可微近似来可靠地训练对其扰动具有鲁棒性的网络。HiDDeN：使用深度网络隐藏数据3经典的数据隐藏方法通常使用启发式来决定每个像素要修改例如，一些算法操纵一些所选像素的最低有效位[4];其他改变频域中的中频分量[5]。这些启发式算法在它们被设计的领域中是有效的，但它们基本上是静态的。相比之下，HiD-DeN可以很容易地适应新的要求，因为我们直接优化的目标的利益。对于水印，可以简单地重新训练模型以获得针对新类型的噪声的鲁棒性，而不是发明新算法。端到端学习在隐写术中也是有利的，其中具有不同类别的嵌入函数（相同的架构，用不同的随机初始化训练，产生非常不同的嵌入策略）可以阻碍广告方检测隐写算法的能力。2相关工作对抗性的例子。对抗性示例被证明可以破坏各种网络的分类准确性，同时对原始图像的干扰最小[2]。它们通常通过在最大化一个输出神经元的方向上向每个像素添加小扰动来计算[1]。为一个网络生成的对抗性示例可以转移到另一个网络[6]，这表明它们来自常用网络的普遍属性。Kurakin等人表明对抗性的例子对图像变换是鲁棒的;当一个对抗性的例子被打印和拍照时，网络仍然会错误地分类照片[3]。而不是注入干扰，导致错误分类，我们考虑通过添加适当的干扰传输有用的信息的可能性。隐写术在文献中已经提出了各种各样的隐写设置和方法;与我们的工作最相关的是用于盲图像隐写的方法，其中消息被编码在图像中，并且解码器不具有对原始封面图像的访问。最低有效位（LSB）方法根据秘密消息的位修改每个图像像素的最低阶位;LSB方案的几个示例在[7，8]中描述通过设计，LSB方法产生视觉上不明显的图像扰动。然而，它们可以系统地改变图像的统计数据，从而实现可靠的检测[9]。许多隐写算法的不同之处仅在于它们如何定义在编码期间最小化的特定失真度量高度不可检测隐写术（HUGO）[4]通过计算局部像素邻域的权重来测量失真，从而降低边缘和高纹理区域的失真成本。WOW（Wavelet Obtained Weights）[10]使用一组方向滤波器对图像的可预测区域进行失真惩罚S-UNIWARD [11]类似于WOW，但可用于嵌入任意域。水印。水印类似于隐写术：两者都旨在将秘密消息编码成图像。然而，虽然隐写术的目标是se-4Zhu*，Kaplan*，Johnson和Fei-Fei图二、模型概述。编码器E接收秘密消息M和覆盖图像Ico作为输入，并且产生编码图像Ien。 噪声层N使编码图像失真，从而产生噪声图像Ino。解码器从噪声图像产生预测消息。对手被训练来检测图像是否被编码。编码器和解码器被联合训练以最小化来自覆盖和编码图像之间的差异的损失L1、来自输入和预测消息之间的差异的损失Lm以及来自被对手检测到的编码图像Ien的损失Lg。在通信中，作为版权保护的一种形式，水印被频繁地用于证明图像所有权。因此，水印方法将稳健性优先于保密性：即使在编码图像被修改或失真之后，消息也应该是可恢复的。非盲方法假设访问未修改的封面图像[12-14];与我们更相关的是盲方法[5]，其中解码器不假设对覆盖图像的访问。一些水印方法在图像像素的最低有效位中编码信息[7];然而，为了更鲁棒的编码，许多方法改为在频域中编码信息[5，13-15]。其他方法将频域编码与对数极坐标映射[16]或模板匹配[14]相结合，以实现对空间域变换的鲁棒性。用神经网络隐藏数据 神经网络已经被用于隐写术和水印[17]。直到最近，先前的工作通常将它们用于更大流水线的一个阶段，例如确定每个图像区域的水印强度[18]，或者作为编码器[19]或解码器[20]的一部分相比之下，我们用神经网络对整个数据隐藏管道进行建模并对它们进行端到端的训练。与[18]不同的是，HiDDeN是一种盲法：它不需要接收者访问原始图像，这在许多实际情况下比非盲方法更有用。[20]使用梯度下降进行编码，而HiDDeN在单次前向传递中隐藏信息[21]是一种最近使用对抗网络进行隐写术的端到端方法，我们在第4.1节中比较了结果。[22]训练网络将整个图像隐藏在另一个图像中。与我们的工作相反，[21，22]都没有考虑编码鲁棒性;他们的重点是隐写术，HiDDeN也可以用于水印神经网络也被应用于其他形式的数据隐藏。阿巴迪和安德森[23]表明，对抗网络可以训练密码学; Uchida等人[24]将水印嵌入到训练好的神经网络的权值中; Fang等人[25]使用LSTM将秘密消息嵌入文本。HiDDeN：使用深度网络隐藏数据522I，MM inoutI我coen G G连在一起3方法我们的目标是开发一个可学习的，端到端的图像隐写和水印模型为此，我们的系统包括四个主要组件：编码器Eθ、无参数噪声层N、解码器Dφ和对抗鉴别器Aγ。θ、φ和γ是可训练参数。编码器Eθ接收形状为C×H×W的覆盖图像Ico和长度为L的二进制秘密消息Min∈ {0， 1}L，并产生与Ico相同形状的编码图像（也称为隐写图像）Ien。噪声层N接收I_co和I_en作为输入，并且使编码图像失真以产生噪声图像I_no。解码器D恢复消息I’我从I不。同时，给定图像I∈{Ico，Ien}，即要么是封面当鉴别器预测A（I~）∈[0， 1]时，鉴别器预测I~是编码图像的概率。编码图像在视觉上应与封面图像相似 我们用大量的鉴别器损失来表征“简单”，l2个鉴别器的损失如下：I c o和I e n：L I（I c o，I en）= I c o − I e n 2 /（CHW），以及对抗性损失，鉴别器检测编码图像I e n的能力：L G（Ien）= log（1 − A（I e n））[26]。鉴别器从其预测LA（Ico，Ien）= log（1-A（Ico））+ log（A（Ien））中引起分类损失。解码的消息应该与编码的消息相同。我们使用原始消息和解码消息之间的l2距离LM（Min，Mout）=Min−Mout2/L来施加消息失真损失。我们在θ，φ上执行随机梯度下降以最小化以下损失在输入消息和图像的分发上：EΣL（M，M）+λL（I，I）+λL（I）<$（1）其中λI和λG控制损失的相对权重与此同时，我们训练鉴别器Aγ以最小化相同分布上的以下损失EIco，Min [LA（Ico，Ien）].（二）网络架构。我们的系统设置示意图如图2所示，详细信息可参见附录A。编码器首先将卷积应用于输入Ico以形成某个中间表示。接下来，我们的目标是以这样一种方式合并消息输入（长度为L），即编码器可以轻松地学习在输出的任何空间位置嵌入部分。因此，我们重新制定了存储空间，并将其“存储空间容量”调整为在特定存储空间中的存储容量。这意味着下一层中的每个过滤器都可以访问整个消息，因为它跨越每个空间位置进行卷积在更多的卷积层之后，编码器产生Ien，编码图像。噪声层，给定I_co，I_en，施加噪声并产生I_no。我们不要求Ino与Ien具有相同的维度，以便我们可以对维度改变噪声（如裁剪）进行建模。解码器首先应用若干卷积层以在中间表示中产生L个然后，它应用全局空间平均池化以产生与消息相同大小的向量L-6Zhu*，Kaplan*，Johnson和Fei-Fei高×丢弃裁剪裁剪高斯实数JPEG JPEG JPEGp=30%p=30%p=3.5%σ= 2 Q = 50掩模跌落我恩我不15 |Ien-Ino|图3.第三章。非同一噪声层的图示JPEG-Mask和JPEG-Drop是JPEG压缩的不同近似值（见图4）。上图：编码图像Ien。中间：噪声图像I否。底部：放大差异|Ien-Ino|. 即使在严重失真的情况下，例如仅保留原始图像的3.5%的裁剪层，我们的模型仍然可以学习以高精度恢复水印（见第4节）。不同的空间维度。然后应用单个线性层来产生预测消息。对手有一个类似于解码器的结构，但它反而输出二进制分类。如我们将看到的，通过改变消息长度L、图像大小C、H、W、噪声层N和权重因子λI和λG，上述网络设置可以很好地适应隐写术和水印。具体的选择将在各自的实验中讨论。噪波层。 我们的模型应该能够对各种图像失真鲁棒地隐藏图像;因此，我们考虑六种不同类型的噪声层，它们应用不同类型的图像失真。所有失真类型的示例如图3所示。标识层是最简单的：我就不会改变。Dropout和Cropout层撤销由编码器做出的一些改变，通过组合来自覆盖图像Ico和编码图像Ien的像素来产生噪声图像Ino。两种类型的噪声都保留来自Ien的像素的百分比p，并使用来自Ico的其余像素，但Dropout独立地每个像素进行此选择，而Cropout保留来自Ien的随机方形裁剪。高斯层用宽度为σ的高斯核模糊编码图像Ien，并且裁剪层产生编码图像的随机平方H′×W′裁剪，其中比率H′ ×W ′为p ∈（0，1）。JPEG图层应用JPEG压缩到Ien，其中品质因子Q∈（0， 100）。请注意，所有非同一噪声层具有控制失真强度的标量超参数：Dropout、Cropout和Crop保持来自Ien的像素的分数p，高斯具有核宽度〇;并且JPEG具有质量因子Q。我们实验了噪声层N的大量失真。Dropout、Crop和Cropout主要影响空域，而Gaussian和JPEG主要影响频域。授予噪波图层对HiDDeN：使用深度网络隐藏数据7x频率V.S.8x8 DCT块True JPEGJPEG掩码JPEG-Drop见图4。JPEG通过执行离散余弦变换（DCT）来压缩图像，以给出频率分量的8×8网格（左），然后对其进行量化，更高的频率分量被更积极地量化（左中;亮红色表示更强的量化）。DCT变换可以被实现为具有固定到DCT基础的64个滤波器的单个8x8步幅8卷积层，但是由于量化步骤，JPEG压缩是不可微分的。因此，我们使用两个可微分近似来训练模型：JPEG-Mask（中间右侧）对高频系数的固定集合进行置零，并且JPEG-Drop（右侧）对高频系数具有较高丢弃概率的信道进行置零在测试时，针对任一近似训练的模型对真实JPEG压缩表现良好;参见图5。封面也让它更具挑战性。对于LSB算法，用固定值替换每个篡改像素的噪声层类似于二进制擦除通道，而用原始像素替换编码像素的噪声层由于解码器不具有关于篡改发生在何处的信息，所以难以对后者保持鲁棒性。类似地，裁剪层不仅要求解码器是输入大小不可知的，而且它也不提供关于H′×W′裁剪来自何处的信息，进一步限制了解码器的知识。“Differentiating”虽然网络是用梯度下降训练我们成功地获得对不可微JPEG压缩的可微近似训练的鲁棒性。JPEG压缩分割图像分割成8× 8个区域，在每个区域内计算离散余弦变换（DCT）（本质上是R64中的基的变化），然后将得到的频域系数量化为不同的粗糙度。因此，仅在感知上相关信息已保存[27]。量化步骤是不可微的，使得JPEG压缩不适合基于梯度的优化。然而，量化值是信息-理论上等同于限制可以通过该“信道”传输的信息量。 为了限制通过特定频域通道传递的信息量，我们创建了模拟JPEG压缩的噪声层。这些层使用8 ×8步幅8卷积层应用DCT变换，其中每个滤波器对应于DCT变换中的基向量。因此，网络激活表示编码图像的DCT域系数掩蔽/丢弃，然后应用到DCT系数，以限制信息流;较高的频率系数更有可能被掩蔽/丢弃，见图4。然后，使用转置卷积来产生噪声图像Ino以实现逆DCT变换。000000000000000000000000000000000000000000000000000000000 00000000000y频率8Zhu*，Kaplan*，Johnson和Fei-Fei图五、使用JPEG-Mask（蓝色，DCT系数上的零掩蔽）/JPEG-Drop（红色，DCT系数上的dropout）训练的模型的位精度当针对这些近似（虚线）训练时，两者都变得对实际JPEG压缩（实线，质量Q=50）鲁棒。我们将相应的层称为JPEG-Mask和JPEG-Drop。 JPEG-掩码应用固定掩码，仅在Y通道中保留25个低频DCT系数，在U、V通道中保留9个低频DCT系数（遵循JPEG，其也在Y通道中保留更多信息其他系数被设置为零。JPEG-Drop对系数应用渐进式丢弃。实际JPEG压缩中系数的量化越粗糙，该系数在我们的模拟中被归零的这两种方法都成功地生成了对实际JPEG压缩具有鲁棒性的模型，参见图5。实作详细数据。 所有模型都在来自COCO [28]训练集的10，000张封面图像上进行训练，调整大小为实验特定的尺寸。在训练期间未看到的1000个图像测试集上进行评估消息以随机均匀抽取的每个比特进行采样对于梯度下降，我们使用Adam[29]，学习率为10−3，默认超参数。所有模型都使用批量大小12进行训练模型被训练200个历元，或者如果在多个噪声层上被训练则训练400个4实验我们在三个轴上评估我们的模型：容量，每个图像位可以隐藏的消息位数;保密性，检测我们编码图像的难度;和鲁棒性，我们的方法在面对图像失真时能够成功的程度。指标. 我们使用许多指标来衡量我们沿着这些轴的表现我们主要用每像素比特数（BPP）来测量容量，BPP是编码图像的每个像素隐藏的消息比特数;使用第3节的符号，这简单地是L/（HWC）我们主要用检测率来衡量保密性;我们训练了一个现代的隐写分析器[30]，它试图从隐写图像中分离出封面;它的测试集准确度是检测率。 作为保密性的代表，我们还可以利用峰值信噪比（PSNR）来测量隐藏图像与隐藏图像之间的图像失真;使封面图像失真更大的方法可能更容易被检测。我们使用比特精度来测量鲁棒性，比特精度是输入消息M和预测消息M’之间的相同比特数，因为我们在测试期间使模型经受编码器和解码器之间的变化图像失真。HiDDeN：使用深度网络隐藏数据9这些指标中的许多是相互竞争的 具有更高容量的模型通常牺牲保密性，因为在图像中隐藏更多信息自然会导致更大的图像失真;由于必须在图像中冗余地编码消息，所以对噪声非常鲁棒的模型通常牺牲容量或保密性。在某种意义上，隐写术和水印技术是一系列问题的两端，这些问题的优先级是这些不同的轴;隐写术强调保密性，而水印强调鲁棒性。由于HiDDeN包含了整个数据隐藏算法家族，因此我们可以通过改变消息长度L、使用不同的噪声层等来灵活地训练强调不同轴的4.1隐写术：容量和保密性我们训练我们的模型在大小为16×16的灰度图像中编码长度为L = 52的二进制消息，使我们的训练模型的容量为52/（16×16）≈ 0。203BPP。对于较大的图像，我们使用较长的消息来保留编码容量。我们的模型在图像的每个16× 16块上编码消息的L位块隐写术通常假设无噪声传输，因此我们将N设置为身份层。我们首先在图6中与传统方法[4，10，11]进行比较，然后在图7中与基于神经网络的方法[21]进行比较。图像质量我们比较了三种最近的隐写方法：HUGO [4]，WOW [10]和S-UNIWARD [11]。每个都配置了0.2 BPP的容量，以与我们的模型紧密匹配。我们在BOSS数据集[31]的512×512封面图像上测试了所有方法，这是隐写算法的常见测试平台由于我们的模型是在COCO上训练的，这展示了它对新数据的通用性。图6示出了来自我们的方法和来自HUGO的示例封面和隐写图像（其他经典基线给出的结果与HUGO不可区分）。HUGO和我们的方法都生成编码的图像，这是视觉上无法区分的封面图像。容量我们的模型与BPP的基线非常匹配（0.203 vs 0.200）。隐写术中神经网络的一个缺点是解码器网络犯错误。如图6所示，我们的方法准确地重构了消息，但并不完美，错误率为10−5。<如果需要更高的精度，则可以使用纠错码。保密 我们通过训练隐写分析器ATS [30]来区分所有方法的封面和隐写图像来测量保密性;结果示于图6中。根据作者的最佳性能建议[30]，我们为每种算法提供了具有小数据集的ATS： 250个覆盖图像和250个隐写图像。ATS通过对数据重复应用隐写算法从该未标记的测试集生成同名人工训练集最后，训练的分类器的能力，以识别测试集中的隐写图像进行评估。10Zhu*，Kaplan*，Johnson和Fei-Fei位每位检出率方法像素误差(ATS（%）雨果[4]0.200-70[第10话]0.200-68[11]第十一话0.200-68HiDDeN（模型权重已知）0.203<10−598HiDDeN（模型权重未知）0.203<10−550盖我们的方法雨果盖我们的方法雨果（一）（b）第（1）款（c）第（1）款（d）其他事项（e）（f）第（1）款图六、上图：HiDDeN与经典隐写方法的容量和保密性与基线相当的能力，如通过每像素的位数和位精度测量的，我们的方法是不可检测的（50%，不比机会）ATS的假设下下图：512×512编码图像的示例（a）封面，（b）由我们的方法编码(c)由雨果[4]编码（d）、（e）、（f）是（a）、（b）、（c）的32× 32对于我们的模型，我们评估了两种威胁场景。我们首先训练一个编码器-解码器对并评估ATS，假设它可以直接访问学习的模型。在该设置中（模型权重已知），ATS实现了98%的检测准确度，显示了当精确权重已知时我们的模型对统计分析的敏感性在第二种威胁场景中，我们考虑攻击者知道正在使用HiDDeN（此外，知道精确的架构，超参数和数据集），但无法访问训练模型本身（如果没有用于初始化参数的随机种子，则无法完全重现）的情况。为了测试这种情况，我们用不同的种子训练了五个相同的HiDDeN模型，并将这些模型提供给ATS用于构建其人工训练集。最后，我们用新的随机初始化训练第六个模型进行评估。当我们在这个第六个模型（我们的-不同的模型）上测试ATS相比之下，ATS对HUGO的检测精度为70%，WOW和S-UNIWARD的检测精度为68%这一结果表明，每个训练模型产生的图像失真模式是唯一的，这使得我们的方法无法检测到ATS没有直接访问训练模型这暗示了学习隐写术模型的优势：与静态经典算法不同，它们可以采用多种编码策略。与[21]使用完全连接的网络来生成编码图像相比，我们的方法使用卷积网络，大大提高了编码图像的图7将我们的结果与[21]进行了比较;在其比特率的两倍下，我们实现了更低的误差，并生成了更接近封面图像的图像。HiDDeN：使用深度网络隐藏数据11盖我们我们[21日]图片0. 1bpp0. 2bpp0. 1bpp误差：<10 −5<10 −52 ×10 −3见图7。我们的编码方法与[21]的比较。我们在相同大小的图像中编码两倍的比特，同时具有较小的解码误差和更好的编码图像质量。4.2水印：鲁棒性数字水印优先于容量和保密性它仅隐藏图像中的小消息，但即使在对编码图像施加显著失真之后，该信息也应该保留。通过改变在训练时应用的图像失真的类型，我们表明，我们的模型可以学习各种不同的图像失真的鲁棒性。我们在大小为C × H × W = 3 × 128 × 128的YUV彩色图像上训练我们的模型，消息长度L = 30，权重因子λI= 0。7且λG= 0。001.在身份噪声层上训练模型作为参考。在训练时间使用不同的噪声层N训练六个 模型 ：脱 落（ p = 0. 3） 、Cropout（ p = 0. 3） 、作 物（ p = 0.035）、高斯（σ = 2. 0）、JPEG掩码和JPEG丢弃。我们将这些类型的抗噪声模型称为专用模型，因为它们被训练为对特定类型的噪声具有鲁棒性。我们还通过在训练期间为每个小批量使用不同的噪声层来训练抗噪声组合模型详见补充资料。基线。据我们所知，最近的数字水印方法还没有开源实现。作为基线，我们与Digimarc [32]进行比较，Digimarc是一种用于数字水印的封闭源代码商业软件包由于Digimarc是封闭源，因此在比较HiDDeN时存在一定的限制，特别是在比较传输精度时。详细的分析和比较方法见附录。定性结果。图8显示了使用每个训练模型编码的128×128图像的定性示例，以及使用Digimarc编码的128×对于每个图像，我们报告覆盖图像I与覆盖图像I之间的PSNR12Zhu*，Kaplan*，Johnson和Fei-FeiDigimarc Identity Dropout Cropout Crop Gaussian JPEG mask JPEG drop Combined峰值信噪比（Y）62.1244.6342.5247.2435.2040.5530.0928.7933.55峰值信噪比（U）38.2345.4438.5240.9733.3141.9635.3332.5138.92PSNR（V）52.0646.9041.0541.8835.8642.8836.2733.4239.38与对手一起没有对手盖Digimarc作物高斯组合组合图8. 数字水印算法中的图像失真上图：Digimarc的覆盖图像和编码图像之间的平均PSNR，以及我们使用不同噪声层训练的模型下图：来自Digimarc和我们的模型的封面图像和编码图像，这些模型使用裁剪，高斯和组合噪声层进行训练右下角：来自使用组合噪声训练但没有对手的模型的编码图像对抗训练显著提高了编码图像的视觉质量以及编码图像Ien。我们看到，来自我们模型的编码图像在视觉上与封面图像不可区分，并且我们可以训练单个模型（组合），该模型同时对所有类型的噪声具有鲁棒性，而不会牺牲图像质量。对手。 图8还比较了两个模型的生成图像，一个模型在有对手的情况下训练，另一个模型在没有对手的情况下训练。两个模型都在组合噪声层上进行训练并单独调整。训练的模型单独的l2损失具有可见的伪影，如图1的最右边的图像所示8.针对对抗性鉴别器训练的模型产生没有可见伪影的图像（图8，右起第二张图像）。鲁棒性图像失真的强度可以用标量来控制：对于Dropout、Cropout和Crop保持百分比p，对于Gaussian保持核宽度σ，对于JPEG压缩保持质量Q。图9显示了模型在不同噪声层上测试时的位精度对于每个测试的噪声层，我们评估用身份噪声层训练的模型，即无噪声（蓝色）、在同一噪声层上训练的模型（橙色）和训练的模型在组合噪声层上（绿色）。比特精度是在训练期间看不见的1000个图像上测量的。图10报告了作为测试时间失真强度的函数的位精度。在没有噪声的情况下训练的模型在针对不同的噪声层进行测试时表现不佳由于该模型在训练期间享受编码器和解码器之间的无损传输，因此它没有动机学习对任何类型的图像失真的鲁棒性。HiDDeN：使用深度网络隐藏数据13见图9。我们的模型对不同的测试时间失真的鲁棒性。每个簇使用不同的测试时间失真。 Identity（蓝色）是在没有图像失真的情况下训练的;Specialized（橙色）是在测试期间使用的相同类型的失真上训练的;组合（绿色）在所有类型的扭曲上进行训练。见图10。在各种失真和强度下的位精度。星号表示训练期间使用的噪声强度专门的JPEG模型是在differentiable近似JPEG-Mask上训练的，该图显示了实际JPEG的性能。然而，图9中专业化模型（橙色条）的高位精度表明，当这些失真被引入训练过程时，模型可以即使失真是不可微的，这仍然是正确的：在对真正的JPEG压缩进行测试时，无噪声训练的模型具有50%的位精度，但在使用模拟的JPEG噪声训练时，这一精度提高到85%最后，我们看到，在大多数情况下，在所有类型的噪声上训练的组合模型尽管具有更高的通用性，但与专业模型相比仍具有竞争力。例如，它对Cropout的准确率达到94%，接近专业模型的97%准确率。与Digimarc比较 Digimarc是闭源代码，它只报告解码固定大小水印的成功或 失败。它没 有提供有关 其误码率的 信息，这 使得将其与HiDDeN进行比较变得困难。为了确保公平的比较，我们首先估计Digimarc的容量，然后应用与Digimarc匹配的HiDDeN的比特率的纠错码。这还允许我们将比特精度转换为解码成功率，因为可以纠正一些错误（完整方法请参见附录B根据该分析，我们认为≥95%的位精度可以与成功的Digimarc解码相当，而≤90%的位精度则是失败的解码。14Zhu*，Kaplan*，Johnson和Fei-Fei见图11。不同失真和强度下的模型性能。我们比较了无噪声训练的模型（蓝色），专门针对特定失真的模型（橙色），以及在所有失真类型上训练的组合模型（绿色）。给出了256 × 256图像（pur rp le e）的Digimarc的设计方案这两个算法被要求将比特精度转换为全重构速率。详见附录B。我们在图11中报告了比较，根据我们的分析剪切y轴。对于空间域噪声，我们的模型在高噪声强度下超过了Digimarc的性能。相对于脱落（p = 0. 1），我们的专用模型位精度≥95%，但Digimarc完全失败。相对于作物（p = 0. 1），专用模型和组合模型都具有≥95%的比特精度，但Digimarc无法重建测试的十个水印中的任何一个对于频域噪声，我们的模型比Digimarc表现更差这可能是因为我们没有对架构进行频域变换的假设，而水印工具通常直接在频域中工作。5结论我们已经开发了一个框架，用于在图像中隐藏数据，该框架使用神经网络进行端到端训练与经典的数据隐藏方法相比，我们的方法允许灵活地权衡容量，保密性和鲁棒性，以不同类型的噪声，通过在训练时改变参数或噪声层与用于隐写术的深度学习方法相比，我们展示了改进的定量和定性性能。对于鲁棒水印，HiDDeN据我们所知是第一个使用神经网络的端到端方法。最终，像HiDDeN这样的端到端方法在稳健的数据隐藏方面具有根本优势：可以将新的失真直接并入训练过程中，而不需要设计新的专用算法。在未来的工作中，我们希望看到消息容量的改进，对更多样化类型的图像失真我 们 的 工 作 得 到 了 ONR MURI 资 助 的 支 持 。 我 们 要 感 谢 EhsanAdeli ， Rishi Bedi ， Jim Fan ， Kuan Fang ， Adithya Ganesh ， AgrimGupta，De-An Huang，Ranjay Krishna，Damian Mrowca，Ben Zhang和匿名审稿人对我们工作的反馈。HiDDeN：使用深度网络隐藏数据15引用1. Goodfellow，I.J. Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。In：ICLR. （2015年）2. 塞格迪角Zaremba，W.，萨茨克弗岛Bruna，J.，Erhan，D.，古德费洛岛Fergus，R.：神经网络的有趣特性。In：ICLR. （2014年）3. Kurakin，A.，古德费洛岛Bengio，S.：物理世界中的对抗性例子In：ICLRWorkshop. （2017年）4. Pevny´，T.， 菲尔，T.， Bas，P. 在：使用高尺寸的全尺寸模型来形成高度不可检测的隐写术。Springer Berlin Heidelberg，Berlin，Hei-delberg（2010）16 1-1775. Bi，N.，太阳，Q.，Huang，D.，杨志，Huang，J.：基于多进制小波和经验 模 式 分 解 的 鲁 棒 图 像 水 印 。 IEEE Transactions on Image Processing（2007）6. Papernot，N.，McDaniel，P.古德费洛岛Jha，S.，Celik，Z.B.，Swami，A. ： 针 对 机 器 学 习 的 实 用 黑 箱 攻 击 。 In ： Proceedings of the 2017ACMonAsiaConferenceonComputerndComunicatinsSeurty，ACM（2017）5067. Van Schyndel，R.G.，Tirkel，A.Z.，奥斯本，C.F.：数字水印。In：IEEEConvence on Image Processing，1994，IEEE（1994）8. Wolfgang，R.B.，Delp，E.J.：一种用于数字图像的水印。图像处理，1996年。发布日期 Iter natini 第三卷，IEEE（1996）2199. 秦杰，Xiang，X.，Wang，M.X.：LSB匹配隐写检测方法综述。形式技术学杂志9（8）（aug2010）172510. Holub，V.，Fridrich，J.：使用方向滤波器设计隐写失真。2012 IEEEInternational Workshop on Information Forensics and Security （ WIFS ） .（Dec2012）23411. Holub，V.，Fridrich，J.，Denemark，T.：任意域隐写术的通用失真函数EURASIP Journal on Information Security 2014（1）（2014）112. 考克斯，I.J. Kilian，J.，Leighton，F. T.，Shamoon，T.：用于多媒体的安全扩频水印。IEEE图像处理学报6（12）（1997）167313. Hsieh，M.S.，曾市Huang，Y.H.：利用多分辨率小波变换隐藏数字水印IEEE工业电子学报48（5）（2001）87514. Pereira ， S. ， Pun ， T. ： 抗 仿 射 水 印 图 像 的 鲁 棒 模 板 匹 配 。IEEETRANSACTIONIMAGEPROCESSIG9（6）（20 00）112315. Potdar，V.，汉，S.，Chang，E.：数字图像水印技术综述In：3rd IEEEInternational Conference on Industrial Informatics （ INDIN 2005 ） ， I（2005）70916. Zheng，D.，赵，J，El Saddik，A.：基于对数极坐标映射和相位相关的rst不变数字图像水印。IEEE视频技术电路与系统汇刊（2003）17. Isac，B.，Santhi，V.：基于神经网络的数字图像和视频水印方案研究。国际计算机应用杂志12（9）（2011）118. Jin，C. Wang S.：一种神经网络在水印嵌入强度估计中的应用。In：Workshop on Image Analysis for Multimedia Interactive Services ， IEEE（2007）16Zhu*，Kaplan*，Johnson和Fei-Fei19. 康迪，H.，Mishra，D.，Gorthi，S.R.S.：探索卷积神经网络的鲁棒图像水印的学习能力计算机安全（2017）20. Mun，S.M.，Nam，S.H.，Jang，H.U.，Kim，D.，Lee，H.K.：一种基于卷积神经网络的鲁棒盲水印算法。arXiv预印本arXiv：1704.03248（2017）21. Hayes，J.，Danezis，G.：通过对抗训练生成隐写图像在：NIPS。（2017年）22. Baluja，S.： 隐藏图像：深层隐写术。 在：NIPS。（2017年）23. Abadi，M.，Andersen，D.G.：学习用对抗性神经密码学保护通信arXiv预印本arXiv：1610.06918（2016）24. Uchida，Y.，Nagai，Y.，Sakazawa，S.，Satoh，S.：将水印嵌入深度神经网络。国际多媒体检索会议（2017年）25. Fang，T.，Jaggi，M.，Argyraki，K.： 使用LSTM生成隐写文本。 在：ACL学生研究研讨会2017。编号EPFL-CONF-229881（2017）26. 古德费洛岛Pouget-Abadie，J.Mirza，M.，徐，B.，沃德-法利，D.，Ozair，S.，Courville，A. Bengio，Y.：生成性对