2273学习隐形标记的隐藏代码中的网络到在线摄影Jun Jia1*，Zhongpai Gao2*，Dandan Zhu2，Xiongkuo Min1，Guangtao Zhai1†，Xiaokang Yang21上海交通大学图像通信与网络工程研究所2上海交通大学{jiajun0302，gaozhongpai，ddz，minxiongkuo，zhaiguangtao，xkyang}@ sjtu.edu.cn摘要QR（快速响应）码被广泛地用作线上到线上的通道以传达信息（例如，链接）从宣传材料（例如，显示和打印）到移动设备。但二维码不利于占用宣传品的宝贵空间。最近的作品提出了无形的代码/超链接，可以传达隐藏的信息，从网上到网上。然而，它们需要标记来定位不可见代码，这由于标记而不能实现不可见代码可见的目的。本文提出了一种新的不可见信息隐藏体系结构，包括隐藏、定位、校正和恢复，其中不可见标记被学习以使隐藏代码真正不可见。我们将信息隐藏在子图像而不是整个图像中，并在端到端框架中包含本地化模块。为了同时获得高的视觉质量和高的发现鲁棒性，提出了一种有效的多阶段训练策略实验结果表明，该方法在视觉质量和鲁棒性方面均优于现有的信息隐藏方法。此外，隐藏代码的自动定位显著减少了手动校正照片几何失真的时间，这是移动应用中信息隐藏的革命性创新。1. 介绍用智能手机扫描二维码，为人们随时随地从网上获取信息提供了方便。然而，随着用户对体验质量（QoE）要求的不断提高，QR码不美观的外观限制了其在交互式视觉媒体、用户生成内容（UGG）的IP保护等领域的应用为了在保持良好QoE的同时实现线上到线上体验，不可见信息隐藏成为一种新颖的替代方案[11，20]。核心*同等贡献†通讯作者在显示/打印相机场景中的信息隐藏的要求是使信息对人眼不可见但可被移动设备检测到。在显示/打印相机场景中隐藏不可见信息的一般过程包括五个步骤，如图1所示：（i）在图像中编码信息，（ii）显示/打印，（iii）捕获，（iv）定位编码信息并校正几何失真，以及（v）解码。上述过程的主要挑战在于，解码过程需要从包含由相机成像过程引起的失真的照片中恢复隐藏的信息。这些失真可以根据其来源分为三类：（i）来自环境，例如，亮度、对比度和颜色失真），(ii) 从相机侧，例如，散焦模糊、噪声和压缩，（iii）从摄影者方面，例如，运动模糊和几何失真。我们将包含隐藏信息的图像定义为编码图像。现有的方法[7，8，11，20，25]可以在上述失真下恢复隐藏信息。然而，这些方法假设提供了照片中编码图像的四个顶点的坐标因此，这些方法需要预处理以定位编码图像现有的预处理方法通常用于消除几何失真包括两类：手动定位[8，25]和自动定位[7，11，20]。手动定位是手动找到编码图像的四个顶点，如图1。然而，手动定位顶点坐标是耗时的，并且当隐藏代码不可见时有时是困难的。传统的自动定位需要额外的标记，使得具有失真的编码图像与背景区分开这些方法添加可见的标记，如边界框[11]和条形码[7]，围绕编码图像。但是，这些标记打破了隐形密码的隐形性除了传统的自动方法，Tancik等人。2274封面图片子图像隐藏代码(ii) 显示高效1(iii) 捕获，（iv）自动定位和校正DataMatrix隐藏区域(i)编码（x1，y1）（x2，y2）耗时(x4，y4）（x3，y3）校正图像现有的方法：隐藏在整个图像中，手动定位和校正图1.所提出的方法与以前的方法[7，8，11，20，25]的比较与以往的方法相比，该方法能够自动定位包含隐藏信息的准确位置，在移动应用中具有较高[20]提出StegaStamp，这是一个端到端的可训练框架。[20]的编码器和解码器由卷积神经网络（CNN）组成。在训练期间，Ste- gaStamp使用一系列可微分失真操作来处理编码图像并将失真图像馈送到其解码器。因此，解码器可以学习在不同失真下定位和恢复信息。然而，实验结果表明，基于CNN的解码器容易受到几何失真的影响，因此仍然需要额外的标记（白色边界）来定位[20]中的编码图像。提出了一种新的显示/打印摄像机场景下的不可见信息隐藏模型，该模型通过学习不可见标记自动定位隐藏信息（数据矩阵）。受[11，20]成功的启发，所提出的模型是一个基于CNN的端到端框架，由编码器，失真网络，定位网络和解码器组成与[7，8，11，20，25]不同，编码器在子图像而不是整个封面图像中隐藏信息（数据矩阵），使得子图像外部的图像区域被视为照片中的背景失真网络的作用类似于[20]，解码器从失真的子图像中恢复信息。我们首次在失真网络和解码器之间添加了一个本地化网络。与人工定位或添加人工标记不同，编码器和定位网络的联合训练使编码器学习在子图像周围生成不可见标记，而定位网络学习在各种失真，特别是几何失真下检测这些不可见标记换句话说，优化目标是使隐藏代码的标记对人眼不可见，但可以被定位网络检测到。给定检测到的子图像的坐标，我们可以去除几何失真，使得解码器仅需要从校正的子图像恢复信息本文的主要贡献总结如下：• 本文提出了一种新的信息隐藏算法---隐式信息隐藏算法。在显示/打印相机场景中的结构，包括信息隐藏、定位、校正和信息恢复。• 我们第一次学习了不可见的标记，并在端到端框架中开发了一个隐藏代码的本地化模块。编码器和定位网络的联合训练生成人眼不可见但可由定位网络检测的标记，这大大减少了校正几何失真的时间而不破坏视觉不可见性。• 为了在不可见标记的可检测性、隐藏代码的恢复准确性和视觉不可见性之间实现良好的权衡，我们提出了一种有效的多阶段训练策略。设计了一系列的损失函数，使含有隐藏信息的子图像对人眼来说是舒适的。2. 相关工作随着物联网的发展，条形码已经成为连接物理世界和虚拟世界的最重要的媒介。然而，条形码的外观并不美观，并且占用了宣传品的宝贵空间。为了解决这些限制，提出了许多美学条形码[1隐形信息隐藏包括隐写术和数字水印两大分支。隐写术在信息安全领域有着广泛的应用。根据信息安全的要求，隐写算法需要高的信息容量和抗隐写分析的安全性[14]。根据信息隐藏的领域，隐写术可以分为空间隐写术，例如，最低有效位（LSB）和变换域中的隐写术[12，16]。最近，(v)解码作者：Xxx.Xx日期：xxxx-xx-xx链接：www.xx.com2275×××× ×图像损失Concatenate（二）扭曲网络封面图片（M，M，3）子图像（N，输入（N，(i)编码器（U-编码子图像（N，N，3） 整像（M，M，3）数据矩阵N 0.5*M本地化损失（N，N，1）回收数据矩阵（四）解码器（N，N，1）（U-Net）校正子图像（N，N，3）定位结果（M，M，失真图像（M、M、(iii)本地化网络（Hrnet）挽回损失图2.建议模型的管道。编码器将数据矩阵隐藏在整个封面图像的子图像中。失真网络应用可微分运算来处理包含编码子图像的整个图像。定位网络定位出畸变子图像的准确位置。根据定位结果，对子图像的几何失真进行校正，解码器从校正后的子图像恢复隐藏数据矩阵。提出了许多基于深度神经网络的方法[19，22，25，26]。与隐写术不同，数字水印的主要应用是产权保护，对水印恢复的准确性要求高，而不是高安全性和信息容量。数字水印还包括空间水印[13，17]、变换域水印[5，7，8，21]和基于DNN的水印[11，15，20，27，29]。最近，提出了一些方法来取代条形码在计算机到在线消息传递中的作用[7，8，11，20]。由于这些方法没有考虑到隐藏代码在体系结构中的定位，因此在实际应用中需要手动定位隐藏代码或添加可见标记来检测编码3. 方法如图2所示，所提出的模型是一个端到端框架，包括编码器、失真网络、定位网络和解码器。以下小节将详细描述这些模块。3.1. 编码器编码器将信息隐藏在覆盖图像的所选子图像中，使得隐藏的数据矩阵对人眼不可见。封面图像是256 ×256 RGB图像，子图像是封面图像的96 × 96子区域，隐藏信息是96 × 96数据矩阵。我们将数据矩阵连接到子图像的最后一个通道以生成96 96 4张量，并将此张量发送到编码器作为输入。我们使用U-Net [18]作为编码器，它接收96×96×4张量并输出96×96RGB图像。在编码之后，我们用编码的子图像替换原始子图像。3.2. 失真网络从数字图像到照片的成像过程可能会导致显示/打印图像的质量下降。受[11，20，29]的启发，我们在编码器和定位网络之间插入一个失真网络，以模拟摄像机成像过程引起的质量下降。在训练过程中，失真网络使用不同的图像处理操作来处理编码后的整个图像，但不保留任何推理参数。在失真网络的帮助下，局部化网络和解码器可以学习抵抗这些失真。根据这些失真的来源，我们将失真分为三类：（1）环境因素引起的失真（亮度、对比度和色彩失真），（2）摄像机侧面引起的失真（高斯模糊、随机噪声和JPEG压缩），（3）摄影机侧面引起的失真（运动模糊和几何失真）。这些变形的实施细节和设置在补充材料中介绍。3.3. 定位网络为了从整个失真图像中定位编码的子图像，所提出的架构在失真网络和检测网络之间插入一个定位网络。编码器定位网络接收整个失真图像（256×256×3），为每个顶点（64×64×4）预测热图，并计算每个顶点的坐标2276×Σ||× ×× ×× ×4X下采样（M/4，M/4，C）2X（M/4、M/4.4）输入（M，M，3）4X卷积层特征图下采样上采样损失函数MSE图3.本地化网络（HRNet [23]）的架构。根据预测的热图Hpre.定位网络是HRNet [23]的变体版本，HRNet是一种具有并行多分辨率子网络和重复多尺度融合的架构。图3显示了HRNet的简化架构。在接收到失真图像后，定位网络使用两个3× 3核的卷积层和步长2来处理输入图像，然后将下采样的特征图发送到HRNet的第一个高分辨率模块本文中使用的HRNet包括四个不同规模的并行子网络（由于段落有限，图3显示了三个通过此外，为了使隐藏信息在几何失真下可解码，[20]的编码器将牺牲所生成图像的视觉质量。因此，在局部化网络的帮助下，我们的解码器可以专注于恢复除几何失真之外的其他失真下的信息3.5. 培训战略在描述训练策略之前，我们分析了每个模块的优化目标。编码器的目标是使编码后的图像具有良好的视觉质量，定位器的目标是在失真情况下找到目标子图像，解码器的目标是在除几何失真以外的失真情况下恢复隐藏的信息。然而，如果我们一开始就联合训练这三个模块，很难在这些计算目标因此，我们提出了一种有效的多阶段训练策略，以实现视觉质量和鲁棒性之间的良好权衡3.5.1第一阶段在这个阶段，我们只优化定位网络和解码器。优化定位网络的损失函数定义为Lloc：多尺度特征提取和多尺度特征融合，第一尺度（第一行）中的最终特征图L锁定（Hgt，Hhrw2）=1Hw2gt-Hhr ||2,(1)图3的）具有足够的信息来预测每个顶点的热图。为了监督四个顶点的坐标的回归，我们将坐标值转换为热图Hgt（64 64 4）作为地面实况。通过应用具有以每个顶点的坐标值为中心的1个像素的标准偏差的2D高斯分布来生成地面实况热图Hgt。预测后，将热图转换为坐标值，根据坐标值计算透视矩阵，并利用透视变换校正几何偏差。编码子图像的扭曲。校正后的子图像大小为96×96×3。3.4. 解码器解码器接收校正后的编码子图像（96 96 3）并恢复隐藏数据矩阵 (96 96 3）。 解码器的结构与编码器相同[18]。虽然在定位网络的帮助下消除了几何失真，但与原始图像相比，解码器输入仍然具有其他失真，例如噪声、模糊以及亮度和对比度的变化。这些失真来自于失真网络的处理，帮助解码器学习重新覆盖这些失真下隐藏的数据矩阵。在[20]中，Tancik等人发现，通过将几何失真的图像馈送到解码器来使解码器学习抵抗几何失真是困难的。此外─其中w是地图宽度，Hgt是地面实况热量map和Hpre是HRNet预测的热图。优化解码器的损失函数定义为Ldec：L dec（dm，dm'）=Cross−Entropy（dm，dm'），（2）其中dm是地面实况数据矩阵，dm'是由U-Net恢复的数据矩阵。该阶段的总损失函数公式如下：L1−stage=λ1<$Lloc+λ2<$Ldec，（3）其中λ1和λ2分别设置为30和13.5.2第二阶段在第一阶段之后，我们的模型可以准确地定位编码的子图像，并从编码的子图像中恢复数据矩阵，而然而，由编码器编码的子图像具有差的视觉质量，因为我们没有优化编码器，但是端到端训练还在L_loc和L_dec的监督下更新编码器的参数。因此，我们将Lpix和Lperp用于第二阶段如下：L2−stage=λ1<$Lloc+λ2<$Ldec+（λ3<$Lpix+λ4<$Lperp），（4）其中Lpix是L2范数，Lperp是LPIPS [28]。λ1和λ2被设置为与第一阶段相同的值，λ3和λ4被设置为1。3.5.3第三阶段通过对上述各阶段的优化，生成的子图像可以达到良好的视觉质量，而局部2277SΣ××× ×××因此，该解码器可以保持良好的性能。然而，与原始子图像相比，所生成的子图像在其边缘处具有明显的标记并且具有四个顶点，如图9所示。从可解释性的角度来看，这些标记是通过编码器的端到端训练和定位来学习的。编码器生成这些标记以帮助定位网络找到失真下的编码子图像。因此，该阶段受[20]的启发，我们提出了一种余弦增益方案来实现上述目标.形式上，我们将权重矩阵定义为：强度度量散焦（内核大小）运动（内核大小）经纱（像素偏移）IoU↑BER↓PER↓3×32×2[-15，+15]0.94470.00%的百分比0.01%[-20，+20]0.9230百分之一百分之零点九四[-25，+25]0.92304.39%4.38%[-30，+30]0.868511.73%11.86%5×53×3[-15，+15]0.95220.10%百分之零点零八[-20，+20]0.93590.10%百分之零点一三[-25，+25]0.94280.00%的百分比0.01%[-30，+30]0.9039百分之九点零八9.19%7×74×4[-15，+15]0.635419.69%百分之十九点五四[-20，+20]0.6418百分之二十百分之十九点八七[-25，+25]0.626921.63%21.76%[-30，+30]0.551220.41%20.68%表1. 在此基础上，研究了在defo-Mcos[i，j]Cos（=10 - 12 -2016刘晓波（2∗s<$π<$dy[j]+π）+1N，（5）2引起模糊、运动模糊（度=15μ m）和几何失真。一次训练所有损耗，解码和定位损耗是其中N是子图像的宽度，s是4，（i，j）表示像素坐标 ， 并 且 dx/y 是 沿 x 轴 或 y 轴 到 边 缘 的 距 离 。 当dx/y∈/[0，N）时，我们设dx/y=N。我们将这个矩阵乘以Lpix，难以收敛。Eq.的权重参数7已设置如下：λ1=30，λ2=1，λ3=1，λ4=1，λ5=1。关于训练策略的参数的设置在3.5节中描述，失真层的设置在3.5节中描述。因子fS获得成本Lcos：在第3.2节中描述。我们选择Adam作为优化器，Lcos =fcos （1−Mcos）Lpix将初始学习率设置为10−4。在每个训练阶段，学习速率随余弦退火时间表衰减=fcosN2（1−M[0.N]cos[i，j]）||我ori[i，j]−Ienc[i，j]||2（六）直到它衰减到4×10-5。批量为32。其中fcos为10。第三阶段的总优化目标用公式表示为：4.3.评估指标我们使用Intersection over Union（IoU）作为度量L3−stage=λ1<$Lloc+λ2<$Ldec+（λ3μLpix+λ 4μLperp+λ5μLcos），（七）为了评估定位网络的性能：Aerapre-Aeragt其中，L增益是Lcos或Lgau，λ5被设置为1，并且λ1、2、3、4被设置为与上述级相同的值。IOU=AERA预 埃雷拉gt 、（8）4. 实验结果4.1. 数据集训练集由来自PAS的1，200张图像组成其中Area_pre是局部化子图像的面积，并且地面实况的面积。为了评估解码器的性能，我们使用误码率（BER）和像素误码率（PER）作为度量：n错误p错误BER=，PER=，（9）镜头（字符串）大小（数据矩阵）CAL VOC 2012 [6].测试集由PASCAL VOC 2012 [6]中的300张图像和RI-HOOP [11]使用的100张图像组成。封面图像的大小为256 256 3，子图像的大小为96 963。隐藏数据矩阵由pylibdmtx1生成，它是一个16 × 16矩阵。为了与子图像对齐，我们调整数据矩阵的大小，9696像素。 数据区中的总位数为196位，其中编码数据的长度为96位，其它位表示纠错码和填充码。4.2. 超参数设置N2278如第3.5节所述，培训过程分为三个阶段。在训练中 ，我 们 分别 使 用800 epoch、1 ，000 epoch 和300epoch用于第一阶段、第二阶段和第三阶段的训练。如果我们1https://pypi.org/project/pylibdmtx/其中，nerr是错误比特的数量，len（str）表示隐藏消息 的 长 度 ， perr 是 错 误 像 素 的 数 量 ， 并 且 size（datamatrix）表示数据矩阵的分辨率。此外，我们使用PSNR和SSIM [24]来评估视觉质量。4.4. 基于仿真的鲁棒性测试在本节中，我们测试了我们的模型对合成失真的鲁棒性。除了训练中使用的失真之外，我们还通过添加训练中未知的失真类别来测试模型对未知失真的泛化能力。对于每个失真类别，我们设置不同的失真级别。有关这些设置的更多详细信息，请参见补充材料。我们在图4中给出了不同失真类别下的解码结果。从图4中，我们可以发现我们的模型对JPEG压缩和运动模糊比较脆弱。此外，本发明还提供了一种方法，2279BER-darkerPER- 较 暗BER- 较 亮PER-较亮BER-JPEG压缩×4545404035353030252520201515101055001 2 3 4 5 6 7 8水平(a) 亮度45454040353530302525202015151010550012345678 9水平(e)JPEG压缩1 2 3 45水平(b) 对比1 2 3水平(f) 散焦模糊4540353025201510501 2 3 4 56水平(c)颜色4540353025201510501 2 3水平(g) 运动模糊45403530252015105012345678910水平(d)噪声4540353025201510501 2 3 4 5 6水平(h) 几何失真图4.在不同的失真下，解码结果的误码率（BER）和误象素率（PER）水平BER↓PER↓垂直BER↓PER↓左60度7.32%7.39%Down60mm8.72%8.70%左45度0.46%0.49%Do wn451.20%1.26%左30度0◦0.64%0.46%0.66%0.45%Do wn30分钟0◦0.54%0.46%0.56%0.45%右30度0.18%百分之零点二二上升30度0.61%0.65%右45度1.71%1.72%上升45度百分之一点二八百分之一点二四右60度1.33%百分之一点二八上60度5.66%5.70%GroundT ru thDown60向东45°0°向上45°向上60°表2.不同拍摄角度下的解码结果。4.5.1对不同拍摄角度的在这个实验中，我们固定了摄像机的位置，调整了显示器图5.在不同垂直拍摄角度下拍摄的照片图4显示，我们的模型对训练中的未知失真具有鲁棒性在实验中，我们发现定位结果的错误会导致解码失败。例如，当JEPG的质量因子为10时，平均IoU仅为0.25，因此发送到解码器的子图像不包含全部信息。我们在表1中列出了IoU和错误率之间的相关性。4.5. 野外稳健性为了进一步验证所提出的信息隐藏模型在真实场景中的实用性，我们在各种拍摄条件下拍摄了大量的照片来测试我们的模型的鲁棒性在这些实验中，我们使用两款智能手机（Redmi Note 9和iPhone 10）来验证不同相机的泛化能力监视器是戴尔S2421HSX和打印机在这个实验是彩色消费打印机。我们从不同的拍摄角度和不同的拍摄距离拍摄这些照片角度如图5。我们将显示器和智能手机之间的距离由于生成的图像，年龄显示在其原始分辨率没有任何缩放，我们大致裁剪出编码图像的区域，并调整裁剪区域的大小为256 256如图5。图5的第一行显示原始照片，第二行显示调整大小后图像的定位结果与[11]和[20]不同的是，这个过程不需要手动找到编码图像的准确顶点或在编码图像周围添加白色边框。不同拍摄角度下的解码结果如表2所示。当拍摄角度为向下60°时，错误率最高，但仍小于10%。实验结果表明，该模型对不同角度的拍摄都具有较好的鲁棒性4.5.2对不同射击距离的在这个实验中，我们固定了显示器的方向，并调整了拍摄距离（5 cm，10 cm，20 cm，30 cm，40 cm和50cm）。我们在表3中给出了解码结果，在图6中给出了一些可视化结果。图6中的目标子图像具有不同的分辨BER递增PER-增加BER-减少PER-减少BER调整颜色BER随机噪声PER-随机噪声BER平均值PER平均值BER-高斯BER-中位数PER-中位数BER-双边PER-双边BER-5度PER-5度BER-15度PER-15度BER-30度PER-30度BER-几何失真错误率（%）错误率（%）恢复的结果捕获图像定位结果子图像2280率，因为不同的拍摄距离导致缩放。我们调整尺寸2281×地面实况5厘米10厘米20 cm 30 cm 50 cm原始编码原始编码图8.原始图像和生成图像的比较。[20]和[11]隐藏整个图像中的信息图6. 在不同拍摄条件下拍摄的照片-以及相应的定位和解码结果。拍摄距离错误位↓BER↓错误像素↓PER↓5厘米1.05比特0.54%26.25像素0.54%10厘米0.40位0.20%10.40像素百分之零点二一20厘米1.40比特0.71%36.65像素0.75%30厘米1.10比特0.56%27.50像素0.56%40厘米0.70位0.36%18.00像素0.37%50厘米8.00比特4.08%201.4像素4.11%表3.不同拍摄距离下的解码结果。在将这些子图像输入到定位网络之前，将这些子图像输入到256。定量结果表明，我们的模型是足够强大的不同的拍摄距离。4.5.3对打印图像的在这个实验中，我们测试了我们的模型在打印相机场景中的鲁棒性。我们在图7中给出了一些例子，其中照片包括不同的照明条件和不同的背景。Redmi Note 9的平均BER和PER分别为1.37%和1.38%。iPhone 10的平均BER和PER分别为0.27%和0.28%。这些结果表明，我们的模型是足够强大的打印图像，以及推广到不同的相机模型。纸质背景反射和阴影反射和阴影 透视失真图7.打印后拍摄的照片。这些例子包括不同的照明条件和不同的背景。4.6. 与最先进方法的在本节中，我们将我们的模型与最先进的方法进行比较：StegaStamp [20]和RIHOOP [11]。Ste- gaStamp和RIHOOP都是基于深度学习的信息其不能控制隐藏区域。因此，[20]和[11]中生成的图像在低频区域（例如墙壁和天空）具有显著的质量下降。隐藏方法对相机成像过程是鲁棒我们使用第4.1节中描述的训练集重新训练StegaStamp [20]和RIHOOP [11]以进行公平比较。我们在表4中给出了比较结果。由于[20]和[11]的图像尺寸与我们的不同，我们根据不同模型的分辨率之间的比例来调整几何失真的范围我们在图8中展示了这三个模型的一些生成图像。表4表明，我们的方法比[20]和[11]对几何失真更鲁棒对于视觉质量，我们的方法达到了与[11]相当的客观分数，并且显著优于[20]。即使考虑到纠错码，我们的模型也能够隐藏比[11，20]更多的位。4.7. 消融研究4.7.1本地化网络在本节中，我们将比较定位网络与手动定位的效果。在使用定位网络时，根据检测到的坐标消除几何失真。当使用手动定位时，我们手动找到子图像的顶点并去除几何失真。比较结果如表5所示，其中失真1表示亮度、对比度和颜色失真的组合，失真2表示随机噪声和JPEG压缩的组合。实验结果表明，与人工定位相比，定位网络在一定程度上降低了解码精度，但可以显著减少预处理时间。在移动应用中，与运行效率的显著提高相比，由定位结果引起的解码误差可以忽略。4.7.2边缘增益方案在本节中，我们通过训练两个模型来验证所提出的边缘增益方案的效果。第一个模型不使用第3.5.3节中提出的边缘增益损失函数恢复的结果定位结果捕获图像子图像我们RIHOOPStegaStamp2282(a)E的输出(b)输出o↓↓↑方法图像尺寸能力每像素不同几何失真水平下的误码率↓PSNR↑SSIM↑[-20，+20][-25，+25][-30，+30][-35，+35][-40，+40][20]第二十话400×4001006.25×10−4百分之十四点四五24.10%27.85%32.15%36.27%29.820.9223[第11话]400×4001006.25×10−448.20%51.30%百分之四十八点九44.10%50.70%35.860.9712我们256×2561962.99×10−32.04%4.01%4.74%7.53%13.77%32.950.9677表4.与最先进方法的比较结果。与本土化手动校正失真1变形2平均时间↓BER↓PER↓BER↓PER↓C×C×2.10%百分之零点一六2.07%百分之零点一九7.57%1.22%7.48%百分之一点二五0.014s7s表5.解码结果有和没有定位网络。（a-1）（a-2）(a-3)（a-4）（a-5）图9.给出了带余弦边缘增益损失函数和不带余弦边缘增益损失函数的编码器的比较结果。模型边缘增益IoU↑BER↓PER↓PSNR↑SSIM↑模型1模型2C×0.88660.931811.29%8.08%11.53%8.32%40.6441.870.98800.9903表6.拟议边缘增益的消融结果。第二个模型使用这个损失函数。表6表明，边缘增益提高了生成图像的视觉质量，正如预期的那样。此外，定位网络和解码器的性能也得到了改善。为了避免两个训练过程的随机性，我们在第一个模型的基础上使用边缘增益损失来优化参数然后，我们使用没有边缘增益的模型来生成测试图像。在此基础上，利用这两种模型对图像进行解码.结果表明，使用所提出的边缘增益微调模型可以提高定位网络的性能（IoU从0.8866增加到0.9403）和解码器的性能（BER从11.29%降低到8.59%，PER从11.53%降低到8.56%）。可视化结果如图9所示，表明边缘增益方案消除了可见边缘对HVS的影响。4.7.3子图像选择的影响在本小节中，我们分析了隐藏子图像的选择的效果。对于同一幅图像，我们将相同的数据矩阵隐藏在两个不同的子图像中：（1）低频区域，如人脸和天空;（2）高频区域，如动物皮毛和草。与在低频区域隐藏信息相比，(a) （b）闭塞图10.一些失败示例：（a-1）太暗，（a-2）运动模糊，（a-3）JPEG压缩，（a-4）和（a-5）几何失真，(b) 闭塞在高频区域的嵌入显著提高了隐藏信息的视觉不可见性，但其鲁棒性降低（BER增加了9.35%，PER增加了9.69%，IoU降低了3.75%）。4.8. 限制本节描述了我们模型的局限性。除了容易受到JPEG压缩和运动模糊（如第4.4节）的影响外，当几何失真程度超过训练中的可学习范围时，定位误差太大，无法恢复数据矩阵。这一现象表明，学习标记与子图像和背景之间的相对位置。我们在图10中展示了一些失败的例子。此外，当编码区域的大部分区域被遮挡时，我们的模型是脆弱的。5. 结论本文提出学习和检测网络到在线摄影中的隐藏代码的不可见标记（即，在显示/打印相机场景中）。提出了一种有效实验结果表明，该方法对一般的拍摄条件具有较强的鲁棒性，且不需要进行耗时的预处理来定位和校正摄像机成像过程中存在几何失真的编码图像。6. 确认本 工 作 得 到 了 国 家 重 点 研 发 计 划 （ 2021YFE0206700 ） 、 国 家 自 然 科 学 基 金 （ 61831015 、61901259、61901260、62001289）、国家博士后科学基金（BX 2019208）和教育部人工智能重点实验室基金的资助中国无边缘增益损失函数监督的编码器具有边缘增益损失函数监控的f编码器保留结果失真图像定位结果定位结果定位结果地面实况2283引用[1] Changsheng Chen ， Wenjian Huang ， Lin Zhang ， andWai Ho Mow.通过蓝色通道嵌入实现强大而不显眼的显示器到摄像头IEEE Transactions on Image Processing，28（1）：156-169，2018。2[2] Changsheng Chen ， Wenjian Huang ， Baojian Zhou ，Chenchen Liu，and Wai Ho Mow. PiCode：一种新的嵌入 图 片 的 二 维 条 码 。 IEEE Transactions on ImageProcessing，25（8）：3444-3458，2016。2[3] 陈长生，周宝健，毛伟浩。RA码：一种适用于分辨率受限应用的鲁棒美观码. IEEE Transactions on Circuitsand Systems for Video Technology，28（11）：33002[4] 朱宏国，张嘉胜，李润龙，尼洛伊·J·米特拉。半色调QR 码 。 ACM Transactions on Graphics （ TOG ） ， 32（6）：1-8，2013. 2[5] W. C. 楚 基 于 DCT 域 的 子 采 样 图 像 水 印 IEEETransactions on Multimedia，5（1）：34-38，2003. 3[6] Mark Everingham 、 SM Ali Eslami 、 Luc Van Gool 、Christo-pherKIWilliams 、 JohnWinn 和 AndrewZisserman 。 Pascal Visual Object Classes Challenge ： ARetrospective. International Journal of Computer Vision，111（1）：98-136，2015. 5[7] Han Fang，Dongdong Chen，Feng Wang，Zehua Ma，Honggu Liu，Wenbo Zhou，Weiming Zhang，and Neng-Hai Yu.TERA：屏幕到相机的图像代码，具有透明度，效 率 ， 鲁 棒 性 和 适 应 性 。 IEEE Transactions onMultimedia，第1-1页，2021年。一、二、三[8] 韩芳，张伟明，周杭，崔浩，余能海。屏幕拍摄弹性水印 。 IEEE Transactions on Information Forensics andSecurity，14（6）：1403-1418，2018。一、二、三[9] Zhongpai Gao，Guangtao Zhai，and Chunjia Hu.隐形QR码。第23届ACM国际多媒体会议论文集，第1047-1050页，2015年2[10] Gonzalo J Garateguy，Gonzalo R Arce，Daniel L Lau，and Ofelia P Villarreal. QR图像：优化的图像嵌入-丁在QR 码 .IEEE Transactions on Image Processing ， 23（7）：2842-2853，2014。2[11] Jun Jia ， Zhongpai Gao ， Kang Chen ， Menghan Hu ，Xiongkuo Min，Guangtao Zhai，and Xiaokang Yang.反垃 圾 邮 件 和 在 线 照 片 中 不 可 见 的 超 链 接 IEEETransactions on Cybernetics，第1-13页，2020年。一二三五六七八[12] 尼尔·F·约翰逊和苏希尔·贾贾迪亚。探索隐写术：看到看不见的。Computer，31（2）：26-34，1998. 2[13] I. G. Karybali和K.柏柏尔人通过新的感知掩蔽和盲检测方 案 实 现 有 效 的 空 间 图 像 IEEE Transactions onInformation Forensics and Security，1（2）：256-274，2006. 3[14] 刘佳，严科，于雷，张卓，李军，罗鹏，张敏清，杨晓媛.基于生成对抗网络的图像隐写研究进展arXiv预印本arXiv：1907.01886，2019。2[15] 洛夕阳、展若涵、常慧雯、冯阳、佩曼·米兰法尔。失真不可知的深水印。在IEEE/CVF计算机视觉和模式识别会议（CVPR）中，第135483[16] Lisa M Marvel，Charles G Boncelet和Charles T Retter。扩 频 图 像 隐 写 术 。 IEEE Transactions on ImageProcessing，8（8）：1075-1083，1999. 2[17] D. P. Mukherjee、S.Maitra和S.T. 阿克顿用于购买者认证的多媒体对象的空域数字水印。IEEE Transactions onMultimedia，6（1）：1-15，2004. 3[18] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-Net：用于生物医学图像分割的卷积网络.医学图像计算和计算机辅助干预三、四[19] 石海潮，董京，王伟，钱银龙，张晓宇. Ssgan：基于生成对抗网络的安全隐写. 多媒体信息处理进展- PCM2017，第534-544页，2018年3[20] MatthewTancik 、 BenMildenhall 和 RenNg 。Stegastamp：物理照片中不可见的超链接。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的论文集中，第2117-2126页，2020年。一二三四五六七八[21] Huawei Tian，Yao Zhao，Rongrong Ni，Lunming Qin，and Xuelong Li.基于LDFT的抗局部去水印攻击的水印算法。IEEE Transactions on Cybernetics，43（6）：2190-2201，2013。3[22] 丹尼斯·马洪斯基，伊万·纳扎罗夫，叶夫根尼·伯纳耶夫 。 隐 写 生 成 对 抗 网 络 。 arXiv 预 印 本 arXiv ：1703.05502，2017. 3[23] Jingdong Wang ， Ke Sun ， Tianheng Cheng ， BoruiJiang，Chaorui Deng，Yang Zhao，Dong Liu，YadongMu，Mingkui Tan，Xinggang Wang，et al. Deep High-ResolutionRepresentationLearningforVisualRecognition.IEEE Trans- actions on Pattern Analysis andMachine Intelligence，43（10）：3349-3364，2020。4[24] Zhou Wang ， Alan Conrad Bovik ， H
我的内容管理
展开
