没有合适的资源?快使用搜索试试~ 我知道了~
78750鲁棒可逆图像隐写术0徐友民†,牟冲†,胡宇杰†,谢静芬†,张健†,‡0† 北京大学深圳研究生院,中国深圳 ‡ 鹏城实验室,中国深圳0youmin.xu@stu.pku.edu.cn; eechongm@gmail.com; hhuyujie@stu.pku.edu.cn;0xiejf@stu.pku.edu.cn; zhangjian.sz@pku.edu.cn0摘要0图像隐写术旨在将秘密图像隐藏到容器图像中,秘密对人眼不可见,当需要时可以恢复。以往的图像隐写方法在隐藏容量和鲁棒性方面存在局限性,容器图像常常容易受到高斯噪声、泊松噪声和有损压缩等失真的影响。本文提出了一种新颖的基于流的可逆图像隐写框架,称为RIIS。引入了条件归一化流来建模具有容器图像条件的冗余高频分量的分布。此外,还设计了一个精心设计的容器增强模块(CEM),也有助于鲁棒重构。为了调节不同失真水平的网络参数,实现了基于流块的失真引导调制(DGM),使其成为一个一刀切的模型。在干净和失真的图像隐写术方面,广泛的实验表明,所提出的RIIS在保持不可察觉性和容量的同时有效提高了鲁棒性。据我们所知,我们是第一个在文献中提出基于学习的方案来增强图像隐写术鲁棒性的研究者。隐写术鲁棒性的保证显著扩展了隐写术在实际应用中的应用范围。01. 引言0隐写术是一个广泛研究的主题[12],旨在以不被察觉的方式将音频、图像和超链接等消息隐藏到一个容器中。在图1中,图像隐写术将秘密和主机图像作为输入,生成容器图像。在其反向过程中,只有具有特定揭示网络的接收方才能从容器图像中重构秘密信息,这0本工作部分得到深圳市基础研究项目(No.GXWD20201231165807007-20200807164903001)的支持。(通讯作者:张健)0揭示的主机 揭示的秘密0容器0主机图像0秘密图像0输入对0失真的容器0失真0揭示的主机 揭示的秘密0揭示的主机 揭示的秘密0编码器 解码器0ISN0RIIS0失败成功0图1.上排描述了图像隐写术的通用流程。以往的隐写术如ISN[35]在容器轻微失真时获得了较差的揭示秘密和揭示主机图像。相反,我们的RIIS考虑了各种失真,显示出令人满意的鲁棒性。0与主机图像在视觉上完全相同。隐写分析技术通常通过颜色、频率和其他特征来区分容器图像和主机图像。因此,秘密图像应该隐藏在容器图像的不可见领域中。在应用中,将尽可能多的机密数据嵌入到主机图像中是有价值的,这被评估为有效载荷容量。图像隐写术旨在在考虑隐写分析的安全性和不可察觉性的同时保持隐藏容量。现有的隐写方案[11,43,59]在不可察觉性和高有效载荷容量之间没有达到平衡。传统方法将秘密消息转换为空间或自适应域[29],实现每像素0.2�4比特的容量。秘密数据通常嵌入到较少的显著位[11]或不可区分的部分,限制了秘密信息容量的数量。最近的基于学习的隐写方法[7,8]努力利用秘密的潜力。其中大部分将预处理、隐藏和揭示作为单独的模块,并设计了特定的78760将独立参数的网络用于处理这些问题。最近的尝试[50]将可逆神经网络(INN)引入到低级逆问题(如去噪、重缩放和上色)中,显示出令人印象深刻的潜力,超过了自动编码器、GAN [2,52]和其他基于学习的架构。由于图像隐写术由隐藏和揭示过程组成,可以被视为一对逆问题。因此,基于流的INN自然适用于这个任务。此外,通过增加INN分支的通道数量,可以轻松地将多个秘密图像隐藏到一个容器中。这极大地提高了隐写术的容量,并使ISN[35]成为文献中最先进的图像隐藏技术。由于早期的图像隐写术工作强调容量和隐蔽性而不是鲁棒性,并忽略了实际中的噪声和压缩干扰,它们通常对容器的媒体传播过程中的干扰非常敏感。由于依赖于固有的可逆双射变换属性,流往往更容易受到中间失真的影响[27, 31,41]。在图1中,我们以最先进的ISN[35]为例。一旦在容器上实施了轻微的噪声或有损压缩,揭示出的秘密几乎无法辨认,接收端的主机图像也是如此。即使网络针对预定义的噪声或JPEG压缩水平进行了专门的微调,重建质量和泛化能力仍然有限。在本文中,我们设计了一个条件流框架,称为Robust Invertible ImageSteganography(RIIS),以减轻失真的影响并提高鲁棒性。受条件归一化流的启发,我们同时对容器图像分布和一次性高频信息进行建模,以隐含保留有价值的秘密信息。由于流模型是双射的,我们相应的增强模块和优化策略处理通道减少和量化等不可逆过程。主要贡献如下:0•为了解决以往基于学习的隐写术方法在失真下性能大幅下降的问题,我们提出了一个通用且鲁棒的框架RIIS,用于处理各种失真条件下的图像隐写术(高斯噪声、泊松噪声和JPEG压缩)。0•我们通过调节高频分布,使其条件于容器图像,将条件流引入到隐写术框架中,以隐含揭示所需的基本信息。0•我们提出了一种基于失真引导的调制方法(DGM),通过对不同失真水平的参数进行调制,使其成为一个通用的、可控的模型,适用于各种类型和失真水平,只需一个参数副本。0•无论在无损还是失真的环境下,丰富的实验证明了我们提出的RIIS的优越鲁棒性,同时保持了隐写术的不可察觉性和容量。RIIS的鲁棒性在实际应用中得到了成功验证,如真实世界的隐写术、人脸交换检测和灰度上色。02. 相关工作0图像隐写术。与加密术不同,隐写术旨在将秘密数据隐藏到主机中,产生一个信息容器。对于图像隐写术任务而言,主机图像充当秘密图像的封面,秘密图像是保密的。隐藏网络首先将秘密隐藏到主机图像中,生成一个容器。然后,接收端的揭示网络可以将容器图像恢复为秘密图像和主机图像。传统的基于空间的方法[25, 37, 40,44]利用最低有效位(LSB)、像素值差异(PVD)[40]、直方图移位[48]、多位平面[37]和调色板[25,39]来隐藏图像。它们通常会引起统计上的怀疑,并容易受到隐写分析方法的攻击。自适应方法[32,43]将隐写术分解为嵌入失真最小化和数据编码两个部分,外观上不可区分,但容量有限。各种基于变换的方案[12,29],包括JSteg[44]和DCT隐写术[22],也无法提供高负载容量。最近出现了各种基于深度学习的隐写术方案。生成对抗网络(GAN)[45]被引入用于合成容器图像。概率图方法专注于生成满足最小失真嵌入的各种成本函数[43,47]。[51]提出了一个具有U-Net架构的生成器。[46]在失真最小化框架下提出了一个对抗性方案。三方游戏方法,如SteganoGAN [56]和HiDDeN[59],通过自动编码器架构学习信息嵌入和恢复,以对抗隐写分析。Deep Steganography[8]包括一个完全卷积网络,由准备、隐藏和揭示部分组成。以前的方案揭示了图像隐写术在数字通信、版权保护、信息认证、电子商务和许多其他实际领域中的潜力[13]。归一化流模型。归一化流[18, 19,30]是一种强大的生成模型,具有直接计算似然的优势。它们旨在学习输入域和目标域之间的双射映射。可逆神经网络(INN)将前向和反向传播操作结合在同一个网络中,被视为归一化流的骨干。开创性的研究,如zActnormFeature Enhancement Module1×1 ConvAffine CouplingConditionalAffine CouplingAffine Injector1×1 Conv……………Actnorm…(Backward)GaussianNoisePoissonNoiseJPEG Compression78770主机0基于流的0块(正向)0基于流的块(正向)0容器0秘密0失真的容器0揭示的主机0揭示的秘密0特征提取器0高频0基于流的块(反向)0内容感知噪声投影(正向)0特征提取器0增强容器0CANP0基于流的0块0(反向)0高频0RIIS隐藏网络RIIS揭示网络失真0图2. 我们提出的RIIS隐写框架概述。基于流的可逆块将输入对[xs,xh]映射到高频hf和容器图像y。CANP将hf在从y提取的条件特征下投影到类似高斯噪声z。只有y通过互联网媒体传输,然后接收者将获得失真的容器图像˜y。相反,恢复的ˆhf以及增强的容器ˆy被带入反向流块中,其与正向传递中的参数相同。最后,我们得到揭示的秘密和主机图像[ˆxs, ˆxh]。0NICE [18]和RealNVP[19]主要强调基于流的模型的生成能力。在[20]中,进一步探讨了可逆性的解释。[14]中介绍了一种无偏的基于流的生成模型。此外,glow [30]和i-RevNet[26]进一步改进了耦合层的密度估计,实现了更好的生成结果。0流理论最近在图像处理中引起了广泛关注,特别是在低级问题中。流模型已被证明在估计逆问题的后验概率上具有优势[6]。最近的基于流的模型[3, 23, 34,38]能够处理图像隐藏和恢复问题。由于强大的表示能力,归一化流还被用于各种推理任务,如图像重缩放[50]、压缩[53]和视频超分辨率[60]。0尽管现有的隐写术方法在给定的应用领域表现良好,但对于失真不具有鲁棒性[6, 24]。关于去块滤波[54,57]和去噪声[16,36]也有一些出色的工作。然而,将这些现成的方法直接应用于隐写任务是不切实际的。最新的隐写术方法ISN[35]利用归一化流来执行隐写任务的概率双射构造。ISN[35]利用单个可逆网络高效地隐藏和揭示图像。HiNet[28]与ISN[35]几乎具有相同的架构,尽管进行了离散小波变换(DWT)通道压缩。基于流的方法[28,35]在传统方案上显示出优势,但严重依赖框架的可逆性。由于大多数隐写术方法忽略了中间失真,容器上的细微干扰通常会导致性能大幅下降。简单地引入失真或模拟到模型训练中只能处理有限范围的失真,并且无法产生令人满意的恢复和泛化效果。03. 方法03.1. 概述0RIIS的主要目标是设计一个通用且鲁棒的图像隐写框架,以应对各种失真。它将多个秘密图像xs隐藏在一个信息丰富的容器图像y中,该容器图像对图像失真具有抵抗力。为了训练稳定性,我们的框架直接学习秘密图像xs、主机图像xh和容器图像y之间的双射映射,而不是显式地对内部潜变量的分布进行建模。我们将输入标记为x,由主机xh和秘密图像xs组成。容器图像能够在保持外观与主机图像xh相同的情况下覆盖其中的多个图像。我们的鲁棒模型使接收者能够从失真的容器图像˜y中恢复揭示的主机ˆxh和秘密图像ˆxs。03.2. 基于流的可逆块0基于流的网络自然而直观地适用于图像隐写术任务,因为它具有可逆性。隐藏和揭示过程在共享参数下理论上是可逆的,并且应该被视为归一化流的前向和反向过程,以实现端到端优化。归一化流模型有两个主要特点:推理函数fθ(∙)的对数行列式计算简单;相应的逆函数f−1θ(∙)的求解可行。在图2中,我们基于IRN[50]构建了可逆块。对于具有分布x�p(x)的输入变量(例如图像)x=[xs,xh]和具有简单可计算分布[hf, y]的输出变量[hf, y]�p([hf,y]),流模型执行一个双射投影fθ:[hf, y]=fθ([xs,xh])。相反,可以通过逆映射f−1θ([hf, y])从[hf,y]中恢复x。归一化流的输入和输出大小完全相同。fθ由一系列可逆流块组成:fθ=Conv1ActConv2×FC[ , QF]expexpCResCResCResCRes…………(1)(container)…expexp…(4)78780可逆的1×1卷积0图3.基于流的可逆块上的失真引导调制(DGM)。基本流块由激活归一化、1×1卷积和仿射耦合层组成。ϕbi、ϕsc、ψbi和ψsc由密集块构建,用于生成仿射变换因子(偏置或缩放)。CRes模块将噪声级别σ或JPEG QF作为输入条件特征来调制这些因子。0f 1 θ ◦ f 2 θ ◦ ∙ ∙ ∙ ◦ f N θ . 具体而言,对于k∈{1, ...,N}的块fkθ由1×1卷积置换、激活归一化层和仿射耦合层组成。中间变量定义为uk =fkθ(uk−1),其中u0表示x。0表示x,uN是输出[hf,y]。在图3中,uk在第k个块中被分成ukA和ukB。然后,它们将通过仿射耦合层,其中ϕ和ψ由具有ReLU激活的密集块构成,对uk进行缩放和偏置:0u k +1 A = exp � ϕ sc � u k B �� ⊙ u k A +0u k +1 B = exp � ψ sc � u k +1 A �� ⊙ u k B + ψbi � u k +1 A � .(u k +1 B = exp(ψ sc * u k +10显然,上述仿射耦合层是数学上可逆的,并且具有可计算的三角形雅可比矩阵的对数行列式。03.3. 内容感知噪声投影(CANP)0早期的归一化流总是将输入转换为目标图像和高斯噪声分布。然而,由于流模型的网络深度和映射能力有限,直接将高斯分布作为目标输出可能会导致不理想的结果。受条件流[33]的启发,假设高频输出hf依赖于容器y。一旦训练完成,前向过程将压缩输入的主机和秘密图像对[xs,xh],并将其转换为容器图像y和高频hf,即p(x|xh)�p(y,hf|xh)。y被约束为接近主机图像xh,同时包含来自xs的信息。为了保持隐蔽性,模型旨在生成与输入主机图像xh完全相同的容器y。这种关系可以表示为Diracdelta函数δ(xh−y),如公式(2)所示:0p ( y | x h ) p ( h f | y , x h ) = δ ( x h − y ) p ( h f | y )(p (y | x h ) p ( h f | y , x h ) = δ (0= lim Σ → 0 N ( y | x h , Σ ) p ( h f | y) , (2)(当Σ趋近于0时,等于极限Σ → 0N ( y | x h , Σ ) p ( h f | y ) , (2))0Actnorm0可逆1×1卷积0仿射注入器0+0特征提取器0共享0图4.基于条件流块的内容感知噪声投影模块的网络架构。它将高频输入部分hf映射到受限的高斯分布z,其中限制条件是从容器y中提取的条件特征。0p(x|xh)�limΣ→0N(y|xh,Σ)N(z|0,I), (3)0其中,高斯分布的极限被用来建模狄拉克函数。Σ是一个协方差矩阵,其中所有对角元素都近似为零。在这个条件流中,高频分量hf和容器图像y之间的依赖关系通过级联条件映射进行解构。因此,pf(hf|y)在Eq.(3)中被建模为高斯分布p(z)�N(z|0,I)。这个过程被称为内容感知噪声投影(CANP),其中hf被投影到具有来自y的条件特征的z。在正向方向上,CANP可以将输入图像对[xs,xh]转换为容器图像y和近似高斯随机变量z。给定容器y和来自N(0,I)的随机样本˜z,双向RIIS可以在反向传递中生成[ˆxs,ˆxh]。在图4中,我们基于条件仿射耦合构建了CANP,它既强大又可逆。输入数据流ukB的一个分支与从容器图像y提取的条件特征G(y)合并,然后作为ϕ的输入。由于在每个流块的开始处存在1×1卷积等置换操作,uA和uB中的信息都受到G(y)的影响,如下所示:0uk+1A = exp(ϕsc⊙ukB;G(y))⊙ukA +0uk+1B = exp(ψsc⊙uk+1A)⊙ukB +ψbi⊙uk+1A.03.4.容器增强模块(CEM)0容器增强模块(CEM)被用作接收端的预处理模块,以消除像JPEG这样的图像失真的影响。在图2中,我们通过将CEM集成到RIIS揭示网络中来采取了一种折中的步骤。DnCNN[55]中的批量归一化层被移除,以获得更轻和适合的结构。在揭示网络的流块之前,失真图像首先经过简化的DnCNN网络进行降噪和JPEG去块处理的预处理。根据失真模式,CEM将处理容器图像,以获得流块的更干净的输入。787903.5.端到端优化策略0流量的两阶段解耦调整。为了使流量模型适应容器图像的失真,我们将解耦训练方案引入到训练过程的后半部分。在基于流量的模型中,推理的前向和反向传递在理论上是对称且参数相等的。然而,存在不可逆的操作,如编解码器中的量化、噪声干扰和CEM网络。这些对中间容器图像的改变需要调整基于流量的模型。在模型训练的后半阶段,前向和反向参数在一定程度上被提议在不完全相等。参数的放松使得前向和反向传递中引入了差异。这个策略被称为两阶段解耦调整(2DT)。损失函数。要求揭示的主机ˆxh和秘密图像ˆxs尽可能接近输入的主机xh和秘密xs。这里我们使用术语Lrev来最小化恢复和原始图像之间的平均距离。容器增强模块(CEM)旨在从失真的容器˜y到恢复的ˆy重建干净的容器y,并使用术语LCEM:0L rev = || x s - ˆx s ||2 + || x h - ˆx h ||2. (5)0L CEM = || y - ˜y ||2. (6)0L distr = ℓ CE (p (z), N (0, I)). (7)0L con = || x h - y ||2 + || FFT (x h) - FFT (y) ||2. (8)0具体而言,由于分布可以在基于流的模型中被可追踪地描述,CANP通过分布损失L distr(公式(7))鼓励p(z)与p(hf)和p(y)独立并且接近于高斯分布。我们通过交叉熵(CE)在z上描述分布距离。为了引导容器图像y在空间和频率域中与宿主图像x h大致相同,我们进一步应用快速傅里叶变换(FFT)[10]在公式(8)中提取频率分量。总结起来,公式(9)中的总损失函数考虑了以下四个组成部分:嵌入图像的揭示、容器的隐形性、失真增强和噪声分布距离:0L total = λ1L rev + λ2L con + λ3L CEM + λ4L distr, (9)0JPEG模拟。对JPEG压缩的容忍度是RIIS中的一个重要问题。JPEG流水线包括四个主要步骤:颜色空间转换、离散余弦变换(DCT)、量化和熵编码[42]。事实上,量化是JPEG压缩中的一步损失和不可微分的步骤。因此,JPEG不适合直接端到端优化。为了实现对JPEG操作的训练,RIIS引入了一个可微分的JPEG压缩模拟器模块,通过用傅里叶变换(FT)[10]替换量化来实现。0图5. CEM和CANP消融研究的视觉结果。这里的容器图像受到高斯噪声(σ =10)的扭曲。结果显示,CEM的参与增强了重建效果,而CANP明显调整了分布。03.6. 失真引导调制(DGM)0对于每种类型和级别的失真训练特定的网络是不切实际的。对于一般的图像隐写术,我们应该使RIIS参数可控,以适应失真的强度。在这里,我们提出了一种失真引导调制(DGM)来控制仿射耦合层,以处理受高斯噪声或JPEG压缩伪影损坏的容器图像。具体而言,给定失真级别(对于高斯噪声为σ,对于JPEG压缩为QF),DGM模块中的参数将通过仿射变换随着失真级别的变化而改变。在图3中,我们的DGM是通过将CResMD[21]部署到仿射耦合层中构建的。具体而言,给定噪声级别或质量因子,条件网络通过乘法产生权重α来调制特征。条件网络由几个全连接层组成。通过这种方式,我们的方法可以通过单个模型处理各种失真级别。使用DGM构建的统一框架标记为RIIS*。04. 实验结果04.1. 实现和设置细节0我们提出的RIIS框架成功地通过将多个图像隐藏在一个容器图像中来保持有效载荷容量。RIIS使用NVIDIA Tesla V100GPU进行加速。我们使用Adam优化器,其中β1 = 0.9,β2=0.99。学习率设置为0.0001,批量大小设置为16进行训练。训练和测试数据集为DIV2K[4](如果未指定)。对于损失函数,相应的权重因子为λ1= 1,λ2 = 16,λ3 = 1和λ4 =0.5。使用峰值信噪比(PSNR)指标来评估性能。approximate reconstruction ˆhf of original signal.Effect of 2DT. We involve two-stage decoupled tunninginto the flow-based model to adapt it against distortion andirreversible operations. According to our experimental re-sult in Tab. 1, the decoupling evidently improves the recon-struction performance. After end-to-end training, our de-coupled model learns to mitigate the loss of quantizationand noise interference.Effect of CEM. The CEM employs the DnCNN-like net-work to perform pre-processing over the distorted containerimage ˜y to eliminate the effect of distortion. Results inTab. 1 and Fig. 5 show that the participation of CEM playsan indispensable role in the total robust steganography.78800表1.对每个模型设计进行消融研究,包括2DT、CANP和CEM在不同失真下的RIIS。结果通过PSNR指标在揭示的秘密图像和原始秘密图像对上进行评估。证明我们的鲁棒框架中的所有模块都是有意义的,其中CANP是最不可或缺的。02DT CANP CEM 高斯 σ = 10 泊松噪声 JPEG Q=40 JPEG Q=80 JPEG Q=90 清晰0× � � 27.61 27.42 26.77 27.55 27.88 42.91 � × � 27.38 27.35 26.40 27.28 27.72 42.74 � � × 27.82 27.62 26.64 27.46 27.96 43.210� � � 28.08 28.01 27.32 28.25 28.71 44.190表2. 不同方案生成输入h f时揭示秘密图像的峰值信噪比。实验在噪声σ =10下评估,将一个秘密隐藏到一个容器图像中。实验证明CANP是hf 的最佳映射。0h f 来源 ˜ z � N ( 0 , I ) 从 y 复制 从 y 中的Resblock 从˜ z中的CANP(我们的方法)0秘密 42.53 43.18 43.56 44.190图6.DGM剔除研究的视觉结果。结果显示,统一框架RIIS*中的参数通过DGM的调制效果明显优于RIIS-Blind。04.2. 剔除研究0CANP的效果。当我们假设高频分量h f与容器图像y独立且类似于IRN[50]时,性能仍然受限,因为它无法为图像隐写术提供有用的先验信息。表2中的实验表明,将h f与容器图像y相关联作为条件先验有效地提高了揭示质量。对于反向输入h f的最简单调制是容器图像y的复制,除了y之外不包含任何有用的揭示信息。我们还实现了一个残差块,从容器y中提取特征作为生成h f 的输入。这两种简单类型的h f调制的性能增长证明了来自容器y的条件输入的有效性。由于发现高频分量h f与容器(低频分量y)高度相关,我们提出了CANP。表1和图5显示,条件机制CANP有效地建模了高频h f与低频分量y之间的关系。虽然前向输出y的一半被清空,但输入图像对的高频部分被隐含地存储。当将高斯采样˜z通过CANP中的y条件映射到ˆh f 时,我们得到了原始信号的近似重建ˆh f。2DT的效果。我们将两阶段解耦调谐引入流式模型中,以适应失真和不可逆操作。根据我们在表1中的实验结果,解耦明显提高了重建性能。经过端到端训练,我们的解耦模型学会了减轻量化和噪声干扰的损失。CEM的效果。CEM采用类似DnCNN的网络对失真容器图像˜y进行预处理,消除失真的影响。表1和图5的结果显示,CEM的参与在总体鲁棒隐写术中起着不可或缺的作用。0图7. 在ImageNet[17]上,将多个或单个秘密图像隐藏到一个容器中的容量性能(1000个随机样本)在失真下的表现。随着秘密数量的增加,重建质量下降但仍保持可接受的保真度。04.3. 与SOTA的比较0在图像隐写术任务中,最常见的关注点是两对的保真度:揭示的秘密ˆx s 和原始x s ,容器y和宿主图像x h。与最新方法的比较,我们重新实现了State-of-the-artISN [35]并达到了DIV2K[5]上它自己声称的性能。容器图像在失真下。我们的模型主要关注容器图像在各种失真下的图像隐写术。在图8中,即使在容器图像上有轻微干扰,HiNet[28]的秘密恢复性能也会大幅下降。这表明之前的方法对失真无知,容易受到攻击和破坏,限制了它们在实践中的应用。由于原始ISN模型对失真无知的性能[35]太差,我们对ISN网络进行了微调。HiNet [28]9.9826.9321.2311.5212.59ISN [35]8.5525.1919.3810.1111.25ISN+ [35]27.1228.9826.7126.2527.48RIIS*28.0330.0127.2327.1828.44RIIS28.2230.3227.4727.3228.7178810图8. 在相同的JPEG QF=90(蓝色边框)或高斯噪声σ=10(绿色边框)下,最新的HiNet [ 28 ],微调的ISN + [ 35]和我们的RIIS的视觉比较。在两种失真下,最新的HiNet [ 28 ]的失败尤为明显,特别是揭示的秘密图像。与最新的ISN + [ 35]相比,我们的RIIS的重建质量显示出显著的优势。0图9. 在我们的实验设置中,使用不同的高斯噪声σ和JPEGQF的PSNR曲线。带有失真引导(DGM)调制的RIIS*与RIIS之间存在微小的性能差距,并且只需要一个可控网络来处理所有失真。从RIIS-Blind到RIIS*的改进证明了DGM成功地调整了RIIS以适应不同的失真级别。0在我们的实验设置中,针对每个失真级别分别进行训练,作为基线。与原始ISN模型相比,我们将微调后的ISN命名为ISN +。ISN+也针对每个特定的噪声或压缩级别进行微调,但仍无法提供令人满意的性能。尽管图像的颜色和结构各不相同,RIIS可以在没有可见伪影的情况下恢复它们。在表3中显示了在噪声或JPEG压缩污染的容器图像中隐藏图像的性能。结果显示,我们提出的方法RIIS相比最新的方法成功地保持了更高的重建质量。为了证明我们的方法的有效载荷容量,我们增加了RIIS的通道,将多个秘密图像隐藏到一个容器中。图7显示了在不同失真下将单个或多个秘密图像隐藏到一个容器中的模型性能。由于RIIS是第一个在失真下隐藏多个图像的模型,因此没有其他先前的模型可供比较。0表3.当容器图像处于不同失真下时,秘密图像恢复质量的比较。我们的RIIS在每种失真下都是最高的。统一模型RIIS*与以前的方法相比也显示出明显的性能优势。0方法 高斯噪声 泊松 JPEG0σ = 10 σ = 1 噪声 QF=40 QF=900该方法可用于比较。关于带有DGM的统一RIIS*的讨论。我们引入了失真引导调制(DGM),使网络参数随不同的失真水平而变化。使用DGM建立所有失真的统一框架标记为RIIS*。DGM允许RIIS处理所有失真水平,并共享基本参数。我们还评估了没有DGM的RIIS-Blind模型作为基线,也在随机类型和失真级别下进行了训练。在图9中,统一的带有DGM的RIIS*和单独调整的RIIS之间只有微小的差距。在所有失真的统一网络方面,与图6中的RIIS-Blind相比,DGM方案使RIIS获得了显著的性能增长。DGM方案使RIIS成为第一个适用于实际中各种失真的通用隐写框架。不带失真的容器图像。在这里,使用干净的容器图像进行与最新的隐写方法[28 , 35]的比较测试。在表4中,对将1或5个秘密图像隐藏到容器图像中进行了数值比较。我们的方法显示出优越的性能。78820表4. 在ImageNet [ 17]上,将5个或1个秘密图像隐藏在容器中的隐写性能比较。我们的RIIS在两种情况下都表现出最佳性能。0方法 多个秘密 单个秘密0容器 秘密 容器 秘密0自动编码器 [ 49 ] 32.35 31.21 - - ISN [ 35 ] 33.77 36.02 42.53 43.58IICNet [ 15 ] 35.64 37.94 - -0HiNet [28] - - 44.16 46.480RIIS 35.92 38.13 43.97 46.710图10.将照片作为容器的现实世界隐写术。最右边的二维码是从容器照片中揭示出来的秘密示例,仍然可以扫描出来。它可以用于在屏幕或印刷品上隐藏信息。0图11.隐写术和人脸交换检测的过程。公共水印图像通过RIIS隐藏到容器图像中,以保护一系列图像。当在容器上进行人脸交换时,揭示的水印将与公开分发的水印副本不匹配,这有助于定位操作。0当容器图像上没有失真时,与最新方法相比,我们的性能明显更好。由于HiNet[28]忽略了多图像隐写术,因此未列出。我们恢复图像的平均峰值信噪比明显高于IICNet [15]、HiNet [28]和ISN[35]。结果表明,即使将5个图像隐藏到一个容器中,我们的方法也实现了更好的性能,展示了我们方法的出色容量和通用性。04.4. 从鲁棒性派生的应用0在现实世界中隐藏秘密。如果我们将容器图像展示或打印在纸上,并通过CMOS传感器捕捉,它会遭受变换、传感器噪声、运动模糊等。在图10中,由于不可思议的鲁棒性,我们的方法甚至可以从照片中揭示秘密。这将在虚拟世界产业的构建中隐含地桥接网络空间和现实世界视觉,对于保护版权和数字资产和艺术品的完整性也具有意义。0GT彩色灰度IDN [58] RIIS 图12. RIIS和IDN[58]在灰度图像作为容器下,经过JPEG压缩QF =80的视觉比较。请注意像天空和墙壁这样的区域,压缩明显损害了IDN[58]恢复的彩色图像。相比之下,RIIS生成的图像由于可靠的鲁棒性仍然保持鲜艳的颜色和保真度。0人脸交换检测。图11展示了我们的人脸交换检测方案。在接收到RIIS隐藏网络生成的受攻击的受保护图像版本后,将提取水印,并在原始和揭示的水印之间进行特征匹配操作[9],以确定操作位置。由于RIIS的鲁棒性,检测在压缩下是有效和准确的。我们还扩展了我们的工作以检测拉伸和裁剪。0可逆着色。由于我们的框架可以将多个图像高效地嵌入到单个容器图像中,因此可以以相同的方式将YUV通道彩色图像嵌入到单个灰度通道中。在反向传播中,RIIS从灰度容器中重建彩色图像。之前基于流的SOTA着色方法IDN[58]高度依赖于合成灰度的分布。IDN还声明在灰度容器图像上仍然受到JPEG压缩的影响。图12展示了我们在通常的有损压缩情况下的优越性。我们对失真的鲁棒性解决了实际中图像着色的应用问题。05. 结论和讨论0当需要将大量秘密图像隐藏在有限大小的容器图像中时,图像隐写术任务变得具有挑战性,尤其是在噪声或JPEG干扰下。在本文中,我们提出了一种通用且新颖的鲁棒可逆图像隐写术(RIIS)框架,其中利用了所提出的CANP和CEM模块以及精心设计的训练策略,防止了隐写术期间容器图像出现泊松噪声、高斯噪声和JPEG压缩等失真。实验证明我们的模型设计确保了最高的性能。隐写术鲁棒性的提高显著扩大了信息隐写术在现实世界应用中的应用范围。我们的模型设计的效率在其他低级逆问题(如去色)上也得到了证明。我们未来的工作将支持RIIS在MindSpore[1]上,MindSpore是一种新的深度学习计算框架。78830参考文献0[1] Mindspore. https://www.mindspore.cn/, 2020. 8 [2]Rameen Abdal, Yipeng Qin, and Peter Wonka.Image2stylegan: How to embed images into the styleganlatent space? In Proceedings of the IEEE/CVF InternationalConference on Computer Vision (ICCV), pages 4432–4441,2019. 20[3] Abdelrahman Abdelhamed, Marcus A Brubaker, andMichael S Brown. Noise flow: Noise modeling withconditional normalizing flows. In Proceedings of theIEEE/CVF International Conference on Computer Vision,pages 3165–3173, 2019. 30[4] Eirikur Agustsson and Radu Timofte. Ntire 2017challenge on single image super-resolution: Dataset andstudy. In IEEE Conference on Computer Vision and PatternRecognition Workshops, pages 126–135, 2017. 50[5] Eirikur Agustsson and Radu Timofte. Ntire 2017challenge on single image super-resolution: Dataset andstudy. In IEEE Conference on International Conference onComputer Vision Workshops (CVPRW), 2017. 60[6] Lynton Ardizzone, Jakob Kruse, Carsten Rother, andUllrich K¨othe. Analyzing inverse problems with invertibleneural networks. In International Conference on LearningRepresentations (ICLR), 2018. 30[7] Shumeet Baluja. Hiding images in plain sight: Deepsteganography. In Advances in Neural InformationProcessing Systems (NeurIPS), 2017. 10[8] Shumeet Baluja. Hiding images within images. TPAMI,2019. 1, 20[9] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf:Speeded up robust features. In European Conference onComputer Vision (ECCV), 2006. 80[10] E Oran Brigham. The fast Fourier transform and itsapplications. 1988. 50[11] Chi-Kwong Chan and Lee-Ming Cheng. Hiding data inimages by simple lsb substitution. Pattern recognition,37(3):469–474, 2004. 10[12] Yambem Jina Chanu, Kh Manglem Singh, andThemrichon Tuithung. Image
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功