模型保护与分级服务实现在商业应用中的重要性和效益

12205面向分级服务田锦宇1，周建涛1，*，贾端21澳门大学计算机与信息科学系智慧城市物联网国家重点实验室2JD Explore，JD{yb77405，jtzhou}@ um.edu.mo，duanjia1@jd.com摘要在为商业服务部署卷积神经网络（CNN）时，模型保护至关重要，因为训练它们的成本很高在这项工作中，我们提出了一个选择性加密（SE）算法，以保护CNN模型未经授权的访问，具有独特的功能，提供层次服务的用户。我们的算法首先选择重要的模型参数，通过建议的概率选择策略（PSS）。然后，采用所设计的保持分布随机掩码（DPRM）的加密方法对模型中最重要的参数进行加密，从而通过只对很小一部分模型参数进行加密来最大限度地降低性能。我们还设计了一组访问权限，使用它可以解密不同数量的最重要的模型参数。因此，可以自然地为用户提供不同级别的模型性能。实验结果表明，该方案只需加密8%的卷积层参数，就能有效我们还在去噪模型DnCNN中实现了所提出的模型保护方案，展示了分层去噪服务。1. 介绍卷积神经网络（CNN）已被用于在各种任务中实现无与伦比的结果，例如对象检测[5，10，20]，超分辨率重建[9，13，15]，和图像修复[36，37，38]。构建一个成功的CNN模型并不是一项微不足道的任务，通常需要在专业知识、时间和资源方面进行大量投资为了鼓励健康的商业投资和竞争，防止未经授权访问CNN模型至关重要与此同时，最近的趋势是通过基于云的服务在这种情况下，提供分级服务，使得具有不同访问权限的用户可以享受不同级别的模型性能是非常可取的。例如，当使用CNN模型进行图像去噪任务时，最低访问权限导致粗略去噪的版本;这可以作为去噪服务的推广当用户喜欢去噪图像时，他们可以支付高级访问权限以获得更好的服务。实现模型保护和访问控制的一个简单策略是通过传统的加密方法加密所有模型参数，如RSA [26]，TDES[6]和Twofish [27]。在数百万或更多参数的数量级上，它们的加密和解密都将是非常昂贵的，特别是对于资源受限的设备。相比之下，更希望选择性地加密参数。这种策略被称为选择性加密（SE），并在多媒体安全和互联网安全中有实际应用[3，7，11，23，35]。 另一方面，不加区分地加密所有模型参数不能提供细粒度的分层服务。SE的动机来自Shannon一般来说，减少系统的冗余依赖于系统组件重要性的先验知识例如，Abomhara et.264/AVC视频编解码器的比特流通过选择性加密I帧来保护，与P帧和B帧相比，I帧对重构帧的质量有更大的影响。事实上，在深度学习社区中，有几项工作[19，24，31，39]表明CNN模型中的参数并不同等重要，其中一些参数包含对给定任务更有用的信息。模型参数的不平等重要性促使我们设计一种新的SE，通过仅加密这些重要参数来保护CNN模型12206图1：我们提出的系统模型的示意图。因此，在这项工作中，我们提出了一种新的SE算法来保护预训练的CNN模型，其独特之处在于为用户提供分层服务。我们提出的保护方案包括以下两个步骤。首先，我们提出了概率选择策略（PSS）来选择重要的模型参数，这对模型的性能有很大的影响。然后，我们设计了一个加密算法的分布保持随机掩码（DPRM）加密这些选定的参数。如将通过实验验证的，所提出的SE赋予向用户提供分级服务的可行性，即，可以根据预定义的权限授予不同级别的模型性能。我们工作的主要贡献可归纳如下：• 我们提出了PSS来确定CNN模型中参数的重要性。PSS可以被一般化为CNN模型用于不同的应用，例如图像分类和去噪。• 我们提出了DPRM算法来加密PSS选择的参数，使得加密的参数-参数对攻击者来说是不可感知的。最后，第5节提供了实验结果，以验证所有预期的目标都得到了实现，第6节结束。2. 系统模型、威胁模型和设计目标2.1. 系统模型我们的目标是设计一个具有以下两个功能的CNN保护框架。首先，该系统可以防止未经授权的访问预训练的模型。即只有授权用户才能得到正确的模型输出，而非授权用户只能得到无关的结果。 其次，它可以为au提供分层服务，具有不同权限的授权用户。我们的系统框架如图1所示。令FΘ是具有参数集Θ的预训练CNN模型。为了通过我们提出的SE策略来保护该模型，服务提供商首先将预训练的 模型FΘ馈送到Select mod中。ule，其通过以下方式从FΘ中选择重要参数Θθ使用建议的PSS。然后，加密模块通过使用那些未加密的数据在统计上是一致的建议DPRM。模型Fθ随后，将坚持。我们从理论上证明了DPRM得到的密文对攻击者来说是不可感知的，这显著地增强了该方案的安全性已部署，正在等待具有权限的访问。分配模块根据选择和加密模块的输出生成若干个许可证授权保护模型然后，用户获得解密的模型Fθm通过输入允许S进入解密模块。解密的• 通过操纵解密页的数量该框架通过对不同重要级别的权限进行分配，为用户提供层次化的服务。• 在分类模型VGG19和去噪模型DnCNN上的实验结果表明，本文提出的SE算法只需加密不到8%的卷积层参数，就能有效地保护这两个模型本文的其余部分组织如下。第2节简要介绍了系统模型，威胁模型，以及所提出的框架的设计目标。我们在第3节中提供了有关系统模型的详细信息。在第4节中，我们从理论上证明了那些重要的密文，模型将表现出预训练模型F Θ的不同水平的性能作为许可S的变化。如图 1，三个具有不同权限的授权用户对保护的模型进行解密，得到相应的解密模型Fθm′s（m′s=1，2，3），对猫的分类具有较高的性能。当一个unau-授权用户试图在没有任何权限的情况下访问受保护的模型，系统将返回无用的结果。2.2. 威胁模型所考虑的安全威胁的拟议系统主要来自攻击者谁试图恢复en-从受保护的模型FΘe中加密参数Θ e，以便在没有授权的情况下使用预训练的模型FΘ。 一方面，攻击者可以将12207θθ、θθLP将受保护的模型作为原始参数集Θ的噪声版本，其中参数Θe被污染。因此，AT-tac可以利用去噪技术从Θ Θ e中接收θ e。另一方面，那些加密的参数Θk可以被视为Θk中的缺失信息，可以通过再培训策略来恢复。 我们称这两种对抗行为去噪攻击和重新训练攻击。参数θ对预训练模型的重要性因此，我们将参数θ的重要性命名为pθ。 对于sim-显式y，我们称Θ为第l层的控制集，并称之为其中参数占主导地位。自然地，Θθ是F Θ的支配集。现在，我们将上述选择策略PSS公式化为以下优化问题。2.3. 设计目标min 1000NL（FΘ（xn，（I-Z（n））<$Θl），yn）+λ <$Z（n）<$0，评估亲的有效性和安全性pθ∈[0，1]Nn=1（一）提出的方案，我们明确了以下设计目标：1）其中Z（n）={z（n）}θ∈Θl，z（n）<$Bern（zθ|pθ）是一个sam-效应因子：使受保护模型Fθ函数失调-θ θ对于非授权访问，我们必须确保选择性加密模型表现出足够大的性能退化; 2）层次结构：所提出的系统应该通过分配给用户不同的权限来为用户提供不同的服务。因此，发布的型号Fθm需要在以下方面发挥各种性能-跳舞到用户受保护的模型F02应该是安全的，可以防止上面讨论的威胁。我们将在第5节中验证所有设计目标。3. 保护CNN在本节中，我们提供了有关第2.1节中提出的系统模型的每个模块的详细信息。3.1. 选择该模块旨在从F Θ的卷积层中选择重要参数Θe。这里我们只考虑卷积层，因为CNN模型中的大多数参数集中在这些层[12，18，33，34]。此后，术语本文采用分层策略确定并行处理的θ_e二进制随机变量zθ的ple，I是具有与Θl相同的长度，并且λ是正则化项的加权因子。在这里，我们简要地说明了优化问题（1）和选择策略。逐元素乘法（I-Z（n））<$Θl被设计为通过注意如果相应的z（n）= 1则将从Θ l中移除参数θ来模拟移除操作。因此，第一项指示在去除一部分参数之后F Θ的性能（L（·）是性能评估函数）。为了最大化FΘ的性能退化，这相当于最小化（1）中的第一项，那些重要参数Θ l中的θ应该被赋予很大的重要性p θ，使得对于大多数xn，z（n）= 1。因此，我们可以通过解决问题（1）来确定每个θ在Θ l中的重要性p θ。应该注意的是，项Z（n）0惩罚被移除的参数的数量，使得更少的参数被移除。被赋予很大的重要性。二进制随机变量zθ的离散性质对问题（1）的优化提出了挑战。我们可以通过将[14，29]zθ重新参数化为连续随机变量zθ来克服这个障碍，如下所示ing. 具体来说，假设预训练模型包含L层，因此，由L个子集组成sθ（u）=Sig（（log（u/（1−u））+log（pθ/（1−pθ）/β），（1=1，...，L），其中每个θl包含重要参数-第l层的末端 我们提出了一种选择方法PSS来识别每个θl。PSS的动机如下。s<$θ（u）=sθ（u）（<$−γ）+γ，z<$θ=min（1，max（0，s<$θ（u）），（二）直观地，我们可以识别参数的重要性通过评估没有这些参数的预训练模型的性能下降来测试。然而，CNN模型的神经元可能对各种输入有不同的响应，这意味着参数的重要性是相关的它最初在[22]中提出，后来在[21]中改进。在（2）中，u是均匀分布的随机变量U（0，1），Sig（·）表示S形函数，γ<0是将z的支持度扩展到[0，1]的参数。另一挑战归咎 到 的 L0正则化子到输入。 更精确地，令Θ1表示Z=<${z<$（n）}<$。注意0θθ∈Θl0第l层。 当馈送样本xn（n=1，.，N）的范围在FΘ中，存在Θl的参数子集θl，使得原始的zθ已经被（2）中定义的z θ θ所替代。我们可以将L正则化子松弛为可微形式FΘ的最大性能下降，如果我们去除z，00 . 原因是L0规范强制执行我的天很明显，θrl随输入x而变化。为了消除θ∈Θθn减去Z∈ N（n）中的非零元素。这意味着，对于大多数这样的随机性，我们可以计算在馈送之后，Θl中的每个参数θ被选择作为θl的候选z∈（n）、、、z=012208应该越所有的xn。 表示参数θ在Θl乘pθ。很明显，频率pθ直接反映了尽可能小。根据累积分布在[22]中引入的sθ（u）的函数（CDF），我们可以con-t-12209m=1m=1ml=1m={}m=1m=1m=1ml=1ml=1l=1l=1l=1MMMMM图2：VGG19几个层中参数的直方图。每个子图中的红色曲线是相应的高斯分布，具有从参数估计的平均值和标准差。包括，，，。算法1：加密模块的方案−γ（在θ的每个子集上运行DPRM）。Pz（n）θ0=Siglog（pθ/（1−pθ））−βlogθ，输入：支配集Θ={θm}M，密钥（三）在补充材料中给出了详细信息。在具有松弛（2）和（3）时，问题（1）简化为K={κm}M。输出：Fθ、U、V、K、µ、σ。1 对于m= 1，...，Mdo2Rm←Gfs（κm，|Θˆm|）的情况下，Cm=θm+Rm;对于l = 1，...，我做中国 .4C斜纹布布勒姆Cm={Cl}L;min1L（FΘ（xn，（I-Z<$ （n））<$Θl），yn）、C中的c为5，l为l l l lpθ∈[0，1]N n=16（四）um= min（Cm），vm= max（Cm）;Σ−γ7c←（c−ul）/（vl−ul）;+λSig（log（pθ/（1−pθ））−βlog θ）。8µl=平均值（Θl），σl=标准值（Θl）;θ∈Θl-1。LllS当性能评价函数L（·）不同时，9c←FCCLml=1C|µ，σ，Cm←Cmc;对于pθ11C={Cm}M12 U={um}M13V={vm}M，FΘ←用C代替FΘ中的θ;，um={ul}L;，vm={vl}L;14µ={µl}L，σ={σl}L;TensorFlow [1]或Pytorch [25]。在解决问题（4）后，我们得到了第l层参数的重要性，记为pl={pθ}θ∈Θl. 这一层的支配集θε1自然可以被识别，如下所示计算公式：Fθ，U，V，K，μ，σ。FΘ，其中eθ是用于定位θ属于哪个层以及θ在该层中的位置的2-D元组。同样，我们将EΘ1={θ|θ∈Θl，pθ是上φ在Pl中}，（5）遵循θ的分割。也就是说，E={Em}M，Em={El}L，El={eθ}好吧其中φ是支配参数的数量 通过重复求解问题（4），其中l=1，.，L，搜索支配参数为（5），我们可以得到支配-m=13.2. 加密m l=1mθ∈Θm（七）对于模型F Θ，指定集合Θθ={Θθl}L。在具有主导参数Θi时，我们不分裂将它们分成M个不同的子集，如下所示：我们现在提出一种称为DPRM的加密方法来加密支配集θθ，以便在最大化性能下降方面保护模型FΘ我们运行θ={θm}M、θm={θl}L、DPRM独立于每个子集从θ到f-m=1m l=1（6）m塞萨尔 ={θ|θ∈ θ<$l，Qm+1，

下载后可阅读完整内容，剩余1页未读，立即下载