网络设置对合作边缘网络中基于强化学习的缓存策略的影响

请引用这篇文章作为：X. Cheng，M. Gao，Q. Gao等人，网络设置对合作边缘网络中基于强化学习的缓存策略的影响，ICT Express（2023），https://doi.org/10.1016/j.icte.2023.01.005。可在www.sciencedirect.com在线获取ScienceDirectICTExpress xxx（xxxx）xxxwww.elsevier.com/locate/icte网络设置对协作边缘网络中基于强化学习的缓存策略的影响程小宝a，高明汉b，高强a，刘晓波，彭晓红ca北京航空航天大学电子与信息工程学院，北京100191b北京邮电大学人工智能学院，北京100191伯明翰城市大学计算机、工程与建筑环境学院，伯明翰B5 5JU，英国接收日期：2022年10月17日;接收日期：2023年1月7日;接受日期：2023年1月13日摘要强化学习（RL）已经与合作缓存结合使用，以处理移动网络中不断增长的流量，但基于RL的缓存策略的性能在很大程度上取决于网络设置。本文研究了网络基础设施内的访问延迟和网络性能上所请求的内容的流行性和相似性的影响。在基本和扩展的协作边缘网络中建立了基于深度Q网络的缓存框架。我们的仿真结果揭示了性能和影响参数之间的显式关系，这可以提供一个指导和基准的设计有效的缓存策略与RL和合作技术。© 2023作者（S）。出版社：Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：边缘缓存;深度强化学习;协同缓存;网络设置1. 介绍随着5G的不断发展和普及，无线设备的数量和数据流量呈爆炸式增长。因此，在需要更短的网络延迟和更高的吞吐量方面，当前的无线通信系统面临很大的压力。移动边缘计算（MEC）是一种非常有前途的技术，用于通过将计算和存储服务从云移动到移动网络中的边缘节点（例如基站）来解决由数据流量的快速增长引起的问题[1]。将热门内容缓存在比云端更接近用户的边缘节点上，可以有效减少回程重复流量和内容传输延迟，提高用户感知体验质量。然而，由于大多数可用的5G网络中有限的通信资源、有限的存储容量和动态内容流行度，设计高效的边缘缓存策略是MEC在这样的系统中的关键挑战∗ 通讯作者。电子邮件地址：chengxb@buaa.edu.cn（X.Cheng），minghan20021110@163.com（M.Gao），gaoqiang@buaa.edu.cn（Q.Gao），xhpeng100@gmail.com（X.-H. Peng）。同行审议由韩国通信研究所负责教育与信息科学（KICS）。https://doi.org/10.1016/j.icte.2023.01.005受用于解决复杂控制问题的强化学习（RL）技术的启发[2]，近年来，许多研究人员使用该技术来处理边缘缓存相关问题[3RL在[3]中用于通过应用多臂强盗模型将最流行的内容存储在高速缓存中。[4]的作者提出了一种基于Q学习的缓存替换策略，以减少流量负载。考虑到内容流行度的地理和时间变化，[5]中的研究提出了一种设计，一个可扩展的Q学习算法的缓存更新。工作在[6]中，开发了一种新的动态内容更新策略，借助长短期记忆（LSTM）网络和Q学习来处理巨大的状态空间问题。[7]的 作 者 将 深 度 确 定 性 策 略 梯 度 （ DDPG ） 算 法 与wolpertinger结构相结合，并将其应用于边缘缓存问题。在上述研究工作中，如果用户请求的文件没有被缓存在服务基站中，并且它将永远不会被相邻基站（BS）满足，则用户请求的文件将仅从云服务器获取。 虽然附近的基站之间始终存在高速且高度可靠的连接，但从相邻缓存获取所请求文件的成本低于从云服务器获取所请求文件的成本在协作网络中寻找最优的缓存策略是一项艰巨的任务2405-9595/© 2023作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。2++关于我们B联系我们X. Cheng，M.Gao，Q.Gao等人ICT Express xxx（xxxx）xxx边缘网络场景。已经提出了一些基于强化学习的缓存策略来应对这一挑战。在[8]中，提出了一种基于行动者-评论家强化学习的多智能体框架来处理协作边缘缓存问题。在[9]中，作者提出了一种基于联邦强化学习的协作边缘缓存策略。在多智能体系统中，基站之间既有竞争关系，也有合作关系，这种关系由基站之间的接入时延和偏好相似性等网络设置决定。在联合学习的协作边缓存问题中，网络设置会影响局部模型的偏差程度，进而影响全局模型训练的收敛行为。在协作边缘网络中，基于强化学习的缓存策略的性能在很大程度上取决于网络设置。据我们所知，这一问题和相关的影响尚未得到解决。在本文中，我们将研究网络设置的影响，在合作的边缘网络基于强化学习的缓存策略。在建立一个简单的协作边缘网络模型的基础上，提出了一个基于深度Q网络（DQN）的缓存框架，以最小化服务用户请求的平均访问延迟。然后，我们揭示了网络设置的影响，BS之间的访问延迟和用户所请求的内容的偏好相似性属性，缓存策略的性能。访问延迟直接反映了学习目标，与链路质量和基站的负载有关。 内容流行度是确定通过缓存减少延迟的关键因素之一，并且在非合作场景中被广泛研究[5，6]。这项工作中的发现可以帮助设计基于强化学习的高效缓存策略。基于DQN的缓存策略的性能可以为缓存策略和其他相关主题的研究提供有用的基准。本文件其余部分的结构如下。第二节介绍了具有两个BS的协作边缘网络的系统模型。在第3节中，缓存更新问题假设内容文件的大小与[8]中相同。如果它们是不同的，我们可以将大文件分成许多大小相等的小文件，并将每个分离的文件视为单独的文件。每个基站配备边缘服务器用于计算和缓存，边缘服务器具有固定的缓存容量M。网络中的所有用户由BS之一服务。当用户u发送文件请求时，如果所请求的文件被缓存，则服务BSb将直接将文件递送给u在自己的边缘服务器上。我们将这种命中本地缓存的情况下的访问延迟表示为dub，这是用户从发送请求到接收所请求的文件所需的往返时间。否则，服务BSb将寻求来自相邻BSb′的帮助。当所请求的文件被高速缓存在BSb′中时，命中相邻高速缓存情况下的访问延迟是dubdbb′，其中dbb′是服务BSb和相邻BSb′之间的访问延迟。如果请求的文件没有缓存在b或b'中，则必须从云服务器获取。在这种情况下，接入延迟是dubdbc，其中dbc是服务BS与云服务器之间为了改善用户请求的访问延迟性能，BS应该根据用户请求的内容流行度来更新其缓存的内容，以增加命中本地或相邻缓存的机会。内容流行度P（f）表示内容f被用户请求的概率分布，并且所有内容的流行度由P（1），P（2），. . .，P（F）.一般认为流行度遵循Zipf分布[10]。该系统以离散时间方式工作，时隙t1，2，. . .，T.每个时隙由三个阶段组成：内容交付、缓存更新和信息交换。在内容递送阶段期间，每个BS从所服务的用户接收请求，并且从其边缘服务器、相邻边缘服务器或云服务器向用户递送所请求的文件。由于每个用户具有唯一的偏好，BS从其服务的用户接收不同的请求。 令Pb指示BSb的流行度偏好，其是由其服务的用户请求的内容估计内容f在时隙t的流行度Pt（f）是被公式化为马尔可夫决策过程，Pt（f）=f在时隙t的本地请求数（一）给出了基于深度强化学习的高速缓存策略的细节在第4节中，通过仿真研究了在具有两个BS的协作边缘网络中，网络设置对网络性能的影响，即平均接入延迟。还研究了具有多个BS的扩展网络的性能，以显示通过涉及具有不同网络设置的相邻BS所实现的改进。最后，第五部分对本文进行了总结。2. 网络模型以双基站网络为例建立了系统模型，并在第四节中将其扩展到多基站网络。考虑由云服务器c、两个基站（BS）b和b′以及一些用户组成的简单网络。云服务器有足够的存储空间，可以存储所有的内容文件F={1，2，. . .，F}，这可以由用户请求。的b插槽t上的所有本地请求号在缓存更新阶段，每个BS更新其边缘服务器中的缓存内容。为了最小化用户请求的平均访问延迟，需要为每个BS决定应该缓存哪些内容以满足未来的请求。设计一个高效的缓存策略是一项具有挑战性的任务，可以采用强化学习来优化这样的策略。在信息交换阶段，每个基站直接或通过云服务器向网络中的其他基站发送缓存内容和内容流行度的信息，并从其他基站接收信息3. 基于强化学习的协同缓存在本节中，每个基站被认为是一个代理，独立地寻求自己的缓存策略。缓存内容的替换过程被建模为马尔可夫模型3=+−B（）;=+;B++BBBBBBBBB，B].内容按降序BBb′b′ ，内容热度是持续的wb=dub+dbc，wb′=du′b′+db′c（BBBBCBBBbBBb不b bb′X. Cheng，M.Gao，Q.Gao等人ICT Express xxx（xxxx）xxx决策过程（MDP）。时隙γ处的环境状态是折扣因子，T是MDP的范围，BSb观测到的t为s t=<$P t，m t，P t′−1，m t′<$。 在我们的研究中，pt和mt是无穷大的可以看出，最大化是估计的内容流行度和累积的奖励的信息可以最小化的平均访问延迟的BSb的缓存的内容，分别。 m t′是 一个网络在一个较长的评估期内的缓存。B相邻BSb′在时隙t的内容Pt−1是深度强化学习，它有效地结合了在时隙T1的内容流行度。，b′采用深度学习和强化学习的方法，G iv enstatest，BSbcarrieso−utactionat. 的tBb是整数遇到的内容缓存问题。 在状态s t=B且a∈[0MBPt，mt， Pt−1，mt根据加权的受欢迎度Pt.当t=m时，最后一个m变量此外，状态空间随着数目的增加而增加bb的内容和BS的数量呈指数关系。解决内容将从高速缓存中被逐出，并且m个未缓存的最高磷含量将由BS从不高维状态空间的缓存问题，一种基于深度Q网络的机器学习框架云服务器并添加到其缓存中。如果a b=0，则缓存的内容在时隙t+1保持不变。考虑BSb处的高速缓存内容mb对（DQN）用于学习最优缓存策略。action-value函数是在看到状态s、执行某个操作a然后进行缓存之后由于文件请求来自其服务用户和由相邻BSb′服务的用户，政策π。神经网络Q埃瓦阿尔（s， a;θ），也称为求值加权流行度可以定义如下：Pt=wb<$Pt+wb′<$Pt−1（2）与网络，用于近似动作值函数。为了得到最优的动作值函数，从而得到最优的策略，我们最小化损失函数，它是当前和目标Q之间的均方误差，即：dbcdb′c−db′bL（θ）=E[（T targetQ-Qev al（s， a;θ））2]（6）其中T目标Q由目标表示 网络Q目标分子d bc杜卜dbc 第一重量的d ub表示与从云服务器获取所请求的文件时的丢失文件相比，由于缓存的内容mt而命中本地缓存的访问延迟减少。类似地，分子db′c-db′b表示接入延迟s， aθ− 作为T目标Qr tγ max aQ目标（s t+1，aθ−）。在C轮迭代之后，评估网络的参数θ被复制到目标网络的参数θ−详细的学习步骤总结在算法1中，其用于导出BSb处的最优高速缓存策略。减少相邻缓存的命中BSb′ 从缓存的内容中获取文件 履行其满足用户的要求。分母d ubd bc和d u′b′d b′c是相等的并用于归一化。在我们的研究中，BSb中用户请求的平均接入延迟被用来衡量BSb的性能，其定义为：tdub<$nt+（dub+dbb′）<$nt′+（dub+dbc）<$ntdb=bBBt t tBC（4）nb+nbb′+nbc其中nt，nt′ 和nt是请求的数量在时隙t从BSb接收并且分别由本地缓存、相邻缓存和云服务器满足。据此可以计算出网络中用户请求的平均访问延迟。平均接入时延的网络性能与接入时延的降低密切相关，BS的更新内容BSb在时间执行动作atB插槽t，缓存的内容mtB更新了。则文件用户的请求在时隙t+1到达接入延迟减少由mt贡献作为行动at的奖励，定义为：rt=wb<$nt+1+wb′<$nt+′1（五）其中，nt+1和nt+′1是到达的请求数，B4+t′=t来自本地用户和来自相邻用户的时隙t1并且它们都由高速缓存的内容Mt满足。在时隙t+b，BSb可以容易地评估奖励rtb1.协作边缘网络中的内容缓存问题是为每个BS找到最优的缓存策略，4. 仿真在本节中，我们首先研究访问的影响最大化折现后的累积奖励Gt=∑Tγt′−trt′BS之间的延迟和流行度偏好相似性X. Cheng，M.Gao，Q.Gao等人ICT Express xxx（xxxx）xxx5=−===∈====通过仿真，得到了两个基站协作的边缘网络中用户请求的平均接入时延。然后，我们演示了如何在一个给定的BS的用户请求的性能可以通过涉及相邻的BS与不同的接入延迟或不同的流行度偏好的相似性，在一个合作的边缘网络与多个BS的改善。在仿真过程中，用于重置目标网络参数θ−的运行次数C累计奖励的折扣系数γ为0.9。选择一个随机行动进行探索的概率ε从1开始以0.005的速率呈指数衰减。4.1. 网络设置对网络性能的影响采用一个由128个神经元和64个神经元组成的具有两个隐层的全连接前向神经网络作为Q值和Q目标。我们将内容F的总数设置为1000，并且将高速缓存大小M设置为50。Zipf分布的系数设定为α1。 我们首先根据Zipf分布生成BSb的内容流行度Pb（f）。If是内容f按照流行度的降序的排名。然后，基于Pb（f）生成BSb′的内容流行度Pb′（f从[δ，δ]中抽取的随机整数被添加到If以获得内容f的新秩。如果改变的秩小于零，则将其设置为零。如果不同的内容具有相同的等级I，则从I开始的连续等级将被这些内容随机地占用，并且具有较高等级的内容的等级将相应地移动。最后，我们有一个新的排名序列和内容流行度Pb′（f）遵循相同的Zipf定律，可以得到BSb′。为了表征来自两个BSb和b′的文件请求的相似性，我们将偏好相似性定义如下：Mρ=M，ρ∈[0，1]（7）其中m是在M内的由b的用户和b′的用户两者最请求的公共内容的数量。上述参数δ可用于调整相似度ρ。我们将用户与其本地BS之间的接入延迟dub设置为1个单位。假设BS与云服务器之间的访问延迟dbc、 db′c相同，并且将其设置为10个单位。假设两个BS之间的接入延迟dbb′为 等于或小于BS与云服务器之间的距离，并且通过dbc归一化如下：βdbb′，β[0，1]（8）dbcβ0意味着BS之间的接入延迟被忽略。当β 1时，用户从相邻BS获取文件的访问延迟与从云服务器获取文件的访问延迟相同。基站间的接入时延由链路质量、基站负载等首先，我们研究了两个基站之间的接入延迟如何影响网络性能的平均接入延迟的用户请求，如图所示。1. 当β=1时，将从云中Fig. 1. 在不同流行度偏好相似度ρ下BS之间的平均接入延迟与归一化延迟β的性能。服务器，如果它没有被缓存在本地BS，并且永远不会从相邻BS获取，为了我们采用的文件访问机制的简单性。这意味着图中每条曲线的右端。 1表示没有协作缓存的网络性能。我们可以从图中看到。 1，当流行度偏好相似度较大时，用户请求的平均接入延迟随着BS之间的接入延迟β而增加（ρ 1，0. 八，零。（6）如预期。如果网络中的BS之间存在协作缓存，则用户的文件请求可以通过以下三种操作之一来满足：从本地缓存获取文件，从相邻缓存获取文件，或者从云存储获取文件。BS之间的访问延迟β越大，对于未被缓存在本地缓存中而是被缓存在相邻缓存中的所请求的文件，访问延迟减少将越少同时，有缓存协作的网络性能（平均访问延迟）（β1）优于无缓存协作的网络性能（β1）。从图中我们还可以看出，平均接入延迟最初随β增加而达到最大值，然后随着小ρ（ρ 0，0. 2）。此外，这两条曲线的右端达到它们的最小平均访问延迟。这意味着在这些情况下，协作缓存（β1）的网络性能比非协作缓存（β如果网络中存在协作缓存，则缓存更新应该平衡来自本地用户的请求与来自相邻用户的请求。但是当ρ很小时，更多的近乎无聊的文件获取发生意味着更少的本地获取，给定有限的缓存内容可用。这是因为来自本地用户和来自相邻用户的请求是完全不同的，并且一些本地文件提取将不得不转移到云提取，导致文件请求的访问延迟增加。因此，当ρ较小时，协同缓存下的平均访问延迟可以高于无缓存协同时的平均访问延迟。同样，在小ρ下，在邻近提取和局部提取之间存在很大的变化。当BS之间的访问延迟β较小时，由相邻提取引入的访问延迟减少将较大，这导致许多相邻提取。随着β的增加，X. Cheng，M.Gao，Q.Gao等人ICT Express xxx（xxxx）xxx611===11不 1122NN11我1u11==图2. 在不同归一化延迟β下，BS之间的平均接入延迟与流行度偏好相似度ρ的性能。通过相邻取数减少，这导致要替换的本地取数增加图3. BS1的用户请求的平均接入延迟的减少，由具有不同接入延迟的相邻BS贡献。对于相邻BS，相同的流行度偏好相似度被设置为p == 0，0。五，一。与邻居的吸引力结果表明，平均接入时延随着β的不断增大而减小。这就解释了d1cw=d+d1c，wdic−di1，i1（10）duii+dic平均访问延迟性能对β的行为当p很小的时候然后，我们研究如何流行偏好相似度ρ在多个BS的协作边缘网络中由BS 1在状态st处执行的动作at的奖励也被修改为影响用户请求的平均接入时延rt=w1<$nt+1+∑wi<$nt+1（十一）图2示出了在不同归一化延迟β下的这样的结果。1从图中可以看出，1i 1i=1当β（β 1，0. 9）。较大的β将导致较小的协作缓存增益（即，由相邻提取引入的访问延迟减少），因此对于文件请求存在很少的相邻提取，并且流行度偏好相似性在平均访问延迟方面对网络性能的影响很小。 还可以看出，对于小的β（β 0，0. 1，0。3），即大的协同缓存增益，平均访问延迟随着ρ的增加而单调减小。这是因为当相似性（ρ）增加时，来自相邻用户的更多文件请求将符合本地请求，并且因此，除了本地请求之外，给定的缓存内容可以满足更多的相邻请求。因此，平均接入延迟将随着BS之间的流行度偏好相似性的增加而减小。4.2. 通过具有多个BS的我们现在示出了如何通过利用协作边缘网络中具有不同接入延迟或不同流行度偏好相似性的相邻BS的资源来改善给定BS的用户请求的网络性能。为此，将具有两个BS的原始系统模型扩展到具有多个BS的模型。假设在协作边缘网络中存在N个BS。BS 1观测到的环境状态为s t=Pt，m t，P t−1，m t，. - 是的- 是的 ，P t−1，m t.在模拟中，BS的数量被设置为N7。其他网络参数和RL模型的超参数设置与之前相同，除非另有说明。首先，我们分析了通过利用具有不同访问延迟的相邻缓存来提高BS 1服务的用户的性能。通过设置BS 1与相邻BS之间的流行度偏好相似度相同，得到来自BS的1.另一个平均访问延迟是当任何一个从BS 1断开。通过比较，可以评估由断开的相邻BS贡献的BS 1的性能改进这两个平均访问延迟。具有不同接入延迟的相邻BS贡献的平均接入延迟减少在图1中示出。3.可以看出，如所预期的，该减少的量随着BS的接入延迟的增加而减少，并且对于相邻BS所保持的小的共同流行度偏好相似度，减少的可以忽略具有大接入延迟的相邻BS的性能贡献，并且为了简单起见，在实际操作中可以禁用与这些BS的协作缓存功能。然后，我们将BS 1和任何相邻BS之间的访问延迟设置为相同，并显示BS 1的性能如何受到其具有不同流行度偏好相似性的相邻缓存的影响。平均访问延迟由具有不同的BS的相邻BS贡献的减少用于定义BS 1的动作at的加权流行度P1修改为流行度偏好相似性如图所示。第四章它可以从图中可以看出，Pt=w1<$Pt+∑wi<$Pt−1i=1（九）是小的，并与流行的偏好略有波动相邻BS的相似性。所有邻近的缓存我X. Cheng，M.Gao，Q.Gao等人ICT Express xxx（xxxx）xxx7图4. BS1的用户请求的平均接入延迟的减少，由具有不同流行度偏好相似性的相邻BS贡献。对于任何相邻BS和BS 1之间的延迟设置相同的接入延迟，因为β = 0，0。五，一。BS 1可以被视为一个大的虚拟缓存，以提供协作缓存功能，因为BS 1与其相邻BS之间的访问延迟是相同的。如果我们从大虚拟高速缓存中驱逐一个相邻高速缓存的一个相邻的缓存只占用整个虚拟缓存的一小部分。因此，当相邻BS具有相同的访问延迟时，由每个相邻缓存贡献的BS 1的性能改善几乎相同。从图中还可以看出，BS 1与相邻BS之间的公共接入延迟越小，每个相邻BS引入的平均接入延迟减少将越大。5. 结论在协作边缘网络中，通过集中利用本地缓存和相邻缓存，可以降低用户请求的平均访问延迟。以此充分发掘强化学习支持的移动边缘缓存技术的潜力，需要更好地了解网络设置如何影响网络性能。我们的研究是基于一个RL启用缓存框架，并通过模拟的网络性能响应于不同的设置参数的变化的行为进行了研究。我们已经发现，BS和云服务器之间的网络基础设施延迟曲线以及BS之间的偏好相似性所表征的内容属性对网络性能单独地以及联合地具有显著影响。我们还确定了网络性能的趋势是最有可能表现出在各种条件下对不同的网络设置，包括合作缓存优于非合作缓存的条件，反之亦然。这些结果和所提出的方法可以帮助研究人员设计适当的缓存策略和协作策略，以实现不同场景下的最佳网络性能。CRediT作者贡献声明程小宝：写作-初稿，方法论，调查。Minghan Gao：软件，数据管理。高强：概念化，撰写彭晓红：监督、审核、验证。竞争利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作确认这项工作得到了中国国家重点研究和发展计划的部分支持，基金2021YFB1600503引用[1] Y. Mao，C.你，张杰，K。Huang，K.B. Letaief，移动边缘计算调查：通信视角，IEEE Commun。Surv.家教19（2017）2322-2358。[2] Z. Jia，Q. Gao，黄毛菊X.彭，LSTM-DDPG交易与可变的立场，传感器21（19）（2021）6571。[3] P. Blasco ， D. Gündüz ， Content-level selective offloading inheterogeneous networks：Multi-armed bandit optimization and regretbounds，2014，http：//arxiv. org/abs/1407。6154.[4] J. Gu，W. Wang，A. Huang，H. Shan，山枣Z. Zhang，用于蜂窝网络中的高速缓存使能基站的分布式高速缓存替换，在：2014 IEEE国际通信会议，ICC，IEEE，悉尼，新南威尔士州，2014年，pp.2648-2653。[5] A. Sadeghi，F. Sheikholeslami，G.B. Giannakis，使用时空流行的强化学习的5G优化和可扩展缓存，IEEEJ。选档Top. 信号处理。12（2018）180[6] 吴鹏，李俊，李文。Shi，M.丁，K。Cai，F. Yang，动态内容 通过 深 度 强 化 学 习 更 新 无 线 边 缘 缓 存 ， IEEECommun. Lett. 23（2019）1773[7] C. Zhong，M.C. Gursoy，S. Velipassistance，一个基于深度强化学习的内容缓存框架，在：2018年第52届信息科学与系统年会，CISS，IEEE，普林斯顿，新泽西州，2018年，第100页。一比六[8] C. Zhong ， M.C. Gursoy ， S. Velipasperson ， Deep multi-agentreinforcementlearning based cooperative edge caching in wirelessnetworks，in：2019IEEEInternationalConferenceonCommunications，ICC，IEEE，Shanghai，China，2019，pp. 一比六[9] M. Zhang ， Y. Jiang ， F.- C. Zheng ， M. Bennis ， X. You ，Cooperative edgecaching via federated deep reinforcement learning inFog-RAN ， in ： 2021IEEEInternationalConferenceonCommunications Workshops（ICCWorkshops），IEEE，Montreal，QC，Canada，2021，pp. 一比六[10] L. Breslau，Pei Cao，Li Fan，G. Phillips，S. Shenker，Web缓存和zipf样分布：证据和影响，在：IEEE计算机和通信学会第十八届年度联合会议。The Future is Now，Vol. 1，IEEE，New York，NY，USA，1999，pp. 126-134