网络设置对合作边缘网络中基于强化学习的缓存策略的影响

PDF格式 | 806KB | 更新于2025-01-16 | 60 浏览量 | 举报

请引用这篇文章作为：X. Cheng，M. Gao，Q. Gao等人，网络设置对合作边缘网络中基于强化学习的缓存策略的影响，ICT Express（2023），https://doi.org/10.1016/j.icte.2023.01.005。

可在

www.sciencedirect.com

在线获取

ScienceDirect

ICTExpress xxx（xxxx）xxx

www.elsevier.com/locate/icte

网络设置对协作边缘网络中基于强化学习的缓存策略的影响

程

小宝

，高明汉

，高强

，

刘晓

波，彭晓红

北京航空航天大学电子与信息工程学院，北京

100191

北京邮电大学人工智能学院，北京

100191

伯明翰

城市大学计算机、工程与建筑环境学院，伯明翰

B5 5JU

，英国

接收日期：2022年10月17日;接收日期：2023年1月7日;接受日期：2023年1月13日

摘要

强化学习（RL）已经与合作缓存结合使用，以处理移动网络中不断增长的流量，但基于RL的缓存策略的性能在很大程度上取决

于网络设置。本文研究了网络基础设施内的访问延迟和网络性能上所请求的内容的流行性和相似性的影响。在基本和扩展的协作边

缘网络中建立了基于深度Q网络的缓存框架。我们的仿真结果揭示了性能和影响参数之间的显式关系，这可以提供一个指导和基准的

设计有效的缓存策略与RL和合作技术。

（http://creativecommons.org/licenses/by-nc-nd/4.0/）。

关键词：

边缘缓存;深度强化学习;协同缓存;网络设置

介绍

随着5G的不断发展和普及，无线设备的数量和数据流

量呈爆炸式增长。因此，在需要更短的网络延迟和更高的

吞吐量方面，当前的无线通信系统面临很大的压力。移动

边缘计算（MEC）是一种非常有前途的技术，用于通过

将计算和存储服务从云移动到移动网络中的边缘节点（例

如基站）来解决由数据流量的快速增长引起的问题[1]。

将热门内容缓存在比云端更接近用户的边缘节点上，可以

有效减少回程重复流量和内容传输延迟，提高用户感知体

验质量。然而，由于大多数可用的5G网络中有限的通信

资源、有限的存储容量和动态内容流行度，设计高效的边

缘缓存策略是MEC在这样的系统中的关键挑战

∗

通讯作者。

电子邮件地址：

chengxb@buaa.edu.cn（X.Cheng），

minghan20021110@163.com（M.Gao），gaoqiang@buaa.edu.cn

（Q.Gao），xhpeng100@gmail.com（X.-H. Peng）。

同行审议由韩国通信研究所负责

教育与信息科学（KICS）。

https://doi.org/10.1016/j.icte.2023.01.005

受用于解决复杂控制问题的强化学习（RL）技术的启

发[2]，近年来，许多研究人员使用该技术来处理边缘缓

存相关问题[3RL在[3]中用于通过应用多臂强盗模型将最

流行的内容存储在高速缓存中。[4]的作者提出了一种基

于Q学习的缓存替换策略，以减少流量负载。考虑到内容

流行度的地理和时间变化，[5]中的研究提出了一种设

计，一个可扩展的Q学习算法的缓存更新。工作在[6]

中，开发了一种新的动态内容更新策略，借助长短期记忆

（LSTM）网络和Q学习来处理巨大的状态空间问题。[7]

的作者将深度确定性策略梯度（ DDPG ）算法与

wolpertinger结构相结合，并将其应用于边缘缓存问题。

在上述研究工作中，如果用户请求的文件没有被缓存

在服务基站中，并且它将永远不会被相邻基站（BS）满

足，则用户请求的文件将仅从云服务器获取。虽然附近

的基站之间始终存在高速且高度可靠的连接，但从相邻缓

存获取所请求文件的成本低于从云服务器获取所请求文件

的成本在协作网络中寻找最优的缓存策略是一项艰巨的任

务

（http://creativecommons.org/licenses/by-nc-nd/4.0/）。

下载后可阅读完整内容，剩余6页未读，立即下载

cpongm

粉丝: 6

网络设置对合作边缘网络中基于强化学习的缓存策略的影响

基于深度强化学习的移动边缘卸载机制.pdf

网络游戏-无线通信网络中基于学习的主动缓存控制方法.zip

基于边缘优先的ICN缓存协作策略

基于pytorch编写的利用深度强化学习解决任务卸载和边缘计算问题

边缘计算环境中基于启发式算法的深度神经网络卸载策略

深度强化学习 边缘计算

边缘卸载调度和多智能体强化学习的关系

车联网边缘计算常用强化学习算法

基于卷积神经网络边缘检测

在移动边缘计算（MEC）模型中，如何设计一个基于深度强化学习的计算卸载与资源分配系统，并提供相应的Python源码实现？

最新资源

深度强化学习边缘计算