2019 年 2 月 Journal on Communications February 2019
2019002-1
第 40 卷第 2 期 通 信 学 报 Vol.40
No.2
基于深度强化学习的蜂窝网资源分配算法
廖晓闽
1,2
，严少虎
3
，石嘉
1
，谭震宇
1
，赵钟灵
1
，李赞
1
（1. 西安电子科技大学综合业务网理论及关键技术国家重点实验室，陕西 西安 710071；
2. 国防科技大学信息通信学院，陕西 西安 710106；3. 中国电子科技集团公司第二十九研究所，四川 成都 610036）
摘 要：针对蜂窝网资源分配多目标优化问题，提出了一种基于深度强化学习的蜂窝网资源分配算法。首先构建
深度神经网络（DNN），优化蜂窝系统的传输速率，完成算法的前向传输过程；然后将能量效率作为奖惩值，采
用 Q-learning 机制来构建误差函数，利用梯度下降法来训练 DNN 的权值，完成算法的反向训练过程。仿真结果
表明，所提出的算法可以自主设置资源分配方案的偏重程度，收敛速度快，在传输速率和系统能耗的优化方面明
显优于其他算法。
关键词：蜂窝网；资源分配；深度强化学习；神经网络
中图分类号：TN929.5
文献标识码：A
doi: 10.11959/j.issn.1000−436x.2019002
Deep reinforcement learning based resource
allocation algorithm in cellular networks
LIAO Xiaomin
1, 2
, YAN Shaohu
3
, SHI Jia
1
, TAN Zhenyu
1
, ZHAO Zhongling
1
, LI Zan
1
1. State Key Laboratory of Integrated Services Networks, Xidian University, Xi’an 710071, China
2. School of Information and Communications, National University of Defense Technology, Xi’an 710106, China
3. The 29th Research Institute of China Electronics Technology Group Corporation, Chengdu 610036, China
Abstract: In order to solve multi-objective optimization problem, a resource allocation algorithm based on deep rein-
forcement learning in cellular networks was proposed. Firstly, deep neural network (DNN) was built to optimize the
transmission rate of cellular system and to complete the forward transmission process of the algorithm. Then, the
Q-learning mechanism was utilized to construct the error function, which used energy efficiency as the rewards. The gra-
dient descent method was used to train the weights of DNN, and the reverse training process of the algorithm was com-
pleted. The simulation results show that the proposed algorithm can determine optimization extent of optimal resource
allocation scheme with rapid convergence ability, it is obviously superior to the other algorithms in terms of transmission
rate and system energy consumption optimization.
Key words: cellular networks, resource allocation, deep reinforcement learning, neural network
1 引言
随着无线网络中通信设备数量的急剧增加和
业务需求的多样化，有限的频谱资源与人们日益增
长的无线频谱需求之间的矛盾日渐突出和加剧。当
前无线通信领域面临着智能化、宽带化、多元化、
综合化等诸多技术挑战，无线网络环境变得日益复
杂多样和动态多变，此外，绿色网络和智慧网络等
新概念的提出，使频谱资源管理的优化目标日趋多
样化，因此，如何优化频谱利用，最大限度地实现
收稿日期：2019−01−19；修回日期：2019−02−15
通信作者：严少虎，youngtiger@263.net
基金项目：国家自然科学基金重点资助项目（No.61631015）
Foundation Item: The Key Project of National Natural Science Foundation of China (No.61631015)
评论0