BIG DATA RESEARCH 大数据
54
TOPIC 专题
55
1 引言
近 年 来 ,随 着 全 球 范 围 内 社 会 经 济
与 科 学 技 术 的 高 速 发 展 ,信 息 通 信 技 术
(information communications technology,
I C T )产 业 不 断 地 涌 现 出 了 许 多 新 兴 技 术 。
其中,有两种代表性技术被广泛认为对人类
经济社会产生了巨大的推动力与深远的影响
力。其一,作为人工智能领域代表性技术的深
度 学 习 ,受 益 于 算 法 、算 力 和 数 据 集 等 方 面 的
进步,近年来得到了突飞猛进的发展,并在无
人驾驶、电子商务、智能家居和智慧金融等领
域大展拳脚,深刻改变了人们的生活方式,提
高了生 产 效率
[1]
。而 另 外 一 种 技 术 则 为 从 传 统
的云计算技术演化发展而来的边缘计算技术
[2]
,相比于云计算,边缘计算将强计算资源和
高效服务下沉到网络边缘端,从而拥有更低
的 时 延 、更 低 的 带 宽 占 用 、更 高 的 能 效 和 更 好
的隐私保护性。
然 而 ,鲜 为 人 知 的 是 ,人 工 智 能 和 边
缘计算这两种具有划时代意义的新技术
目 前 正 面 临 着 各 自 进 一 步 发 展 的 瓶 颈 。一
方面,对于深度学习技术而言,由于其需要
进行高密度的计算,因此目前基于深度学
习的智能算法通常运行于具有强大计算能
力的云计算数据中心。考虑到当下移动终端
设 备 的 高 度 普 及 ,如 何 将 深 度 学 习 模 型 高 效
地部署在资源受限的终端设备,从而使智能
更 加 贴 近 用 户 与 物 端 ,解 决 人 工 智 能 落 地 的
“最后一公里”这一问题已经引起了学术界
与工业界的高度关注
[3-7]
。另 一 方 面 ,对 于 边
缘计算而言,随着计算资源与服务的下沉与
分 散 化 ,边 缘 计 算 节 点 将 被 广 泛 部 署 于 网
络 边 缘 的 接 入 点( 如 蜂 窝 基 站 、网 关 、无 线
接 入 点 等 )。边 缘 计 算 节 点 的 高 密 度 部 署 也
给计算服务的部署带来了新的挑战:用户通
常具有移动性,因此当用户在不同节点的覆
盖范围间频繁移动时,计算服务是否应该随
着 用 户 的 移 动 轨 迹 而 迁 移 ?显 然 ,这 是 一 个
两难的问题,因为服务迁移虽然能够降低时
延从而提升用户体验,但其会带来额外的成
本 开 销( 例 如 带 宽 占 用 和 能 源 消 耗 )。
幸运的是,人工智能和边缘计算各自面
临的发展瓶颈可以通过它们二者之间的协
同得到缓解。一方面,对于深度学习而言,
运行深度学习应用的移动设备将部分模型
推理任务卸载到邻近的边缘计算节点进行
运算,从而协同终端设备与边缘服务器,整
合二者的计算本地性与强计算能力的互补性
优 势 。在 这 种 方 式 下,由 于 大 量 计 算 在 与 移
动设备邻近的具有较强算力的边缘计算节
点上执行,因此移动设备自身的资源与能源
消耗以及任务推理的时延都能被显著降低,
从 而 保 证 良 好 的 用 户 体 验 。另 一 方 面 ,针 对 边
缘计算服务的动态迁移与放置问题,人工智
能 技 术 同 样 大 有 可 为 。具 体 而 言,基 于 高 维
历史数据,人工智能技术可以自动抽取最优
迁 移 决 策 与 高 维 输 入 间 的 映 射 关 系 ,从 而 当
给 定 新 的 用 户 位 置 时,对 应 的 机 器 学 习 模 型
即可迅速将其映射到最优迁移决策。此外,
基于用户的历史轨迹数据,人工智能技术还
可以高效地预测用户未来短期内的运动轨
迹 ,从 而 实 现 预 测 性 边 缘 服 务 迁 移 决 策 ,进
一 步 提 升 系 统 的 服 务 性 能 。总 体 而 言 ,边缘
计算和人工智能彼此赋能,将催生“边缘智
能”的崭新范式,从而产生大量创新研究机
会。
本文将简要介绍笔者研究团队在融合
边缘计算与人工智能两个方向上的初步探
索 。首 先 ,从 边 缘 计 算 赋 能 人 工 智 能 的 维
度出发,为了在网络边缘侧高效地运行深
度学习应用,本文提出了一个基于边端协
同的按需加速深度学习模型推理的优化框
架——Edgent。为了实现降低模型推理时
间,并按需保障模型精确率的双重目标,
Edgent采取以下两种优化策略:深度学习模
型分割,自适应地划分移动设备与边缘服
务 器 之 间 的 深 度 神 经 网 络 模 型 计 算 量 ,以 便
在较小的传输时延代价下将较多的计算卸
载 到 边 缘 服 务 器 ,从 而 降 低 整 体 端 到 端 时
延;深度学习模型精简,通过在适当的深度
神经网络的中间层提前退出,进一步减小计
算 时 延 。其 次 ,从 人 工 智 能 赋 能 边 缘 计 算 的
维 度 出 发 ,针 对 边 缘 计 算 服 务 的 动 态 迁 移
与放置问题,本文首先提出了一种用户自适
应管理的在线服务放置机制。该机制能够
通过在线学习(online learning)人工智能
技术自适应复杂的用户行为和多变的边缘
网 络 环 境 ,从 而 辅 助 用 户 做 出 高 效 的 服 务 迁
移决策。最后,本文还将展示如何使用因子
图模型(factor graph model)这一新兴人工
智能技术实现用户位置预测,从而改善边
缘服务动态迁移决策的质量。
2 边缘计算驱动实时深度学
习
作为人工智能领域的主流技术之一,深
度学习近年来得到了学术界与产业界的大力
追捧。由于深度学习模型需要进行大量的计
算,因此基于深度学习的智能算法通常存在
于具有强大计算能力的云计算数据中心。随
着移动终端和物联网设备的高速发展与普
及,如何突破终端设备资源限制,从而将深度
学习模型高效地运行在资源受限的终端设备
这一问题已经引发了大量关注
[3-7]
。为 解 决 这
一难题,可考虑边缘计算赋能人工智能的思
路,利用边缘计算就近实时计算的特性,降
低深度学习模型推理的时延与能耗。
2.1 问题描述
常见的深度学习模型(如深度卷积神
经网络)是由多层神经网络相互叠加而成的
[1]
。不同网络层的计算资源需求以及输出数
据 量 都 具 有 显 著 的 差 异 性 ,那 么 一 个 直 观
的想法是将整个深度学习模型(即神经网
络 )切 分 成 两 部 分
[6]
,其 中 计 算 量 大 的 一 部
分卸载到边缘端服务器进行计算,而计算
量小的一部分则保留在终端设备进行本地
计 算 。显 然 ,终 端 设 备 与 边 缘 服 务 器 协 同 计
算的方法能有效降低深度学习模型的计算
时延。但是,选择不同的模型切分点将导致
不同的计算时间,需要选择最佳的模型切分
点,从而最大限度地发挥终端与边缘协同
的优势。
除 了 对 模 型 进 行 切 分 外 ,加 速 深 度 学 习
模型推断的另一手段为模型精简,即选择
完成时间更快的“小模型”,而不是选择对
资源需求更高的“大模型”
[8]
。对于任意的
深 度 学 习 任 务 ,可 以 离 线 训 练 生 成 具 有 多 个
退出点的分支网络,退出点越靠后,模型越
“大”,准确率也越高,但相应地推断时延
也 越 大 。因 此 ,当 深 度 学 习 任 务 的 完 成 时 间
比较紧迫时,可以选择适当地牺牲模型的
精确度,以换取更优的性能(即时延)。值
得注意的是,此时需要谨慎权衡性能与精
度之间的折中关系。
综合运用上述模型切分和模型精简两
种方法调整深度学习模型推断时间的优化
手段,并小心权衡由此引发的性能与精度之
间的折中关系,本文定义如下研究问题:对
于给定时延需求的深度学习任务,如何联
合优化模型切分和模型精简这种方法,使
得在不违反时延需求的同时最大化深度学
习模型的精确度。
2.2 优化框架
针 对 上 述 问 题 ,笔 者 团 队 提 出 了 基 于 边
缘与终端协同的深度学习模型推断优化框
架 E d g e n t 。如
图1所 示 ,E d g e n t 的 优 化 逻 辑 分
为3个阶段:离线训练阶段、在线优化阶段
2016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017009-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017035-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542018013-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017009-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017035-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542018038-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017009-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542017035-12016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542016025-542016016-542016061-542016016-542017001-542016016-542017007-22016016-542019013-2 2019013-3