Opt-CoInfer：跨物联网和云的最佳协作推理实现快速准确的CNN推理

沙特国王大学学报Opt-CoInfer：跨物联网和云的最佳协作推理，以实现快速准确的CNN推理张占华a，b，余汉桥a，b，王方舟a，ca大数据分析国家工程实验室，XibXi交通大学数学与统计学院cXi交通大学软件工程学院阿提奇莱因福奥文章历史记录：2022年8月27日收到2022年12月13日修订2022年12月17日接受2022年12月24日在线提供关键词：协作推理物联网云协作CNN推理最优方案A B S T R A C T为了快速、准确地利用卷积神经网络（CNN）对海量物联网（IoT）数据进行推理，基于划分和压缩技术的协同推理（CI）需要在考虑应用场景和推理需求的基础上仔细然而，随着新兴的分区和压缩技术，这是很难选择一个合适的合作计划，由于计划空间的指数增长和耗时的评估一个单一的计划。因此，我们提出了Opt-CoInfer来搜索协同推理的最佳协作方案（即，在任何特定情况下满足等待时间/准确性要求的最快/最准确的方案通常，Opt-CoInfer通过迭代方法更新局部最优值并将可行集减少为空来实现最优。具体地说，在每次迭代中，Opt-CoInfer根据评价方案建立的统计模型选择有希望的方案并更新局部最优解，然后利用局部最优解和协作的一些关键观测值约简可行集演讲方案。实验结果表明，在各种应用场景（例如，在相同的精度要求下，最高可达3.49×fas- ter，在相同的延迟要求下，精度损失低至37.41%）。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍随着物联网（IoT）和卷积神经网络（CNN）的普及，基于对IoT设备生成的数据进行快速准确的CNN推理，出现了大量应用（例如：、安全监视（Chen等人，2019）、故障诊断（Xie等人，2021），人群计数（Dong等人，2020年））。传统上，考虑到精确CNN模型的繁重计算以及IoT设备上的有限资源导致的计算瓶颈，精确CNN推理主要部署在云上（Xia等人， 2017年）。*通讯作者：Xi交通大学大数据分析国家工程实验室电 子 邮 件 地 址 ： dq2010zzh@stu.xjtu.edu.cn （ Z.Zhang ） ， yuhanqiao@ stu.xjtu。edu.cn（H. Yu），fzwang@stu.xjtu.edu.cn（F. Wang）。沙特国王大学负责同行审查制作和主办：Elsevier然而，随着大量应用程序数据（例如，高分辨率图像，高帧率视频），由于沉重的传输负载以及相对稀缺的云带宽导致的传输瓶颈，很难通过这样的云计算范式实现快速CNN推理。（Grulich和Nawab，2018）。因此，提出了协同推理（CI），其使CNN推理跨越IoT设备和云服务器以减轻传输和计算的瓶颈，用于从普适IoT设备生成的海量数据的准确和快速CNN推理（Chen等人，2022年）。通常，CI方法将CNN推理的部分计算从弱IoT设备卸载到强大的云服务器为了缓解计算瓶颈，压缩IoT设备和云服务器之间的传输数据以缓解传输瓶颈，并且通过适当的设置在IoT设备和云服务器上实现快速和准确的CNN推断（Xu等人，2021年）。具体地，如图1所示，主流CI方法利用逐层CNN分区来将整个CNN模型以及计算负载划分为IoT部分和云部分（Kang等人，2017），采用CNN压缩技术（例如，修剪（Fernandes和Yen，2021），https://doi.org/10.1016/j.jksuci.2022.12.0131319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comZ. Zhang，H. Yu和F. 王沙特国王大学学报439×Fig. 1.物联网云协作推理的插图。量化（Song等人， 2020））以减少IoT部分和云部分之间的中间数据大小（Wang等人， 2020），并从IoT设备到云服务器顺序地进行CNN推断（Yao等人， 2022年）。 通过不同的分区和压缩设置（即，协作方案），CI方法可以调整负载分布并在特定应用场景（即，CNN模型和IoT云系统的组合最后，考虑到特定的推理要求（例如，准确性下限或延迟上界），CI方法可以为CI部署选择适当的协作方案。越来越多的新兴分区和压缩技术（例如，基于图的DNN分裂（Banitalebi-Dehkordi等人， 2021）、具有端到端微调的修剪和量化（Huang等人，2020年）），CI方法可以部署广泛的应用场景和不同的推理要求。然而，随着越来越多的新兴技术应用于CI方法中，CI部署在实践中成为一个巨大的挑战具体而言，如何在特定的应用场景中得到满足推理需求的最优协作方案？随着新兴的分区和压缩技术，方案集的基数呈指数增长，并且单个协作方案的评估变得相当耗时，这使得评估所有方案并通过遍历算法或有向无环图优化来找到最优方案是不可行的，如早期的作品（Kang等人，2017年; Hu等人，2019年）。因此，考虑到现有的评价预算（即在实际应用中，现有的CI方法首先采用人工抽样的方法来构造一个具有合理基数的方案集，然后对所有选择的协作方案进行评估，以获得针对特定推理需求（例如，基于用户的协作需求）的最优方案。满足精度要求的最快方案或满足等待时间要求的最精确方案）（Huang等人，2020年; Laskarlett等人， 2020年）。然而，由于巨大的方案空间的次优性，这种手动采样容易陷入性能不佳的境地，因此需要CNN模型、物联网云系统和协作方案的大量专家知识来获得适当的方案。由于协同推理需求的多样性和应用场景的广泛性，很难获得全面的专家知识并针对每种情况找到合适的方案，这严重阻碍了协同推理在实际中的应用。因此，考虑到协同推断的部署适用于各种推理要求和广泛应用sce-在实践中，我们提出了Opt-CoInfer，一个自动框架，可以为任何给定的应用场景和推理需求实现最佳的协作推理。具体而言，对于任何特定的应用场景，Opt-CoInfer寻求具有最低延迟/最高精度的协作方案，以满足推理精度/延迟要求。据我们所知，Opt-CoInfer是第一个CI框架，它可以针对任何给定的应用场景和推理需求，通过新兴的分区和压缩技术实现最佳的协作推理。本文的贡献可归纳如下：1. 我们提出了一个有效的CI框架Opt-CoInfer，它实现了任何给定的应用场景和推理需求的最佳协同推理。具体地，Opt-CoInfer利用逐层CNN分区和端到端CNN压缩（即，剪枝和量化）进行协同CNN推理，并在考虑CNN模型架构和物联网云系统资源的情况下，搜索满足给定推理要求的最优排序方案。2. 我们提出了一种有效的搜索算法，在一定的应用场景中满足一定的推理要求的最优方案。通常，搜索算法通过迭代的方法更新局部最优值并将可行集减少为空来获得最优值。该算法在每次迭代中，首先根据评估方案建立的统计模型选择方案，然后对方案进行评估，并通过实际划分和压缩更新局部最优解，最后利用局部最优解和关键观测值约简可行集.3. 我们在现实世界的物联网云原型中评估Opt-CoInfer，具有各种推理需求和应用场景。实验结果表明，与基本的单端方法（在物联网或云上进行整体推理）相比，Opt-CoInfer在1%/5%的准确率损失下实现了高达31.97%/77.73%的延迟减少。与最先进的CI方法CLIO相比，Opt-CoInfer在相同的精度损失要求下实现了高达2：33的延迟减少，并且在相同的延迟减少要求下精度损失低至37.78%与使用Opt-CoInfer的相同分区和压缩技术但手动采样协作方案（即，随机抽样和均匀抽样），Opt-CoInferZ. Zhang，H. Yu和F. 王沙特国王大学学报440×××在相同的精度损失要求下，实现了高达3：48的延迟减少，并且在相同的延迟减少要求下，精度损失低至37.41%。本文的其余部分组织如下：第二节提供了背景和相关工作的协作推理。第三节介绍了最优协同推理的形式和求解方法。第4节描述了不同应用场景和推理要求的实验设置和相应结果。最后，第五部分给出了结论和未来的工作。2. 相关工作考虑到物联网设备上的计算瓶颈（Chen等人，2022）和到云服务器的传输瓶颈（Kang等人， 2017年），提出了跨物联网设备和云服务器的协作推理（CI），用于快速准确地推理普适物联网设备生成的海量数据（Chang例如， 2021年）。具体地，对于计算瓶颈，主流CI方法利用CNN分区来将部分CNN模型以及其计算从弱IoT设备卸载到强大的云服务器（Kang等人，2017; Eshratifar等人， 2021年）。例如，Neurosurgeon（Kang等人， 2017）在物联网设备上留下了几个初始CNN层，计算负载很小，传输了初始CNN层输出的紧凑中间数据，并利用强大的云来处理其他计算密集型CNN层，这比云计算平均提高了3：1的端到端延迟。此外，对于传输瓶颈，现有技术的CI方法利用分区层上的CNN压缩来压缩CNN部分之间的中间数据以及IoT设备与云服务器之间的传输数据（Huang等人，2020年; Shi等人，2019; Shao等人，2021年）。例如，使用CNN压缩（即，减少神经元数目的修剪技术和减少每个神经元的必要位深度的量化技术），现有技术的CI方法CLIO（Huang等人，2020年）与Neurosurgeon相比，在具有超低计算和通信资源的物联网设备上实现了6：3的加速比。通过不同的合作计划（即，，分区和压缩设置），CI可以调整具有不同准确度损失的计算负载和传输负载，然后针对特定应用场景（即，CNN模型和IoT云系统的结合）。最后，考虑到推理要求（例如，准确性下限或延迟上界），CI可以选择适当的协作方案来实现满足部署要求的最佳推理（Banitalebi-Dehkordi等人，2021年; Li等人，2018年; Huang等人，2020年）。值得注意的是，方案选择的复杂性高度依赖于划分和压缩技术，这决定了方案集的基数和方案评估的时间消耗。利用简单的划分和压缩技术，早期的工作可以直接评估所有方案，并通过遍历算法选择最优方案（Kang et al.，2017）或有向非循环图优化（Hu等人，2019年）。然而，这些早期的工作没有考虑新兴的压缩技术或考虑一个固定的设置在压缩技术，因此，他们不能提供最先进的协同推理。 随着越来越多的划分和压缩技术被用于CI方法中，由于CNN压缩中大量的参数微调，对协作方案的评估变得非常耗时，并且由于不同技术的设置集合的笛卡尔积，方案集合的基数呈指数增长并求解出方案选择的封闭形式。例如，考虑在最先进的CI方法CLIO（Huang等人，2020），VGG-19型号有135168种方案可供选择，使用NVIDIA-V100评估单个方案需要250分钟以上。对于这样一个耗时的方案评价和复杂的方案选择，系统的研究仍然是严重有限的。尽管一些早期的尝试已经研究了考虑新兴划分和压缩集的选择机制（Huang等人，2020; Samplawski等人，2020年），这些工作只考虑了整个方案的一部分，以达到合理的复杂性以及评估预算（即，可以通过实际划分和压缩来评估的协作方案的数量），这导致次优选择。例如，现有技术的CI方法CLIO（Huang等人，2020）首先从整个方案集中手动抽取部分划分和压缩集，以减少可用方案的数量，然后通过其渐进切片技术对所有可用方案进行评估，最后根据一定的推理需求选择合适的方案。由于CLIO的人工采样，其推理性能高度依赖于专家经验和评估预算，不能稳定地为各种应用场景和多样化的推理需求提供高效的协同推理，如果没有足够的评估预算，严格的推理需求可能会严重影响CLIO的性能.以随机采样作为手动采样方法的一个例子，图2说明了CI在我们的实验中使用新兴分区和压缩技术的性能。这里，在IoT设备/云服务器上进行整个CNN推断（即，，图2中的仅IoT/仅云）可以被认为是基线，每一轮都是从具有20个评估预算的随机选择中导出的，并且最优代表在一定精度要求下实现最低延迟的方案。很明显，人工抽样的CI甚至不能在每一轮中超过基线（例如，第三轮）。虽然有一些手动采样方案在某些轮次中实现了比基线更低的延迟，但最佳手动采样方案与最优方案之间仍然存在很大差距，这表明最先进的手动采样CI无法满足实际应用场景中的许多合理推理要求。因此，为了便于各种应用程序在实际应用中，CI与新兴的分区和压缩技术需要一个完整的解决方案，以实现有前途的，甚至是最佳的协同推理，考虑到特定的应用场景和推理需求。3. 最优共推设计在本节中，我们首先阐述了最优协同推理问题（第3.1节），然后提出了我们的解决方案（第3.2节），最后给出了关键模块和技术的细节（第3.3，3.4，3.5节）。3.1. 问题公式化对于特定的CNN模型和物联网云系统，协作推理（CI）中的大规模协作方案之间存在延迟和准确性之间的各种权衡。理想情况下，CI寻求快速准确的推理，这意味着具有最低延迟和最高准确度的推理。然而，考虑到CI中延迟和准确性之间的权衡，同时优化延迟和准确性是不可行的。Z. Zhang，H. Yu和F. 王沙特国王大学学报441ðÞð Þ ð Þð Þ ð Þð Þ ðÞð Þ ðÞðÞð Þ ðÞ图二. 5轮随机抽样的仅IoT、仅Cloud、IoT-Cloud协同推理的推理性能比较以及最佳IoT-Cloud协同推理。因此，建议从用户获得延迟或准确性要求，然后将问题转移到找到满足特定用户准确性/延迟要求的最佳协作方案（即，具有满足精度要求的最低等待时间的方案，或者具有满足等待时间要求的最高精度的方案）。具体地，基于逐层CNN分区（Kang等人， 2017），以及包含特征图修剪的最先进的压缩方法（Huang等人，2020）和分区层上的训练感知量化技术（Krishnamoorthi，2018），这项工作中的协作方案可以表示为id;num;bit，其中id表示CNN模型中分区层的身份文档，num表示修剪分区层后保留的特征映射的数量，bit表示分区层特征映射的量化位。然后，最优协作方案选择可以用公式表示如下：1. 选择在精度要求A0下实现最小时延的方案，即，、arg minTE2Eid;num;bit1id;num;bits： t：A_id;num;bit_P A_0;2. 选择在等待时间要求T0下实现最大准确度的方案，即，、arg maxA id;num;bit2id;num;bits： t：TE2Eid;num;bit6 T0;其中，A id;num;bit和T E2 Eid;num;bit表示CNN干扰精度和end-to-end推理延迟under id;num;bit方案分别。这里，TE2Eid;num;bit可以计算如下：从IoT设备到云服务器的计算时间，最后一项是云服务器上左侧CNN层的计算时间值得注意的是，对于某个合作方案，id;num;bit;T E2 Eid;num;bit可以很容易地用某个物联网云系统中的延迟配置文件来计算（参见第3.2节），然而，由于CNN模型的黑盒属性（Correia-Silva等人，2021）以及压缩技术中大量CNN参数的微调，实际精度A id; num; bit只能通过耗时的CNN评估来验证，这使得直接实现封闭形式的解决方案以及为最优方案选择问题构建具有大量采样数据的近似模型是不可行的。因此，我们把最优方案的选择问题转化为一个搜索问题，通过一系列的连续决策来迭代地更新局部最优解。具体来说，每个决策过程包含三个步骤。该方法首先根据方案的后验知识选择一个有希望的方案，然后对该方案进行评价，验证其最优性并更新局部最优解，最后用更新后的局部最优解约简可行集.这样的决策过程以迭代的方式工作，直到受局部最优约束的可行集为空，则局部最优将成为全局最优。基于这些序列决策，提出了满足某物联网云系统推理需求的最优协同推理系统解决方案Opt-CoInfer3.2. opt-coinferent的提出图3示出了Opt-CoInfer的概述。对于任何特定的CNN，IoT云系统（即、IoT设备、云服务器以及它们的传输条件）和推理要求，Opt-CoInfer设法实现满足推理要求（即，对于准确性要求的最快推断和对于等待时间要求的最准确推断）。具体来说，Opt-CoInfer中存在三个过程，具体说明如下。ID1XTIoT云计算-云计算ID;num;bit数量XT云计算ID;num;bit数量首先，Opt-CoInfer采用预处理过程，1/1jlid1采用CNN模型、物联网云系统和推理要求，以获得每个协作方案的延迟曲线和初始-其中，第一项是从输入到id_th的计算时间IoT设备上的CNN层，第二项是传输调整以下搜索过程的设置。具体来说，延迟配置文件模块在IoT云系统中运行CNN模型，Z. Zhang，H. Yu和F. 王沙特国王大学学报442ðÞðÞ图三. Opt-CoInfer的工作流程得到所有协作方案下每个CNN层的计算和传输延迟，然后可以根据等式2计算所有协作方案的端到端延迟。（三）、通过延迟配置文件，初始化设置模块从用户处获取推断要求，以初始化搜索的准确性和延迟约束。具体而言，对于准确度要求（即，协作方案的精度下限），精度约束被固定为精度要求，并且等待时间约束被初始化为宽松的大值（例如，仅IoT和仅云的较低延迟，可以在延迟配置文件中获得）1.对于延迟要求（即协作方案的等待时间上限），等待时间约束被固定为等待时间要求，并且准确性约束被初始化为宽松值0，因为在评估之前不存在精确的准确性数据。值得注意的是，在精度和延迟约束中，来自用户需求的约束在随后的搜索过程中不会改变，而另一个约束可以通过有希望的方案迭代更新。然后，基于延迟简档和推理约束，最优协作方案搜索过程以迭代的方式寻找最优协作方案。一般情况下，Opt-CoInfer根据所有评估方案的性能数据，选择更有可能突破的有希望方案然后，基于局部最优，Opt-CoInfer减少可行方案集，删除不合格的方案与推理约束。最后，当可行方案集被局部最优解的推理约束约简为空集时，Opt-CoInfer将局部最优解转化为全局最优解，输出最优协作方案。具体而言，在这个迭代过程中有六个模块：(1) 方案过滤器：考虑到推理的精度和延迟约束，Opt-CoInfer计算端到端延迟并估计可行集中可用方案的精度下限，然后过滤符合约束的方案（例如，精度下限仍高于精度约束且等待时间低于等待时间约束的方案）。如果存在任何合格的方案，Opt-CoInfer随机发送一个合格的方案进行评估，1IoT/Cloud-Only在IoT设备/云服务器上运行原始的整个CNN推理，没有准确性损失，因此可以被视为初始化中协作推理的基线。更新模块用于获取实际精度，并更新局部最优值以及推理约束。重复该过滤过程，直到不存在合格的方案。(2) 空间收缩：同样考虑延迟和准确性约束，Opt-CoInfer计算延迟并估计可行集中可用方案的准确性上界，然后删除延迟或准确性不符合约束的方案（即，精度上界仍低于精度约束或等待时间大于等待时间约束的方案），降低了后续搜索可行集的基数。(3) 判定：Opt-CoInfer根据当前可行集的基数，判定局部最优是否转化为全局最优，并完成搜索过程。如果可行方案集中不存在方案，则搜索结束，Opt-CoInfer从评价数据库中输出达到最优的方案作为全局最优协作方案。(4) 具有评估方案的模型：如果搜索继续，则Opt-CoInfer利用统计模型高斯过程来对黑盒目标函数A id;num;bit进行建模，并且通过基于所评估方案的后验知识的增量方法来更新这样的高斯过程（Schulz等人， 2018年）。(5) 有希望的方案选择：基于目标函数的建模，Opt-CoInfer选择具有最大概率的有希望的方案，以实现比当前局部最优更好的性能。(6) 评估和更新：应该通过耗时的实际划分和压缩操作来评估有希望 的方 案 ， 以验 证其 实 际精 度 ， 并且 这 样的 精 度数 据 Aid;num;bit将存储在可以由其他模块访问的开放数据库中。如果有前途的计划有更好的性能比以前评估的计划的局部最优，局部最优以及推理约束将被更新，以进一步的计划过滤和空间收缩。最后，根据最优协作方案，协同推理过程对CNN模型进行压缩，将其分为IoT部分和Cloud部分，并对IoT设备生成的数据进行跨IoT设备和Cloud服务器的协同推理Opt-CoInfer算法的主要过程也在算法1中以伪代码的形式进行了演示，关键模块的细节如下：Z. Zhang，H. Yu和F. 王沙特国王大学学报443ðÞ●ðÞ给定如下（第3.3节中的方案过滤器和空间收缩，第3.4节中的评估方案模型，第3.5节中的有希望的方案选择）。具体地，A id;num;bit的估计是从协作推断中使用的分区和压缩技术的观察导出的：算法1. 方案优选3.3. 方案过滤器和空间收缩考虑到算法的精度和延迟约束，Scheme Filter算法的目标是过滤出符合条件的方案，以更新局部最优解; Space Shrink算法的目标是去除不符合条件的方案，以减少可行方案集。在这里，效率主要来自于方案精度的估计，计算成本可以忽略不计，这避免了耗时的评估，以获得实际的精度。对于某个分区层id，精度A id;num;bit在bit固定时对于num是单调且凹的函数，并且在num固定时对于bit我们已经在不同的CNN中验证了这样的观察结果（例如，、VGG、ResNet 、 MobileNet ） 和 数 据 集 （ 例 如 ， ， ImageNet ， Cifar ，Stanford Cars）。作为演示，图4说明了我们在通用对象识别Cifar-100数据集（Krizhevsky等人，2009年）。我们有10图四、在VGG-19上不同码率和比特比的推理精度Z. Zhang，H. Yu和F. 王沙特国王大学学报444ðÞðÞð ð ÞÞ ð ð ÞÞ ðÞð·Þ：刘伟中文（简体）kðÞðÞðÞ.联系我们ð Þ ð Þðkþ1 Þj1：kk1k1;k1k1：：：n每轮的实际分区和压缩实验1p2mmp2mm方案，并使用平均值绘图。在这里，等于num除以上的原始featuremaps数Rsi;sjCm2m-1ldsi;sjKmLdsi;sj;7分区层，比特比等于比特除以原始int8数据的比特深度。很明显，在所有CNN层之间，A id;num;bit然后，基于对的观察和评价dataA id;num;bit，我们提供了两种估计方法来选择合格的方案和去除不合格的方案。假设x1;f x1和x2;f x2其中x1x2<是单调凹曲线上的两点，根据函数的定义，对任意点x3<$x1x3x2<$x，我们有一个直接的估计<fx2，以及上限估计：

下载后可阅读完整内容，剩余1页未读，立即下载