Opt-CoInfer: 物联网与云协同加速CNN推理的最优解决方案

Opt-CoInfer是一项创新的研究成果，旨在解决在大规模物联网（IoT）环境中如何有效地利用卷积神经网络（CNN）进行推理的问题。传统的CNN推理通常在云端执行，但由于IoT设备资源受限和云计算的成本考虑，部署在边缘设备或本地进行部分计算的需求逐渐增加。为此，研究人员提出了协作推理（Collaborative Inference, CI）的概念，通过将任务分解和数据压缩结合，以适应不同的应用场景和实时性需求。 协作推理面临的挑战在于如何在众多可能的合作计划中找到最优解决方案，因为计划空间的复杂性会导致选择过程变得困难。原有的方法难以在指数级的增长空间和耗时的评估中找到最佳平衡点。Opt-CoInfer正是为了解决这一问题而设计的。它采用迭代优化的方法，通过逐步缩小可行集来寻找在特定场景下既能满足等待时间约束又能保证高精度的最优合作方案。在每次迭代中，Opt-CoInfer首先基于构建的统计模型筛选出有潜力的方案，然后利用当前的局部最优解和关键性能指标来更新解决方案集。 实验结果显示，Opt-CoInfer在多个应用场景中展现了显著的优势。例如，它能够在保持相同精度要求的情况下，提供高达3.49倍的速度提升；而在维持相同延迟限制时，精度损失控制在了37.41%以内。这证明了Opt-CoInfer在提高效率和准确性方面的优越性，对于那些对实时性和准确性有高要求的IoT应用具有重大价值。 Opt-CoInfer的工作是在沙特国王大学学报上发表的一篇开放获取论文，基于Creative Commons Attribution-NonCommercial-NoDerivatives (CC BY-NC-ND) 许可证，这意味着读者可以自由地分享和引用该研究，但不能用于商业用途或修改其内容。论文的主要贡献者是张占华、余汉桥和王方舟，他们在西安交通大学的大数据分析国家工程实验室、数学与统计学院和软件工程学院共同进行了这项研究。 Opt-CoInfer的提出填补了物联网和云计算环境下的CNN推理优化空白，为未来智能物联网应用提供了强有力的推动力，有望推动整个行业的技术创新和发展。