EdgeX & OpenVINO:加速边缘AI落地实践

版权申诉
0 下载量 34 浏览量 更新于2024-06-21 收藏 3.74MB PDF 举报
"本次报告由EdgeX中国项目布道师张晶在2023年全球边缘计算大会·深圳站发表,主题为‘EdgeX + OpenVINO加速边缘人工智能项目落地’,主要介绍了EdgeX Foundry项目以及OpenVINO工具套件在边缘计算中的应用,同时分享了基于EdgeX CMI(Common Message Interface)和OpenVINO的多相机Edge AI推理架构,并探讨了实际的商业落地案例。" EdgeX Foundry是开源的先进边缘计算框架,由Linux基金会托管,遵循Apache 2.0许可,旨在构建一个跨供应商、微服务架构的边缘计算平台,以简化物联网(IoT)部署。自2017年起,EdgeX已经历了多个版本的迭代,包括Barcelona到Napa,持续推动边缘计算技术的发展。 EdgeX Foundry的分层架构设计使得它能够处理物联网边缘的多协议转换、数据存储、资源编排、系统管理和安全性等问题。这一框架的核心特点在于其微服务结构,允许各个组件独立开发和升级,降低了系统复杂性并增强了灵活性。此外,EdgeX还支持容器化和虚拟化,以适应不同环境和硬件需求,实现边缘工作负载的整合。 OpenVINO(Open Visual Inference and Neural Network Optimization)是英特尔推出的一个工具套件,专门用于加速计算机视觉和深度学习推理应用。结合EdgeX,OpenVINO可以帮助在边缘设备上高效地执行AI模型,尤其是在处理来自多个相机的实时视频流时,能够实现高效的图像分析和推理。 报告中提到的基于EdgeX CMI和OpenVINO的多相机Edge AI推理架构,可能涉及到如何利用OpenVINO对来自不同相机的数据进行预处理、特征提取和实时分析,以满足各种边缘AI应用场景的需求,如智能监控、目标检测和识别等。 此外,商业落地案例部分可能会展示如何将EdgeX和OpenVINO整合到实际业务中,解决垂直领域的问题,比如制造业的自动化质检、零售业的顾客行为分析或者智慧城市的安全监控等。这些案例有助于展示边缘计算和AI技术在实际操作中的价值和优势,促进边缘AI项目的快速实施和推广。 EdgeX Foundry和OpenVINO的结合为边缘计算和AI应用提供了强大而灵活的解决方案,推动了物联网架构的演进,克服了数据竖井、平台锁定和边缘设备难以管理的挑战,助力企业实现更高效、智能化的运营。
2023-02-27 上传
边缘⼈⼯智能 边缘⼈⼯智能 随着移动计算和物联⽹ (IoT) 应⽤的爆炸式增长,数⼗亿移动和物联⽹设备正在连接到互联⽹, 在⽹络边缘⽣成海量数据。因此,在云数据中⼼收集海量数据会导致极⾼的延迟和⽹络带宽使 ⽤。因此,迫切需要将⼈⼯智能(AI)的前沿推向⽹络边缘,充分释放⼤数据的潜⼒。边缘⼈ ⼯智能是边缘计算和⼈⼯智能的结合。 什么是边缘⼈⼯智能? 什么是边缘⼈⼯智能? ⼤数据。 ⼤数据。在物联⽹ (IoT) 时代,需要收集和分析连接设备产⽣的前所未有的数据量。这导致实时 ⽣成⼤量数据,这就需要⼈⼯智能系统来理解数据。 云端⼈⼯智能。 云端⼈⼯智能。最初⼈⼯智能解决⽅案是云驱动的,因为需要能够执⾏深度学习计算任务的⾼ 端硬件以及轻松扩展云中资源的能⼒。这涉及将数据卸载到外部计算系统(云)以进⾏进⼀步 处理,但这会加剧延迟,导致通信成本增加,并引发隐私问题。 边缘计算。 边缘计算。为了解决这些问题,需要将计算任务转移到⽹络的边缘,更靠近数据⽣成的地 ⽅。边缘计算是指在尽可能靠近数据源⽽不是在遥远的偏远位置执⾏计算。因此,边缘计算⽤ 于扩展云,因为它通常以边缘云系统的形式实现,其中分散的边缘节点将处理后的数据发送到 云。 边缘⼈⼯智能。 边缘⼈⼯智能。Edge AI,即Edge Intelligence,是边缘计算与⼈⼯智能的结合;它在硬件设备 上运⾏本地处理数据的 AI 算法(设备上 AI)。因此,边缘⼈⼯智能利⽤快速响应时间、低延 迟、⾼隐私、更健壮和更有效地利⽤⽹络带宽。Edge AI 的使⽤是由机器学习、神经⽹络加速和 约简等新兴技术驱动的。 边缘计算:边缘设备是边缘服务器或终端设备。没有计算能⼒的传感器收集数据并连接到边缘 设备。 边缘⼈⼯智能的优势 边缘⼈⼯智能的优势 边缘计算将⼈⼯智能处理任务从云端带到靠近终端设备,以克服传统云的内在问题,例如⾼延 迟和缺乏安全性。因此,将 AI 计算移动到⽹络边缘有⼏个优点: 较低的数据传输量。 较低的数据传输量。数据由边缘设备处理,只有很少量的处理数据被发送到云端。通过减少⼩ 基站和核⼼⽹之间连接的流量,可以增加连接的带宽,防⽌出现瓶颈,减少核⼼⽹的流量。 实时计算的速度。 实时计算的速度。实时处理是边缘计算的基本优势。边缘设备与数据源的物理接近性可以实现 更低的延迟,从⽽提⾼实时数据处理性能。它⽀持对延迟敏感的应⽤和服务,例如远程⼿术、 触觉互联⽹、⽆⼈驾驶和车辆事故预防。边缘服务器可以实时提供各种服务,包括决策⽀持、 决策制定和数据分析。 隐私和安全。 隐私和安全。将数据保存在边缘是私密的,因为通过⽹络传输⽤户数据使其容易被盗和失真。 边缘计算可以保证私有数据永远不会离开本地设备。对于必须远程处理数据的情况,可以使⽤ 边缘设备在数据传输前丢弃个⼈⾝份信息,从⽽增强⽤户隐私和安全性。 ⾼可⽤性。 ⾼可⽤性。通过在⽹络故障或⽹络攻击期间提供瞬态服务,去中⼼化和离线功能使 Edge AI 更 加强⼤。因此,将 AI 任务部署到边缘可确保任务关键型或⽣产级 AI 应⽤程序(设备上 AI)所 需的更⾼可⽤性和整体稳健性。 成本优势。 成本优势。将 AI 处理转移到边缘具有很⾼的成本效益,因为只有经过处理的⾼价值数据才会发 送到云端。虽然发送和存储⼤量数据仍然⾮常昂贵,但根据摩尔定律,边缘的⼩型设备的计算 能⼒变得更加强⼤。 边缘 边缘 AI 和 和 5G 全⾃动驾驶汽车、实时虚拟现实体验和关键任务应⽤等⾼增长领域对 5G 的迫切需求进⼀步推动 了围绕边缘计算和边缘 AI 的创新。5G 是下⼀代蜂窝⽹络,旨在⼤幅提⾼服务质量,例如更⾼ 的吞吐量和更低的延迟——提供⽐现有 5G ⽹络快 10 倍的数据速率。要了解对快速数据传输和 本地设备端计算的需求,请考虑在⾃动驾驶汽车之间进⾏实时数据包传输,这种情况需要不到 10 毫秒的端到端延迟。接⼊云端的最⼩端到端延迟⼤于 80 毫秒,这对于许多实际应⽤来说是 ⽆法容忍的。边缘计算满⾜了 5G 应⽤的亚毫秒级要求,并将能耗降低了约 30-40%,与访问云 相⽐,能耗降低了 5 倍。边缘计算和 5G 提升⽹络性能以⽀持和部署不同的实时 AI 应⽤,例如 基于 AI 的实时视频分析依赖于低延迟数据传输。 边缘计算与雾计算 边缘计算与雾计算 雾计算是思科引⼊的⼀个术语,它与边缘计算密切相关。雾计算的概念基于将云扩展为更靠近 物联⽹终端设备,旨在通过在⽹络边缘附近执⾏计算来改善延迟和安全性。雾计算和边缘计算 之间的主要区别在于处理数据的位置:在边缘计算中,数据要么直接在传感器所连接的设备上 处理,要么在物理上⾮常靠近传感器的⽹关设备上处理;在雾模型中,数据在远离边缘的地⽅ 处理,在使⽤局域⽹ (LAN) 连接的设备上。 边缘计算和雾计算的简化概述 边缘深度学