无线视频传感器网络中的视频编码和路由研究及未来的挑战

© 2013由Elsevier B.V.发布由美国应用科学研究所负责选择和/或同行评审可在www.sciencedirect.com在线获取ScienceDirectAASRI Procedia 5（2013）48 - 532013年AASRI并行和分布式计算系统无线视频传感器网络侯赛因河祖比 *Yarmouk大学工程技术学院计算机工程系，Irbid 21163，Jordan摘要视频代表了一种需要大存储空间的数据形式。另外，并且由于视频编码（编码/解码）技术的复杂性，它们通常涉及计算密集型操作。这对需要具有高处理能力和丰富存储容量的发送和接收实体以及传输需要具有足够传输带宽的视频内容的网络基础设施施加了沉重的负担。因此，它是重要的，以定制的视频编码技术，以资源受限的无线传感器。此外，视频编解码器所需的密集计算消耗大量的功率，这是无线传感器节点的稀缺资源，因为它们通常是电池供电的。因此，它是至关重要的设计功率感知的编码，流，和路由方案的新兴的无线视频传感器网络（WVSNs），也实现高水平的QoS和QoE。本文介绍了一个简短的调查最近发表的一些重要课题的WVSNs，包括视频编码和路由的研究，并指出可能的场地，为未来的研究。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。由美国应用科学研究所负责选择和/或同行评审关键词：无线视频传感器网络;视频编码;路由。* 通讯作者。联系电话：+962-2-7211111-4454。电子邮件地址：halzoubi@yu.edu.jo。2212-6716 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。美国应用科学研究所负责的选择和/或同行评审doi：10.1016/j.aasri.2013.10.057侯赛因河Al-Zoubi / AASRI Procedia 5（2013）48491. 介绍一种新兴的网络类型称为无线传感器网络（WSN），Yick等人2008年由许多智能传感器节点组成，这些节点共同工作以感测和监控内部或外部环境。每个传感器节点由一个或多个传感器、处理器、存储器、电源（通常是电池）、无线电和执行器组成。根据应用，传感器可以是机械的、热的、生物的、化学的、光学的或磁性的。无线传感器节点在能量、通信范围、传输链路容量以及处理和存储能力方面受到约束。为了有效地设计无线传感器网络，应该仔细考虑它们将被使用的应用和环境。无线传感器网络的一个重要类别是无线多媒体传感器网络（WMSN），Akyildiz等人，2007年，允许检索不同类型的多媒体内容，如视频，音频，图形和标量数据。WMSN的发展是由廉价的现成相机和麦克风的可用性引发的。无线多媒体传感器网络可以用于多媒体监控，其应用范围广泛，涵盖了民用和军事方面的人类生活的各个方面。一些最受欢迎的应用包括工业控制、病人监测、栖息地和环境监测、战场和边境监测、家庭管理、灾难和救援以及目标检测和跟踪。除了捕获多媒体内容之外，WMSN还用于执行感测到的多媒体内容的网络内非实时处理以及实时处理、存储、关联和融合。移动多媒体传感器网络（MMSNs）可以用来提供更好的事件描述，Chen et al. 2011。WVSN是一种特殊类型的WMSN，由用于监视任务的微型摄像机组成，Wu et al. 2011，Cho et al. 2010，and Durmus et al.2012年。WMSNs中的覆盖百分比是被监测环境的感知区域。Chen等人（将发表在IEEE Sensors Journal上）提出了一种基于感知比（OSRCEA）的覆盖增强算法，通过关闭冗余传感器来增加覆盖范围并延长WMSN寿命。该算法利用感知比（OSR）确定节点的旋转角度，利用重叠区域的质心确定节点的旋转方向。Yildiz等人也提出了寻找最佳摄像机位置以在WVSN中提供角度覆盖的问题（将出现在IEEE计算机事务中）。为了比较WMSN中不同的图像质量评估技术，Sarisaray-Boluk 2012评估了数据包大小，链路和节点相关性效应以及丢失区域对图像质量评估（IQA）指标（如PSNR，WSNR，SSIM和VIF）性能的影响。发现数据包大小、链路和节点相关性对PSNR没有影响。他还发现，当使用更大的数据包时，WSNR 会 降 低 ， 而 SSIM 和 VIF 会 增 加 。 此 外 ， 作 者 提 出 并 评 估 了 基 于 块 的 加 权 峰 值 信 噪 比（WBBSNR）的方法来评估图像质量的飞行，并提出了几个建议，如结合使用权重的IQA指标。WVSNs还面临着其他几个问题和挑战，例如节点架构Seema和Reisslein 2011，低功耗分布式视频传感器的设计，Chien等人2013，WVSNs中加密视频流的安全性，Wang等人2010和水印，Harjito等人2012，和有效的通信协议和算法，解决了WMSN要求提出的独特挑战，以实现各种WMSN应用程序，Gisirses和Akan 2005。然而，在本文中，我们集中在两个重要的主题：视频编码和路由WVSNs。本文的其余部分如下：在第2节和第3节中，我们分别综述了WVSNs中视频编码和路由的最新研究论文。然后在第4节中，我们指出了未来研究的一些开放问题。本文的结论见第5节。50侯赛因河Al-Zoubi / AASRI Procedia 5（2013）482. 无线视频传感器网络H.264/MPEG4 AVC是最新的视频流编码标准。ISO/IEC MPEG和ITU-T VCEG都提出了该协议集。与以往的视频编码方法相比，H.264/MPEG4 AVC令人印象深刻地提供了高效的视频编码，实现了更好的错误鲁棒性，并最大限度地提高了适用性。因此，H.264/MPEG4 AVC已应用于许多视频压缩应用，包括移动视频服务、视频会议、IPTV、HDTV以及HD视频存储。H.264/MPEG4 AVC中的编码建立在传统的基于块的运动估计和补偿的基础上，但是具有许多改进的功能和服务，如增强熵编码和可伸缩视频编码（SVC）技术。熵译码可提供位速率的降低，同时维持类似的感知视频质量。SVC方法可以以较低的质量重建视频，Marpe等人。2006年。传统的MPEG和H.26x视频编解码器基于复杂的编码器和简单的解码器。编码器执行帧内编码并且利用源视频信号中的帧之间的统计依赖性来执行帧间编码。相反，解码器要简单得多。这种配置似乎适合于像视频广播这样的许多应用，其中需要仅执行一次编码，而由若干解码器执行多次解码。在WVSN等许多其他应用中，要求通常不同，其中设备具有有限的能量和计算能力。分布式视频编码（DVC）-建议读者参见Girod et al.2005-是建立在20世纪70年代信息论的原则上的。理论上，DVC采用Slepian/Wolf（无损编码）和Wyner/Ziv（有损编码）来产生视频编解码器，其利用在解码器处由源收集的统计数据，并且因此提供复杂的解码器和较不复杂的编码器。实际上，人们可以在文献中找到DVC的实现，除了码率控制之外，还利用了几种方法，如像素域编码、联合解码和运动估计、变换域编码。这些实际实现能够实现相对于传统编码器的编码器执行的压缩的计算复杂度的10倍到100倍的降低。此外，这些实际的实现大大优于传统的帧内编码。然而，不期望这些方案在速率失真方面将达到常规帧间编解码器，而是至少接近它们。压缩感测（或压缩采样）已经被提出作为传统视频编解码器的替代方案，旨在构建具有非常低的计算复杂度的编码器。Pudlewski等人在2012年提出了基于压缩感知的C-DMRC算法，用于无线多媒体传感器网络上的流视频。建议的系统是由一个分布式的速率控制器，视频编码器，除了一个信道编码方案与自适应奇偶校验使用低复杂度的视频传感器节点。为了减少视频传感器节点上的流量并最大化手头的带宽，Politis等人在2008年提出了分组调度方案，在传输之前选择性地丢弃视频分组的组合，其中不太重要的视频分组。Tsai和Lin 2012提出了一种用于VSN的方法，以提高编码效率并降低编码复杂度。所提出的编码利用现有的冗余相关的前景和背景对象的图像。具有区分上下文的宏块将被分类，然后编码器压缩MB。3. WVSNs中的视频路由WMSNs中的多媒体路由要求一定的要求，并面临着一些挑战。因此，成功的路由协议高度依赖于应用和环境。最主要的要求包括QoS要求和能源效率，Ehsan和Hamdaoui 2012。QoS侯赛因河Al-Zoubi / AASRI Procedia 5（2013）4851要求包括等待时间（多媒体内容到达汇聚节点的最大允许延迟）、可靠性（容许分组丢失率的上限）、抖动（视频分组接收之间的最大允许延迟变化）和带宽（应该支持的以比特每秒为单位的最小带宽量）。能源效率的要求是至关重要的WMSNs，因为所需的高数据速率和极端的处理需求导致传感器功率的快速耗尽。WMSNs中路由协议面临的一些最大挑战包括架构问题和漏洞检测和绕过。路由协议设计者在网络架构方面应该考虑的要点是网络动态性，如移动性问题，解决数据交付和分发周期性的数据交付模型（连续，事件驱动或查询驱动），解决传感器节点之间在目的和能力方面的同质性或异质性的架构配置，以及信道容量。用于WVSN中路由的大多数能量感知路由协议采用最短路径路由或多路径路由方法来解决带宽，端到端延迟或两者的要求，Ehsan和Hamdaoui 2012。在这里，我们提到了一些专门设计用于通过WVSN路由视频流的协议的例子。LEACH的修改版本是减少视频失真和解决带宽限制的分层协议。全分布式OEDSR是一种解决端到端时序约束的协议。定向地理路由（DGR）协议通过WVSN传输实时视频流因此，它考虑了带宽和延迟约束，Ehsan和Hamdaoui 2012。Kandris等人提出的路由方案，2011将能量有效的路由协议与视频分组的调度算法相结合。提出的分层路由协议选择路由和管理网络负载的基础上剩余能量的传感器节点。在视频分组调度算法中，采用解析失真预测模型来减小失真。作者还扩展了他们的工作，包括可伸缩视频编码，其中基础视频层流可以通过高传输质量路由进行路由，而低质量路由可以用于传输增强层视频流。如果通过应用网络编码（NC）以及分布式源编码（DSC）来应用使用网络组合学的信息理论来使被感测的数据相关，则可以实现更低的能量消耗或更低的通信成本。Li等人在2011年提出了一种编码和路由机制，通过将分析功率-速率-失真（P-R-D）模型应用于分布式视频编码（DVC）来减少视频失真并延长网络寿命。Dai等人在2012年提出了CAQR方案，以便通过利用感知场景信息中固有的相关性，在延迟和可靠性QoS约束下最小化无线视频传感器节点消耗的能量。CAQR采用的相关性感知压缩/解压缩在帧内编码帧之间使用差分编码，Dai和Akyildiz 2009，以减少生成的流量的大小。CAQR然后执行相关感知负载均衡。Dai et al. 2012然后将这两种相关性感知方案集成到分布式优化QoS路由框架中，目标是降低节点的能量。视频通常是大尺寸的。因此，传输要求超过了视频传感器节点可用的带宽。为了实现更好的传输性能，多径传输本身是一种可行的解决方案。TPGF，Shu等人，2007年，是一种用于WMSN的空穴旁路多路径路由协议，该协议减少了端到端的传输延迟以及路径长度。Politis等人（2008年）和Zou等人（2011年）采用了另一种多径传输方案。还可以观察到，在多媒体应用中，视频和音频流具有不同的重要性级别。例如，可以注意到，在森林火灾监测应用中，视频比音频具有更高的重要性，而在深海应用的监测中，音频比视频具有更高的重要性。MPMPS，Zhang et al. 2008路由协议建立在TPGF的基础上，根据音频和视频流在特定应用中的重要性为它们分配两个优先级，并为更重要的视频/音频流选择具有高优先级的路由路径。提出了CAMS，Shu等人。2010年，以增加视频传感器节点收集有价值的（全面的）信息的可能性，以便根据亮度水平和噪声水平发送到汇聚节点。52侯赛因河Al-Zoubi / AASRI Procedia 5（2013）484. 开放研究问题WVSNs中有几个问题可以由研究人员在未来解决。在本节中，我们指出了一些重要的未来研究问题。研究者应该考虑在WVSNs中使用的路由协议必须实现高QoS和节省能量。同样重要的是要考虑联合压缩，聚合和路由的视频QoS约束下的目标，以尽量减少无线视频传感器节点消耗的能量。拥塞感知路由算法是另一个重要的研究课题。为了减少冗余，当无线传感器摄像机感测到感测范围内的某些东西时，必须使其唤醒，这导致需要传感器摄像机的最佳放置以获得最佳覆盖并避免冗余。我们还应该记住，传感器节点或被跟踪对象的移动性会给视频传感应用带来额外的挑战。此外，如果WMSN用于收集各种多媒体数据，则需要鲁棒的数据聚合和融合协议。5. 结论无线视频传感器网络在人类生活的许多领域代表了一个有前途的解决方案。在本文中，我们调查了最近的研究论文中的主题，解决各种问题的WVSNs的视频编码和路由WVSNs的重点。我们还概述了未来的研究方向和开放的研究问题，在这个活跃的研究领域。引用[1] Yick J.，慕克吉·B和Ghosal D.无线传感器网络调查。计算机网络2008：52：2292-2330.[2] 阿克耶尔迪兹岛F.、Melodia T.，和Chowdhury K. R.无线多媒体传感器网络综述。无线多媒体传感器网络综述。计算机网络2007：51：921[3] 陈M，Lai C. F.、和Wang H.移动多媒体感测网路：架构与路由。EURASIP Journal onWireless Communications and Networking 2011：159.[4] 吴迪，Ci S.，Luo H.，Ye Y.，和Wang H.基于主动摄像机的无线传感器和执行器网络视频监控IEEE Transactions on Automatic Control 2011：56：10：2467- 2472.[5] 周Y，林西O.，和Yang H. S.视觉传感器网络中可扩展智能视频监控的协同占用推理。IEEETransactions on Consumer Electronics 2010：56：3：1997- 2003.[6] Durmus Y.，Ozgovde A.，和Ersoy C.视频监控传感器网络分布式在线公平资源管理。IEEETransactions on Mobile Computing 2012：11：5：835- 848.[7] 陈杰，Zhang L.，和Kuo Y.无线多媒体传感器网络中基于感知重叠率的覆盖增强算法。发表在IEEE Sensors Journal上。[8] Yildiz E. Akkaya K.，Sisikoglu E.，M先生。Y.无线视频传感器网络中提供角度覆盖的摄像机最优放置。出现在IEEE计算机事务中。[9] Sarisaray-Boluk P.无线多媒体传感器网络中图像质量评估技术的性能比较。无线网络2012.[10] 西马河和Reisslein M.迈向高效的无线视频传感器网络：现有节点架构的调查和建议的一个EST-WVSNP设计。IEEE Communications Survey Tuesday 2011：13：3：Third Quarter：462- 486.[11] 简氏是的，郑天是的，Ou S.- H、赵春- C.的方法，Lee C.- H、Somayazulu诉S.，还有陈怡K.机器对机器网络中分布式视频传感器的功耗分析。IEEE Journal on Emerging and Selected Topics inCircuits and Systems 2013：3：1：55- 64.[12] 王伟，亨佩尔M.，彭D，王辉，谢里夫·H和陈H.-H. 关于能量有效的加密侯赛因河Al-Zoubi / AASRI Procedia 5（2013）4853无线传感器网络中的视频流。IEEE Transactions on Multimedia 2010：12：5：417- 426.[13] Harjito B.波达五世，和Singh J. Watermarking Technique for Wireless Multimedia SensorNetworks：A State of the Art. CUBE 2012，September 3-[14] 吉赛尔塞斯湖和Akan O. B.无线传感器网络中的多媒体通信。Ann. Ann.《社会学年鉴》2005：60：7-8：872-900。[15] 马佩·D Wiegand T.和Sullivan G. J.H.264/MPEG4高级视频编码标准及其应用。IEEECommunications Magazine 2006：134- 143.[16] Girod B.亚伦·A M.，雷恩·S，和Rebollo-Monedero D.分布式视频编码，IEEE会议录2005：93：1：71- 83。[17] Pudlewski S.，Melodia T.，和Prasanna A.无线多媒体传感器网络压缩感知视频流。IEEETransactions on Mobile Computing 2012：11：6：1060- 1072.[18] 波利蒂斯岛，Tsagkaropoulos M.，Dagiuklas T.，Kotsopoulos S..无线多媒体传感器网络中的视频多径传输。移动网络应用2008：13：274[19] 蔡泰H.林C.- Y.探索上下文冗余在改进基于对象的视频编码的视频传感器网络监控。IEEETransactions on Multimedia 2012：14：3：669- 682.[20] Ehsan S.和Hamdaoui B.无线多媒体传感器网络中具有QoS保证的能量有效路由技术综述。IEEECommunications Survey Tuesday 2012：14：2：265- 278.[21] Kandris D. Tsagkaropoulos M.，波利蒂斯岛，Tzes A.，和Kotsopoulos S.无线多媒体传感器网络中能量有效和感知QoS的视频路由Ad Hoc Networks 2011：9：591[22] 李C，邹杰，熊宏，和Chen C. W.无线视觉传感器网络中分布式视频源的联合编码/路由优化。IEEE Transactions on Circuits And Systems for Video Technology 2011：21：2：141- 155.[23] 戴河，王平，和Akyildiz I.我...基于差分编码的无线视频传感器网络相关感知QoS路由。IEEE Transactions on Multimedia 2012：14：5：1469- 1479.[24] 戴河和Akyildiz I. F.无线多媒体传感器网络中视觉信息的空间相关模型。IEEE Transactions onMultimedia 2009：11：6：1148[25] Shu L.，周泽B、Hausweyth M.，科洛卡湾L.，Yu P.，张亮：带孔洞的无线多媒体传感器网络流数据传输。第六届移动和无处不在的多媒体国际会议（MUM 2007），奥卢，芬兰，2007年12月。[26] 邹杰，熊宏，李C，Zhang R.，他Z。无线视频传感器网络中联合源/信道速率自适应和基于网络编码的差错控制的生存时间和失真优化。IEEE Transactions on Vehicular Technology2011：60：3：1182- 1194.[27] Zhang L.，Hausweyth M.，Shu 1 L.，周泽，雷诺兹五世，和Han G.无线多媒体传感器网络中视频流的多优先级多路径泛在智能和计算2008：5061：439-452.[28] Shu L.，张毅，余泽，杨湖T.，Hausweyth M.，和熊N.无线多媒体传感器网络中的上下文感知跨层优化视频流。超级计算机学报2010：54：94