视频剪辑去噪算法的QoS调度在Blackfin系列微机上的实现方案

© 2013索林Zoican.由爱思唯尔公司出版信息工程研究院负责评选和同行评议可在www.sciencedirect.comwww.sciencedirect.com上在线获取ScienceDirectIERI Procedia 4（2013）139 - 1472013年电子工程与计算机科学视频剪辑去噪算法在Blackfin系列微机上的索林·佐伊坎 *罗马尼亚布加勒斯特，布加勒斯特大学摘要本文提出了一个通用的框架，用于调度视频剪辑去噪过程，确保服务质量（QoS）。一般来说，去噪算法有两个阶段，它们依次运行：第一个阶段确定视频剪辑帧中的噪声像素，第二个阶段对每个帧应用中值滤波，只考虑好的像素。在所有这些去噪算法中，第一阶段根据噪声功率运行多次。第二阶段也可以执行多次，但这取决于特定的算法。这种应用中的问题是去噪过程可能不会在其截止日期内终止。所提出的解决方案以这种方式调整执行时间，以便通过在运行每个阶段之前确定截止日期的剩余时间并减少每个阶段中的运行次数以不超过截止日期来遵守截止日期。本文的主要工作是：提出了QoS调度算法，并给出了一种基于Blackfin微机的、支持Visual DSP内核（VDK）的QoS调度算法的实现方案。文章分为几个部分：简要介绍视频剪辑去噪应用中服务质量的一般背景，修改后的视频处理算法，提出的解决方案，其VDK实现和性能评估，以及结论。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。信息工程研究院负责评选和同行评议关键词：脉冲噪声去除;噪声像素检测器;中值滤波;服务质量;数字信号处理器;* 通讯作者。联系电话：电话：+40214024803电子邮件地址：sorin@elcom.pub.ro。2212-6678 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。信息工程研究所负责的选择和同行评审doi：10.1016/j.ieri.2013.11.021140Sorin Zoican / IERI Procedia 4（2013）1391. 介绍脉冲噪声，称为“盐和胡椒”，是由相机传感器，错误的硬件存储器位置，或因为在传输图像的通信信道期间发生的错误引起的，随机影响像素总数的一小部分。它可以使用基于中值滤波的去噪算法来消除。然而，中值滤波可能会导致重建图像模糊。为了克服这一现象，并保留边缘，噪声像素检测器应用之前的中值滤波。噪声像素检测器重复应用于图像[1]，[2]。不幸的是，添加到经典中值滤波器的这个附加阶段增加了计算时间，并且应用程序可能无法实时运行。此外，许多图像去噪算法具有第二阶段，该第二阶段使用来自第一阶段的结果自适应地计算中值。图1示出了具有两个阶段的图像去噪算法。对于视频剪辑，该算法应用于每帧。2. QoS调度算法在实时系统中，需要满足特定的截止日期。具体地，对于视频处理应用，最后期限由每秒的帧数确定。存在可用于维持系统功能性的方法：保留额外资源、任务跳过、任务激活周期的适配和任务执行时间的适配。在嵌入式系统中，由于资源有限，额外的资源预留不可能是一个可行的选择。此外，激活周期是固定的，并且在性能没有严重降级的情况下不能修改。在这样的系统中，只有任务跳过和执行时间适配可以导致在保留功能的同时满足最后期限。视频剪辑处理分为两个任务类别：强制性任务和附加任务[6]。强制任务确保视频剪辑的基本质量，而附加任务提高质量。如果超过了截止日期，则将跳过某些（或全部）额外任务。执行时间适配为类似的方法。在这种情况下，视频剪辑处理可以被划分为由迭代序列组成的多个任务。图像处理性能随着每个任务的迭代次数而增加。 在本文中，使用的执行时间适应。调度算法应该知道每个任务在到达其截止日期之前的剩余执行时间。Fig. 1.去噪算法Sorin Zoican / IERI Procedia 4（2013）139141图二.改进的去噪算法（QoS保证）如果剩余时间小于适当选择的阈值，则调度算法通知任务修改阶段1和阶段2中的执行参数，以减少执行时间并且不超过截止期限。调度算法如图2所示。在阶段1和阶段2中的每次迭代之后，评估截止日期的剩余时间，并且可以终止当前阶段的计算。使用这种调度算法，每个帧将被处理，因为也是可能的，因此服务质量（QoS）得到保证。具体算法如下：初始数据图像损坏：I噪声矩阵：N{I（i，j）|我{N（i，j）|我0,..N0，...N1，j1，j0,..., M10，...，M1当前值良好像素计数：C0良好像素计数的先前值：C1 =0当前窗口中的噪声像素计数器：S0扫描窗口长度：L3最大扫描窗口长度：Lmax5重建图像：J{J（i，j）|i0，..N 1，j1期为了我 。N0，...，M1和j10.. M 11. 更新当前窗口，以当前像素为p I（i，j），W{I（i k1，j k2）}，k1，k2{L，L1，...，0，..，L1，L}2. 计算当前窗口中的最小和最大元素：w最小值最小值（W{p}），wmax最大值（W{p}）3. 计算噪声矩阵元素和良好像素计数器：端如果（p[wmin，wmax]），则（N（i，j）0和CC1）else N（i，j）12期如果（剩余时间阈值1），则如果（C C1和L L max），然后（CC1，LL，否则转到阶段21次重复阶段1）142Sorin Zoican / IERI Procedia 4（2013）139因为我4. L0..N1，S1和j00.. M 15. 更新当前窗口，以当前像素为p I（i，j），W{I（i k1，j k2）}，k1，k2{L，L1，...，0,..,L1，L}6. 计算当前窗口中的噪声像素：如果（N（i k1，j k2）1，k1，k27. 测试噪声像素计数：{L，L1，...，0,..,L1，L}）则（S S1）如果 剩余时间阈值2则如果S S1或LLmax，则转到结束阶段2然后转到5，否则转到88. 计算中值并设置重建图像中的当前像素J（i，j）端第2中位数（{W*}），W*W|N（ik1，j k2） 0，k1，k2{L，L1，...，0，..，L1，L}3. 实施和绩效评估为了满足时间限制，在阶段1和阶段2中的每次迭代之后测试两个阈值。如果不测试最后期限，视频剪辑的质量将急剧下降，因为一些非常嘈杂的帧将不被处理。上述算法是在Blackfin数字信号处理器系列[3]、[5]上实现的，具有VDK [4]支持，提供关键的内核功能：抢占式调度器（时间切片和协作调度）、线程创建、信号量、中断管理、线程间消息传递、事件和内存管理。图像处理算法可以使用VDK功能轻松实现：算法中的每个阶段将在专用任务中单独编码，并且将使用周期性信号量定义时间测量机制。将涉及以下VDK原语来测量当前执行时间：MakePeriodic（）和GetSemaphoreValue（）。定义了一个信号量，并通过调用MakePeriodic原语将其声明为周期性信号量（信号量在每个时间点发布）。在处理图像任务中，调用GetSemaphoreValue，并将返回的值用作本地执行时间。如果该值大于上述阈值，则将采取适当的措施（将修改阶段1和阶段2的处理参数，以便不超过最后期限）。已定义了以下线程：Main、P1和P2。主线程创建P1线程并设置周期性信号量，然后将其销毁。P1线程创建P2线程，读取周期性信号量值，并执行算法阶段1的迭代。在此阶段继续其他迭代之前，P1线程再次读取周期性信号量值并计算截止时间的时间间隔。如果这个时间间隔足够大，则阶段1的新迭代正在运行，否则P1任务退出，P2任务将被执行。P2任务执行与P1类似的操作，但它实现算法的阶段2，而不是阶段1作为P1任务。使用与P1任务中相同的机制来测量截止日期的时间间隔。图4说明了周期性信号量如何参与时间测量。这里的主要问题是实现实时执行。所提出的算法控制阶段1和阶段2的执行，以减少它们中的每一个的最后期限方面的迭代次数。如果帧处理复杂（如果脉冲噪声具有更高的功率或帧大小更大），则QoS调度算法将减少执行时间，使得任务可以在其截止期限内完成。但是，每个阶段必须至少完成一次迭代。在某些情况下，这可能需要很长执行时间，因此Sorin Zoican / IERI Procedia 4（2013）139143应该包括优化任务执行的特殊方法。下面将讨论这些方法，以便使用数字信号处理Blackfin微计算机系列实现实时实施。Blackfin处理器具有正交指令集和单指令乘法数据（SIMD）指令。发布并行指令和使用向量操作可以用于获得实时功能。Blackfin处理器允许并行发出多达三条指令：一条32位DSP指令和两条16位指令（加载/存储、DSP加载）。Blackfin处理器的一个强大功能是存在操作视频像素的指令。这些指令执行8位打包和解包、四重8位减法操作，可用于同时计算四个窗口中的最小值和最大值。使用汇编语言将迭代指令实现为节省处理器周期的硬件循环。在图5中示出了如何并行计算四个数据集的最小值。使用特定视频像素指令并行地从当前最小值中减去当前值。结果存储在两个寄存器中。使用移位操作和逐位逻辑AND操作，减法的符号扩展在单个32位寄存器中对齐，该寄存器将包含四组8位，其中所有位等于1或0取决于减法操作的结果（即，如果组中的所有位都是1，则结果为负，否则结果为正）。接下来的操作在当前最小值和对齐的符号扩展之间执行逐位逻辑AND，并且在当前值和否定的对齐的符号扩展之间执行逐位逻辑AND。这两个操作的结果使用逐位逻辑OR连接，获得所有四个值的新最小值。表1.计算中值的计算工作量表2.各种灰度图像大小数据集长度快速排序法选择排序（使用quad图像尺寸L = 1LFPS= 2 L = 3MaxMaxMax(176，144）266 95 48(320（240）87 31 16(480（320）43 15 8（640，480）21 7 4表3.均方误差MSE重建框架损坏帧Lmax = 1Lmax = 2Lmax = 3351719203920212142353332（业务）929925116624927523181514625144Sorin Zoican / IERI Procedia 4（2013）139图三. VDK中的任务执行和周期信号量上述模式也涉及最大值计算和噪声矩阵更新。如果去噪算法的第二阶段中的中值是使用选择排序算法计算的，则该模式也可以用于中值滤波。表1示出了使用快速排序方法和使用上述方法计算最小值的选择排序方法计算中值的计算工作量。可以观察到，对于数据集中的中等数量的值，所提出的方法的计算工作量较小。这就是在这种情况下采用的中值滤波去噪算法。此外，可能涉及双核Blackfin处理器（BF 561和BF 60x）。帧处理任务被设计为一个双核应用程序，允许在两个内核上分割主代码。两个连续的输入帧可以在处理器的两个核中处理，如图11所示。图5。在图5中，T是帧速率，Tc表示当前帧的计算时间。Blackfin处理器中的每个内核都有自己的中断系 统 。 输 入 帧 从 为 两 个 内 核 生 成 公 共 中 断 的 输 入 端 口 获 取 （ 图 4 中 表 示 为 IRQ_core_A 和IRQ_core_B）。如果适当的标志（flag_A或flag_B）被设置为1，则每个核在其自己的主程序（表示为Main_core_A和Main_core_B）中实现帧处理算法。这些标志设置在核心A或核心B的中断服务例程。一个必要的功能条件是Tc2T（流程图核心B的流程图类似于核心A的流程图定义了两个计数器nA和nB，偶数帧和奇数帧。表2说明了各种图像大小的平均执行时间（以帧/秒为单位）。在表3中示出了损坏帧和重建帧的均方误差（MSE）（以分贝为单位）。可以观察到，如果每秒允许的帧最小为25，则新的中值滤波可以用于大约320 - 240的彩色图像大小。Sorin Zoican / IERI Procedia 4（2013）139145MKMk+1Mk+2Mk+3Wk，jWk+1，jWk+2，jWk+3，j窗口中的最小值Quad 8-Bit标志延伸（2）Mk+2- Wk +2，j标志延伸（3）Mk+3- Wk +3，j标志扩展（0）Mk- W k，j标志延伸（1）Mk+1- W k+1，j掩码扩展标志延伸（2）0标志延伸（3）0标志扩展（0）0标志延伸（1）0对齐符号扩展标志扩展（0）标志延伸（1）标志延伸（2）标志延伸（3）逐位逻辑与M*为0或M*MKMk+1Mk+2Mk+3M*KM*K+1M*K+2M*K+3~符号扩展（0）~标志扩展（1）~标志扩展（2）~标志扩展（3）逐位逻辑与W*为0或W*按位逻辑或Wk，jWk+1，jWk+2，jWk+3，jW*k，jW*k+1，jW*k+2，jW*k+3，j新的最小值MKMk+1Mk+2Mk+3见图4。使用Blackfin四元运算146Sorin Zoican / IERI Procedia 4（2013）139图五.图像处理流程图4. 结论本文提出了一种图像处理任务的调度算法，该算法具有两个计算步骤，它们都依赖于噪声功率。调度算法在恢复图像的质量和满足最后期限的约束之间进行权衡。本文提出了一个框架，实时实现这样的图像处理算法，确保一个合理的质量的视频剪辑系统容易受到脉冲噪声，但满足最后期限。确认这项工作得到了FP 7项目ALICANTE-FP 7-ICT-2009-4 no.248652引用[1] Manohar Annappa Koli，[2] Sorin Zoican，”Adaptive algorithm for impulse noise suppression from still images and its real timeimplementation”，Telecommunication in Modern Satellite Cable and Broadcasting Services（TELSIKS2011），2011年10月5日至8日，Nis，塞尔维亚，pp. 三三七至三四零[3] Analog Devices，Inc. Blackfin处理器编程参考，2012[4] Analog Devices，Inc. VisualDSP 5.0内核（VDK）用户指南，2011年[5] Analog Devices，Inc. VisualDSP++ 5.0 Blackfin C/C++编译器和库手册，2011年[6] 实时系统，体系结构，调度和应用，Seyed Morteza Babamir，编辑，Ed.IntechSorin Zoican / IERI Procedia 4（2013）1391472012年，ISBN 978-953-51-0510-7