视频分析中的背景建模方法综述及比较评价

可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）43e60http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章视频分析中的背景建模方法：综述与比较评价徐勇a，b，*，董吉祥a，张博c，徐道云da哈尔滨工业大学深圳研究生院生物计算研究中心，深圳518055b深圳市面向网络的智能计算重点实验室，中国深圳c中国澳门大学计算机与信息科学系d贵州大学计算机科学与技术学院，贵州贵阳5500252016年6月4日在线发布摘要前景检测方法可以有效地将前景对象（包括运动或静止对象）与背景区分开，这在视频分析特别是视频监控的应用中非常重要。一个好的背景模型可以获得良好的前景检测结果。背景建模的方法很多，但对它们的综合评价却很少。这些方法受到各种挑战，如光照变化和动态背景。本文首先分析了各种背景建模方法在视频分析应用中的优缺点，然后从质量和计算成本两个方面比较了它们的性能。使用Change detection.Net（CDnet2014）数据集和另一个具有不同环境条件（室内、室外、雪地）的视频数据集来测试每种方法。实验结果充分证明了传统的和最近提出的最先进的背景建模方法的优点和缺点。这项工作对研究人员和工程实践者都有帮助。本文中评估的背景建模方法的代码可在www.yongxu.org/lunwen.html上获得。Copyright© 2016 ， 重 庆 理 工 大 学 . Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：背景建模;视频分析;综合评价1. 介绍基于视频流的前景检测是计算机视觉应用的第一步，包括实时跟踪[1，2]和事件分析[3e6]。图像和视频语义分析领域的许多研究人员关注与前景检测密切相关的住宅区、路口、商场、地铁和机场的智能视频监控[7e9]。背景建模是获取前景物体的有效方法。虽然用于前景检测的背景建模方法已经研究了几十年，但每种方法都有其自身的特点。*通讯作者。哈尔滨工业大学深圳研究生院生物计算研究中心，深圳518055电子邮件地址：yongxu@ymail.com（Y. Xu）.同行评议由重庆理工大学负责。在从视频流中检测感兴趣的对象方面有自己的优势和劣势[10，11]。因此，需要进行综合评估，以帮助研究人员和实践者在不同的情况下选择合适的方法。在过去的几十年中，已经提出了大量的背景建模方法来识别视频中的前景对象。它们通常共享以下相同的方案[2，12]：它们利用第一帧或先前帧来构建背景模型，然后将当前帧与背景模型进行比较以检测前景物体，最后它们更新背景模型。各种背景建模方法可以被分类为基于像素的方法、基于区域的方法和混合方法。背景建模方法也可以分为参数和非参数方法。最著名的基于像素的参数化方法之一是高斯模型。Wren等人[13]首先提出在每个像素http://dx.doi.org/10.1016/j.trit.2016.03.0052468-2322/Copyright© 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。44Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 60分布为高斯分布[14，15]。然而，由于背景模型的更新率低，单一高斯函数不能快速处理实际动态背景[14]。为了消除波浪对水面或树木造成的背景纹理的影响[15]，Stauffer 和 Grimson[16 ， 17] 提 出 了 高 斯 混 合 模 型（GMM），该模型用K个高斯函数的混合对每个像素进行建模。针对GMM模型参数初始化过程中存在的耗时问题，提出了一种基于EM的在线GMM模型参数初始化算法 。 Zivkovic[18 ， 43] 还 提 出 了 一 种 自 适 应 GMM（AGMM）来有效地更新GMM中的参数，Lee[19]使用了一 种新 的 自 适应 学 习 率来 提 高 收敛 速 度， 而 不 改变GMM[9]的稳定性。为了提高精度并减少计算时间，Shimada等人[20]使用动态高斯分量来控制高斯混合模型。此外，Oliver等人[22]提出了一种贝叶斯方法，根据先验知识和数据证据对背景进行建模。Chien等人。[63]提出了一种阈值决策方法来检测前景物体。他们假设相机噪声是零均值高斯分布，这是影响阈值的唯一因素。然而，这一假设在实践中很难得到满足与参数背景建模方法不同，Maddalena等人提出了一种基于人工神经网络自组织的非参数背景建模[30]第30段。Kim等人[28，29]提出了一种对背景进行建模的码本方法，该方法将码本的码字嵌入以存储背景状态。Wang等人[55]提出了一种计算背景样本的样本一致性（SACON）以估计每个像素的背景的统计模型的方法。传感器控制器利用颜色和运动信息来检测前景物体。Barnich等人。[23，24]提出了一种名为Vibe的基于像素的非参数算法，使用一种新的随机选择策略来检测前景。Vibe的性能优于许多其他最先进的方法，并且它可以表示最近帧中的确切背景变化[25]。Van Droogenbroeck和Paquot[26]进一步研究了Vibe方法，他们考虑了额外的约束来增强Vibe的性能Hofmann等人提出了另一种基于像素的非参数自适应分割器（PBAS）方法。[27]。PBAS通过应用最近观察到的像素值的历史作为背景模型来做出前景决策基于像素的背景建模方法虽然可以有效地获得前景物体的细节形状，但容易受到噪声、光照变化和动态背景的影响与基于像素的方法不同，基于区域的方法利用像素间的关系将图像分割成区域，并从图像区域中识别出前景对象Elgammal等人[21，41]提出了一种基于核密度估计（KDE）构建非参数背景模型的新方法Seki等人。[64]应用图像变化的同现来模拟图像区域中的背景变化。Russell等人提出了一种启发式块匹配算法。[65]以区分前景对象和背景。他们将传入帧的每个图像区域与固定大小的背景数据库的典型示例进行比较。为了解决室外游泳池环境中的动态背景建模，Eng等人。[66]使用ClELab颜色空间中的随机均匀区域移动和图像区域的预过滤来检测前景。在基于区域的方法中，除了基于颜色的方法外，基于纹理或描述符的方法也受到了广泛的关注。Heikkila等人。[67]采用了一种称为局部二进制模式（LBP）的判别纹理特征[77]来对背景进行建模。他们基于背景的部分重叠区域构建LBP直方图，并通过直方图交叉将它们与传入帧的每个区域的LBP直方图进行比较。Liu等人。[68]提出了一种基于二进制矢量的背景建模方法，用于在光照变化下提取前方物体。此外，Huang等人[69]将背景建模为可以替代参数分布的与基于像素的方法相比，基于区域的方法可以减少噪声的影响，但是它们只能获得前景物体的粗略形状混合方法集成了基于像素和基于区域的方法，可以实现更好的背景表示，并处理光照变化和动态背景[70]。由Toyama等人[1]提出的壁花系统使用像素级、区域级和帧级信息来获得背景模型。它应用维纳滤波器在像素级预测背景值，在区域级填充前景对象的均匀区域，并在帧级处理视频序列的突然或全局变化。Huang等人。[71]将基于像素的RGB颜色与光流运动相结合来模拟背景。虽然混合方法可以有效地从背景中提取前景对象，但它们的计算复杂度相对较高。因此，Tsai et al.[72]提出了在硬件中嵌入混合算法来实现前地检测。一些代表性的背景建模方法分类在表1中。表1典型背景建模方法的分类。背景建模方法类别基于像素的方法基于区域的方法混合方法参数化非参数GMM[16]奥利弗[22][23，24]AGMM[18、43]施克[73]罗素[65]海基拉[67]KDE[21，41][第71话]蔡英文[72]克里斯坦尼[75]传感器控制器[55][第30话][28，29][27]第二十七话塞奇[64][第68话]陈[74]富山县[1]Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 6045þþ许多调查和比较研究已经出版，以评估这些类型的方法[2，10，31等37]。不幸的是，许多文件不包含最近流行的和国家的最先进的背景建模方法。Toyama等人[1]和Panahi等人[36]提供了各种基于像素的背景建模方法的比较。他们的评估比较了背景建模方法，并描述了背景建模方法需要处理的挑战。Cheung等人[81，82]使用不同天气条件下的交通监控视频评估了六种背景该比较仅在四个灰度测试数据集上进行。Parks等人[37]Brutzer et al.[10]比较了几种背景建模方法的性能，并检查了后处理的效果。最近，Sobral等人[2]发表了一篇论文，题为“acomprehensive review of background subtraction al-taxmswith synthetic and real videos”。本文比较了29种方法，这些方法通过使用BGS库（一种背景减除库）[38]的C MFC应用程序进行测试，而没有使用最先进的方法，如Vibe。在 本 文 中 ， 我 们 使 用 Changedetection.Net（CDnet2014）[39]数据集和另一个视频数据集[83]来进行背景建模方法的比较实验。CDnet2014数据集由53个视频序列组成，代表11个视频类别，包括室外和室内环境，包括汽车，行人和其他物体。视频中的大多数帧被注释以获得地面实况前景、背景和阴影区域边界。另一个视频数据集[83]包含四个视频序列。该数据集包括大尺寸遮挡的挑战，并且每个序列中的每第10帧都被标记为地面实况。本文客观地评价了背景建模方法从两个方面。对于方法的客观比较，使用召回率、特异性、假阳性率（FPR）、假阴性率（FNR）、错误分类百分比（PWC）、精确度和F测量评估指标来表示检测的准确性。为了计算检测的准确性，我们比较了地面检测掩模和地面真实情况。对于背景建模方法，评估速度和内存需求也很重要，因此也进行了相应的评估。本文的其余部分组织如下：第2节分析了背景建模方法必须处理的挑战。第3节简要回顾了背景建模的代表性方法。第4节显示了实验方案。第5节给出了实验结果。本文在第6节中结束。本文的结构总结在图。1 .一、2. 背景建模方法虽然背景建模方法是重要的，但由于复杂的应用环境，视频序列中存在各种挑战[10]。许多出版物举例说明了不同的背景建模挑战，例如，Bouwmans等人。[60]陈述了评估背景建模方法的2.1. 光照变化背景建模方法应考虑其对光照变化的鲁棒性。特别地，许多计算机视觉系统被用于室外场景，并且光强度通常变化，因此鲁棒性差。Fig. 1.本文的结构。介绍方法的评价审查代表方法实验方案实验结果结论3.1 GMM3.2 KDE3.3 码本3.4 AGMM3.5 帅康3.6哭泣3.7 ViBe2.1光照变化3.8 PBAS2.2动态背景2.3阴影2.4视频噪声46Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 60背景建模方法必须能够适应环境中光线的渐变。照明变化不仅是渐进的，而且在场景中也经常发生突然的一次性照明变化。例如，光线的突然切换或阳光被云层阻挡会强烈影响背景模型的外观。因此，快速适应光照突变的能力是评价背景建模方法的一个关键。GMM算法对光照变化敏感。它定义了一个像素值的2.5个标准偏差的一个disc。该阈值可以确保算法的性能仅受到照明变化的轻微干扰，这在不同区域具有不同照明时非常有用。为了最小化亮度变化的影响，SOBS使用HSV颜色空间，而SACON使用归一化颜色空间。主要原因是RGB颜色空间对光照变化很敏感。此外，KDE中结合了长期背景模型和短期背景模型，以快速适应场景的变化，从而实现灵敏的检测和低误报率。CodeBook使用颜色模型来执行颜色失真和亮度失真的单独评估。该模型的动机是背景像素值沿着码字的主轴以及亮度的低边界和高边界，因为变化主要是由于亮度。2.2. 动态背景虽然我们可以假设背景只包含静态对象，但在正常情况下，背景的某些部分总是包含一些运动，如摇曳的树木，水波，交通灯和闪烁的显示器。一个好的背景建模方法应该能够有效地识别目标的周期性或不规则运动。为了处理动态背景，GMM和SOBS假设像素的强度值由多峰分布建模。与单个单峰模型相比，多峰模型通常具有较高的时间复杂度。Vibe和SACON是基于样本的方法。他们使用新像素和样本之间的差异来区分移动背景。传感器控制器使用选择性策略来更新背景模型。它不仅可以有效地应对光照变化，而且可以处理背景中出现或消失的物体。它可以将移动/插入的背景对象合并到背景模型中。例如，如果背景对象被移动到新的地方，或者新的背景对象被插入到背景场景中，该方法可以自适应地将背景对象的相应像素添加到背景模型中[55]。在基于区域的方法中，基于纹理或矢量的方法使用描述符对背景变化进行建模，描述符提供可靠的信息来表示动态背景和光照变化。Heikkila等人[67]使用了一种称为局部二进制模式（LBP）[77]的区别性纹理来建模背景。Zhu等人[78]提出了一种基于角点的背景建模方法，用于检测动态场景中的前景目标。Harris角点[79]由SIFT类描述符[80]检测和表示，无需多尺度实现和方向对齐。然后，每个背景模型由角点出现的频率、描述符的均值以及前一帧和当前帧之间的相关矩阵来构造。2.3. 阴影由于光照变化的影响，前景物体往往存在阴影区域，这会影响前景物体的分离和背景建模算法后续模块的性能。因此，一个强大的算法应该包含一个策略，以消除前景区域的阴影或忽略这些不相关的阴影。投射的阴影肯定会使背景变暗，而移动的对象可以使其变暗或不变暗的想法被用于SOBS算法中以检测阴影[61]。具体地，在阴影区域中，存在显著的照明变化，但只有小的颜色变化。如果一个像素属于背景模型，但是被阴影变暗了，那么它属于场景中某个对象投射的阴影。KDE和SACON将颜色信息从亮度信息中分离出来，并使用色度坐标来抑制阴影。然而，使用色度坐标具有丢失亮度信息的缺点，该亮度信息与不同对象之间的白度、黑度和灰度的差异有关[62]。2.4. 视频噪声在计算机视觉的应用中，噪声总是不可避免的，视频信号通常会受到噪声的影响[10]。例如，相机抖动、镜头老化、传感器噪声或压缩伪影都可能导致图像质量下降。背景建模方法应考虑这些因素的影响，并应能够处理受不同类型噪声影响的退化信号。Vibe和SACON只需要将当前像素点与少量相近的背景样本进行比较，而不需要将背景模型中的大部分样本进行比较，从而可以削弱模型中噪声的影响。两个因素解释了为什么Vibe对噪音有很高的弹性。第一个因素是Vibe方法的设计允许Vibe的像素模型仅由观察到的像素值组成。Vibe的像素模型自动适应噪声，因为它们是从噪声像素值构建的。在Vibe中使用纯保守更新方案是另一个因素。通过依赖于专门分类为背景的像素值，Vibe的模型更新方案防止在像素模型中包含任何离群值[24]。3. 代表性方法在这一部分，本文回顾了背景建模算法进行比较和评价。这些Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 6047.XXPPYJ不1公司简介联系我们e-21q2ps2算 法 的 范 围 从 最 经 典 的 基 于 像 素 的 参 数 方 法 ， 如GMM[16，17]到复杂的非参数方法[23，24，27，30]，以及基于区域的B¼arg minbbk1uk>T！ð5Þ例如KDE[21，41]。这些方法旨在提高分类的准确性，并在可能的条件下实现最大速度和低内存消耗[14]。3.1. 高斯混合模型为了对动态或包含动画纹理的背景（如水上波浪或被风摇动的树木）进行建模[15，31]，Stauffer等人[16]提出使用K高斯分布的混合来对每个像素进行建模。在时间t来自当前帧的输入像素值x是背景像素的概率由以下高斯其中T是指定的阈值。如果像素值无法匹配背景模型分布，则将其标记为“运动中”[15]。传统的GMM有几个优点。它不需要在运行过程中存储一组输入数据。GMM使用均值和协方差来测量像素。这意味着每个像素都有自己的唯一阈值，而没有统一的全局阈值的约束。GMM的多模态性使其能够处理由摇曳的树木和逐渐的光照变化引起的多模态背景。然而，GMM也有一些缺点。高斯数必须预先确定，建议将K设为3、4或5[16]。定义背景模型后，必须初始化GMM的参数此外该P xtK1/1ui;t$h.xt;mi;t;Xi;tð1Þ结果取决于分布规律，该分布规律可以是非高斯分布，并且它只能缓慢地从故障中恢复。一系列没有移动物体的训练帧，其中K是高斯分布的数量，h（xt，mi，t，i，t）是第i个高斯概率密度函数，ui，t是其在时间t的权重，mi，t是在时间t的混合中第i个高斯的平均值，i，t是在时间t的混合中第i个高斯的协方差矩阵.在实际情况下，协方差矩阵可以被假设为对角矩阵，并且K被设置在3和5之间。一个新的像素xt，将与现有的K个高斯分布进行比较，直到找到匹配为止。匹配定义为像素值在分布的2.5个标准偏差内。如果K个分布中没有一个与当前像素值匹配，则最小可能分布被替换为具有当前值作为其平均值、初始高方差和低先验权重的分布。K个分布在时间t，u，t的先验权重更新为，ui;t¼1- aui;t-1a$Mk;t2训练GMM背景模型是GMM的另一个限制，这一步需要足够的内存。3.2. 核密度估计背景模型方法可以分为参数方法和非参数方法。参数化方法通过建立基于图像颜色分布的参数估计概率分布来估计背景[9]。在非参数方法中，引入核函数来对分布进行建模。对于这种方法，Elgammal等人[21]介绍了对强度值{x1，x2...，xN}的N个在该方法中，每个像素在时间t的xt可以通过下式估计：2N d其中a是学习率，M对于模型，不k，t1xtj-xijJð6Þ非匹配分布的参数mi，t和标准差si，t当它们与新观测值匹配时，将按如下方式更新mi;t¼1-r mi;t-1r$xi;t30其中，N是样本的数量，d是通道的数量，并且s表示由下式估计的每个颜色通道的核函数带宽：Ms21/41 -1/4s2þrðxt-mÞ ðxt-mÞð4Þ2019 -06-2200：00：00ð7Þt t-1t t其中r是学习率，定义为r啊xtmk;sk.为了将帧中的像素识别为前景或背景像素，Stauffer等人。[16]使用以下方法来估计背景模型：首先，K高斯分布按u/s的值排序。然后仅选择前B分布作为背景模型，分布应满足其中m是像素连续值的样本的绝对偏差中位数[21]。Mittal和Paragio[40]还使用了一种基于可变带宽内核的更复杂的方法来确定s。如果Pr（xi）T，则像素xi将被分类为前景像素，否则，它将被认为是背景像素。<阈值T是所有图像的全局阈值，可以对其进行调整以实现所需的误报百分比[21]。S2匹配，否则，Mk，t为0。N联系我们X48Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 60不9=不 不不2在背景模型的更新中，本文提出了一种生成两个背景模型（长期模型和短期模型）的方法，以实现更好的更新决策，p¼ kxtkcos2q¼2kvk2;模型快速适应场景变化，灵敏的检测和低假阳性率[21]。短dqkxk2-p2ð8Þ项模型由最近的N个背景样本组成值，并且示例使用选择性更新策略来执行更新。与短期模型相比，长期模型通过使用盲策略来更新。KDE方法的优点之一是能够避免部分精细的参数估计步骤，它依赖于过去观察到的像素值p2是输入像素的R、G和B颜色的自相关，并且d是颜色失真，并且其度量可以被解释为归一化颜色空间中的亮度加权版本，这等效于将码字向量几何归一化为输入像素的亮度。亮度变化的值可以在一定范围[21，40e44].另一个优点是KDE可以处理多模态背景，特别是在快速变化的背景中，直接将新观察到的值包含在像素模型中。∧它有两个界限：Ilow¼aI和Ihi¼mina> 1，b>1。<八：∧∨bI;I ; 哪里KDE也有缺点。例如，在整个前景检测过程中，KDE必须在内存中保存N帧，当N很大时，这很耗时。为了解决这些问题，研究人员提出了不同的改进方案。例如，可以通过确定帧缓冲器的适当大小来减少训练样本的数量[45]。此外，采用保持背景的递归策略来减少计算时间也是可行的[46，47]。然而，关键的改进是改变核函数，例如，Zivkovic[43]在矩形核函数中使用可变核带宽。Ianasi等人。[45]和Tanaka等人。[49]也使用矩形核函数，但具有恒定的内核带宽。Tavakkoli等人[48]在高斯核函数中自动选择核带宽，Ramezani等人。[50]使用柯西核函数。3.3. 码本Kim等人[28，29]提出了一种称为码本的方法，该方法使用Kohonen[51，52]启发的量化/聚类技术来从长观测序列中获得多模型背景模型。对于每个像素，该方法基于训练序列构建码本以存储一个或多个码字。码字是一系列关键颜色值，其数量取决于背景变化[53]。每个码字由RGB向量vi i=Ri;Gi;Bi =R i组成。在初始训练时间之后，场景可以改变。为例如，在街道监控应用程序中，汽车可能会进入或离开停车场，系统可以检测到前方地面。Kim等人。[28]还引入了另一种类似于码字的结构，称为缓存本，以避免检测错误的背景或前景像素，因为码本无法适应场景中的变化[53]。只有少数高斯的GMM不能准确地建模快速变化的背景。它依赖于学习速率来适应背景变化，因此对于低学习速率，难以检测到背景的突然变化。对于高学习率，缓慢移动的对象将被吸收到背景中。为了解决这些问题，KDE被开发出来[21]。它能快速适应背景的变化，并以高灵敏度检测出前景.然而，KDE不能用于需要长时间对背景进行充分采样的情况。CodeBook算法旨在对长时间的值进行采样，但没有参数假设。它可以在有限的内存下捕获长时间的背景运动，这使得它能够对动态背景进行编码。此外，它可以有效地应对局部和全局光照变化。与GMM相比，它在初始训练期间正确处理场景中的移动前景对象。然而，也有一些问题，码本不能应付。例如，如果前景像素的颜色与背景像素的颜色相似，则会错误地分割前景。虽然它可以调谐∨ ∧和 一 6元组 辅助盘<>中。 的 多勒奥的参数，以部分克服这个问题，它simul-ii; Ii; Ii; ii;i i; i i; i i;i i; i i; i i; i i; i i; i i;i i; i i; i i; ii我在其他情况下，系统会降低全局性能。包含强度（亮度）值和时间变量，∧3.4. 自适应高斯混合模型I和I分别是最小和最大亮度，分配给该码字的像素，f是码字出现的频率，L是最大负游程长度（MNRL），其被定义为码字不被更新或重现的最大时间间隔，p和q分别是码字出现的第一次和最后一次访问时间。该方法使用以下标准来在初始训练时间期间创建或更新码本中的码字。颜色失真d首先通过下式计算：基本GMM使用固定数量的分量，但是Ziv- kovic基于[54]的结果设计了一种改进算法，以自适应地调整GMM的参数和分量数量。改进的算法可以通过为每个像素选择组件的数量来自动适应场景[18]。给定时间t处的新数据样本xt，该方法递归地更新参数ui，x，t，mi，x，t和si，x，t，如下所示一2Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 6049P我联系我们.¼我ðÞ¼i; x;ti; x;ti; x;t我我我不0否则不不Gim;t我0否则不ð Þ¼ ð ð Þ ð ÞÞg/gui; x; t<$u i; x; t; x; t-u i; x; tBtN1/1 Gcm;t≥Tncc2fC1;···;Ckgð14Þmi;x;t¼mi;x;toi;x;ta=ui;x;tdi;x;t1022：0，否则秒 /秒oi;x;tDTdi;x;t-s2Σð11Þ其中，Bt（m）是对于背景像素为1的二进制值0表示前景像素，Tn 是一个阈值，其中di，x，txtmi，x，t，常数a1/P，P是合理选择的时间适配周期，并且a定义指数衰减包络，其可以限制先前数据的影响。对于新的样本所有权，对于具有最大u i，x，t的“关闭“分量，将o i，x，t设置为1，并且将另一个o i，x，t设置为0。例如，如果样本与组件的Mahalanobis距离小于3，则样本与组件“接近“。与第i个分量的平方距离计算为：D2x tdTdi=s2.在模式的误差容限Tr内的数据点[56]Tn受样本容量N的影响。如果N很大，那么Tn也应该很大。因此，Tn可以有效地设置为tTr N，其中t是常数并且根据经验确定。RGB颜色空间对光照的变化很敏感。为了解决这个问题，背景模型使用归一化颜色空间（r，g，I）作为特征空间。此外，该算法根据l的不同值去除阴影，并使用以下修改版本的当量（十三）如果组件按权重降序排序，ui，x，t，等式（5）更新如下B我8<1如果。x cm-，x cm。≤Tcc2fr;gg≤CX 不B¼argmin b. Xui> .1-cf！ð12ÞGcm;tf我bxc：0，否则不b≤gc2fIgð15Þ1/1其中cf是数据的最大部分的度量，可以属于前景对象而不影响背景模型。例如，如果一个新对象进入当像素的强度I低于阈值Itd时，并且R和G值不可靠并且对ILU敏感minations。在这种情况下，算法仅使用强度I作为如下场景并保持静态一段时间，它将暂时作为另一个集群。重量uB1的新如果I≥Itd，则x<$r;g;I<$否则，ð16Þ集群将不断增加，因为“旧”的是闭塞的。如果物体长时间保持静止，其作为物体的权重将变得大于cf，并且它将被分类为背景的一部分3.5. 基于传感器的方法该算法使用选择性更新策略来更新像素级和斑点级的背景采样。该算法为每个像素创建一个TOM值，并分别在像素级和斑点级对其进行更新。TOM值在像素级更新如下汤姆，汤姆。TOM t-1m1 if B tm¼ 0ð17Þ背景样本的一致性并估计背景的统计模型。该方法在时间t在每个像素处构建N个背景样本的高速缓存，其中，xt（m）是在时间t对像素m的观测。<每个观测xt mxC1m;：;xCk m具有k个通道。对于缓存中的每个样本，后台建模中的样本共识定义为C.1如果。x cm-x cm。≤ T r当像素处的TOM的值大于阈值Tm时，则该像素被分类为背景像素。一旦像素的值被分配给背景，TOM的值将被设置为零。实际上，TOM用于记录像素连续被分类为前景像素的帧数。当对象的中心或对象的像素数与预定值相比变化很大值的最近的斑点在前一帧，该对象是被认为是Tr是误差容限的选择阈值，并且不同的像素具有不同的阈值。Tr与样本标准方差成正比，标准方差超过-前景”。如果像素属于固定的前景斑点（一个大的连通区域），TOM值将在斑点级别更新，如下所示当数据是多峰分布时估计。因此，该算法通常为所有汤姆汤姆0分汤姆m02Ut-1 如果U是静态的，则为m01ð18Þ像素，同时将Tr设置为hsi。si是标准m02Ut0否则第i个图像像素和h中的每一个处的方差通常被设置为2.5或3.因此，该算法为第i个图像像素设置Tr：Tri min（T1，hdi），T1为常数.像素m是一致的 其中，当Gcm;t等于1时，采样i在时间t处在通道c中。该算法简单地判断先前的样本是否与当前样本“一致”，如果目标的TOM值大于TTM，则该目标被判定为静态目标，并且其所有像素被用作背景样本。如果判断斑点正在移动，则将所有像素的TOM值设置为零。如果斑点被判断为静态的，则该斑点的所有像素的TOM值增加1。如果对象的TOM值高于TTM，则其所有像素都是.i; x;tWang等人[55]提出了一种计算样本的方法ð13Þ50Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 60×.Σ¼：.¼≤ ≤≤联系我们添加到背景样本中，并且该对象由于长时间保持静止而被分类Wang和Suter[55]建议为每个像素保留最后观察到的背景样本的缓存（或历史），如果新像素值与像素模型中存储的大多数值匹配，则将其分类为背景。该方法避免了与任意假设的密度模型的偏差相关的问题，但是当使用先进先出方案来更新背景模型时，该方法未能避免问题。最后，为了处理背景中的照明变化和对象出现或消失，使用两种额外的策略（像素级和斑点级）来处理整个对象。当一个物体的一部分在运动而其他部分是静止的时候，静止的部分将被连续地分类为前景。然后，在像素级将其更新为背景，但将运动区域判断为前景或背景，不会在像素级更新最后，一个完整的对象将该算法利用视频序列的第一幅图像对每个像素的神经元进行训练，并通过加权平均的方法实现神经元的自组织。只有当像素被视为背景像素时，背景模型才根据保守性和区域性原则进行更新，更新后的像素模型将扩散到相邻的像素模型中。当确定当前样本pt的模型C中的最佳匹配c m时，c m被认为是在位置x ; y处的背景模型。则在n × n邻域中的权向量A t的x;y更新通过Ati;j1-ai;jtAt-1i;jai;jtptx;y21（21），ai，j（t）a（t）ui，j;ui，j是n n邻域中的高斯权重。a（t）是学习因子，定义为作为分为前景和背景。然而，在斑点级别更新背景可以确保关于我们8a1ta1-a2K如果0≤t≤Kð22Þ对象的完整性3.6. 一种自组织背景减除方法（SOBS）马达莱纳和彼得罗西诺[30] 提出 背景a2，如果t>K其中a1和a2是预定义的常数，使得a2≤a1。为了确保ai，j（t）的值在[0，1]的范围内，将a1和a2设置为C1利用人工神经网络实现自组织的SOBS建模方法。该方法a1¼最大使用Ci;jð23Þ能适应动态背景，渐变光照一个2变化，伪装和实现强大的检测，最多2个ui;j不同类型的视频拍摄固定摄像机[30]。该方法对每个像素点建立一个由n×n个权向量组成的神经网络映射，每个像素点的模型可以表示为C1/4（c1，c2，权重向量的整个集合充当背景模型。对于第t个输入像素pt，如果可以找到当前像素模型C中用于pt的最佳匹配权重向量cm，则将pt视为背景像素。否则，如果pt是阴影，则它仍将被视为背景，并且不应用于更新相应的权重向量。如果pt不是背景和阴影，它应该属于前景。如果输入像素pt与pt的距离在pt的模型C中的所有权重向量中是最小的并且该距离不大于固定阈值，则权重向量Cm给出输入像素pt的最佳匹配。这是公式化的，哪里C1和C2 是预定义常数 使得0c2c11。 如果没有找到最佳匹配c_m，则将p_t分类为前景，并且不更新背景模型。SOBS基于通过学习图像序列变化来构建图像序列神经背景模型的思想[57]，因此它不需要有关所涉及模式的先验知识。该网络表现为一个竞争性神经网络，实现了赢家通吃功能，具有修改神经元局部突触可塑性的相关策略，允许将它们在空间上限制在最活跃神经元的局部邻域内。因此，神经背景模型将适应场景的变化，可以捕捉图像序列的最持久的特征。d cm;ptmin1;···;n dci;pt≤ε19然而，对于每个颜色像素，SOBS构建了一个由n×n个权重向量组成的神经元因此，每一个传入的阈值ε可以将前景像素与背景像素区分开。背景像素，它是一个小常数，定义为样本必须在权重向量和应确定最小值，即时间是的。ε1如果0≤t≤Kð20Þ消耗。如果存在有效地更新背景模型的策略，则可以解决该问题。ε2 如果t>Kε1应大于ε2，因为ε1的高值允许在前K个序列帧内获得包括若干观察到的像素强度变化的（可能粗略的）背景模型，ε2应被设置为较低值以获得更准确的背景模型。3.7. 一种通用的背景减除算法（Vibe）Barnich和Droogenbroeck[23]使用了一种随机策略，该策-Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 6051略首先用于背景建模领域，52Y. Xu等人/CAAI Transactions on Intelligence Technology 1（2016）43e 60¼¼.Σ表2本文评价的方法概述方法年份分类特征GMM[16]1999参数化，像素颜色[21，41]2000年非参数，像素颜色[28，29]2004非参数，像素颜色，亮度AGMM [18，43]2006参数化，像素颜色[55]第五十五话非参数，像素/区域[30]第30话：我的世界非参数，像素颜色[23，24]2011非参数，像素颜色[27]第二十七话非参数，像素颜色选择值以建立基于样本的背景估计。该算法需要为每个像素构建缓存以保存N个背景样本值M（x）{v1，v2，M中的样本是随机选择的。输入像素基于其对应的模型M（x）被分类。该算法定义以v（x）为中心的半径为R的球体SR（v（x）），并从样本集合中确定值v（x）的最接近样本。然后，如果该球体与模型样本集合M（x）的集合交集的基数（由#表示）大于或等于给定阈值#min[24]，则像素值v（x）被认为是背景。该算法利用视频的第一帧来基于与[59]相同的假设初始化背景模型，即相邻像素共享类似的时间分布。作者使用t0来索引第一帧，并且NG（x）是像素位置x的空间邻域，因此M0xv0yjy2NGx24其中通过使用统一策略随机选择位置y。在背景模型的更新过程中，采用了非递归的保守更新策略.像素值将随机地替换M（x）中的样本，如果它是类-这防止其背景像素模型被更新。为了解决这个问题，Vibe通过背景样本传播方案使用空间一致性。根据该方案，当像素已经被更新时，算法使用该值v（x）来更新M（y2Nc（x））中的邻域像素样本。Vibe应用背景训练序列的像素的观察颜色值作为观察背景的样本。因此，与其他方法相比，Vibe实现了优越的性能，因为使用样本作为背景模型可以成功地表示背景变化[25]。然而，Vibe的缺点是它只使用像素的颜色值来构建背景，但颜色值通常对噪声和照明变化敏感[58]。因此，Vibe的前景检测性能很容易受到噪声和光照变化的影响。此外，Vibe使用固定参数来识别像素是否属于背景。因此，对于不同的视频，特别是包含动态背景的视频，Vibe需要手动调整参数以适应背景变化。3.8. 基于像素的自适应分割器Hofmann等人。[27]将Vibe与SACON相结合，创建了一种 用 于 前 景 分 割 的 新 的 基 于 像 素 的 自 适 应 分 割 器（PBAS）方法。PBAS方法使用N个图像值的历史作为背景模型，并使用类似于Vibe的随机更新规则与Vibe不同，PBAS不将参数值视为固定参数，而是将其视为自适应状态变量，这些变量可以随每个像素的时间动态变化。PBAS的背景模型B（xi）由N个最近观察到的像素值B xifB1 xi;如果像素x的像素值I（x）为作为背景。 与先进先出相比，策略，该策略保证了像素模型中保留的先前样本值的概率的指数单调衰减。此外，算法中使用的随机时间策略还扩展了更接近N个背景值中的至少#min，一定的判决门限R（xi）。因此，背景被定义为.0#fdistixi;B