热红外行人检测技术综述

可在www.sciencedirect.com上在线ScienceDirect电气系统与信息技术学报2（2015）141热带中的行人内尔明·K作者：Elsayed E.Magda B. HemayedFayek埃及开罗大学工程学院2015年6月7日在线发布摘要热成像技术是利用物体发出的热量来生成物体的图像或定位物体的技术，近年来，人们提出了一种新的热成像框架，用于人体生理生物特征识别的检测、分割、特征提取和相似性度量。该研究调查了专门的算法，这些算法将使用个人所提出的算法获得的高精度结果清楚地表明，热红外系统的应用扩展到其他热成像系统的能力。© 2015 电 子 研 究 所 （ ERI ） 。 Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：热成像;红外波段;近红外成像;热特征;行人检测;人群计数1. 介绍行人检测是任何智能监控系统中必不可少的重要任务，因为它为任何场景的语义理解提供了基础信息。它有一个明显的扩展到汽车appli-阳离子由于潜在的改善安全系统。行人检测面临的一些明显挑战，在最近的许多研究中，导致用热谱带取代可见谱带在过去十年中，计算机视觉研究的快速增长主要与可见光传感器有关非可见光谱传感器没有被广泛使用，因为最初，低成本相机具有差的空间分辨率和窄的动态范围，并且具有更好图像质量的相机对于许多研究人员来说过于昂贵。然而，传感器技术现在已经发展到一个点，即非可见光范围传感器已经重新获得学术界和工业界研究人员本文的其余部分组织如下：在第2节中，在人体检测领域的热波段和可见光波段之间的比较。在第3节中，热成像的含义的定义可以*通讯作者。电子邮件地址：Eng. yahoo.com（新西兰）Negied），hemayed@ieee.org（E.E. Hemayed），magdafayek@ieee.org（M.B.Fayek）。电子研究所（ERI）负责同行评审。http://dx.doi.org/10.1016/j.jesit.2015.06.0022314-7172/© 2015电子研究所（ERI）。Elsevier B. V.制作和托管这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。142N.K. Negied等人/电气系统与信息技术学报2（2015）141第4节回顾了红外波段和热光谱。然后在第5节中概述了热成像如何成为这种应用的一种有前途的方法。最后在第6节中总结了本文。2. 比较直到最近，使用红外摄像机的热成像主要限于军事应用，帮助操作员更好地查看他们的环境，并在非常低的光照条件下检测人类和车辆在新型热成像相机的出现的推动下，更实惠的红外成像技术开始进入工业，商业和消费市场。当前的应用可见光（传统）和红外图像有几个共同的特点。对象的外观以类似的方式随视点而变化。然而，可见光图像对外部照明变化高度敏感。此外，纹理图案细节（诸如人类所穿的衣服）以精细细节成像然而，在IR图像中，由于人体温度在整个身体上相对恒定，因此丢失了精细的纹理细节，尽管所测量的强度在一定程度上确实取决于服装许多细节不仅在人类内部丢失，而且在背景中也因此，IR图像具有可以被描述为斑点状或“斑点”的外观因此，可以预期的是，强调轮廓的行人检测方法应该对两类图像都很好地起作用，尽管不同特征的重要性对于两类图像可能不同。但近年来的研究表明，与可见光图像相比，热图像具有不同的强度图，对光照变化和复杂细节不敏感此外，热图像可以提供增强的光谱范围，这是人类无法察觉的，并且有助于高温变化的物体与环境之间的明显对比（Zin等人，2011; Liu等人，2013; Bertozzi等人，2007; Fang等人，2004; Li等人， 2010年）的报告。图1中给出了一些示例，其中热图像展示了它们在这些场景中优于可见光图像的优势。它是可能的检测行人从热图像与不足或过度照明。此外，由颜色、纹理和复杂背景引入的可变性变得微不足道（Bertozzi等人，2007年;Li等人，2010;Olmeda等人， 2012年）。3. 热成像热成像可以被看作是一种通过检测物体以下发射的红外线能量Fig. 1.可见光（顶部）和热（底部）图像示例。N.K. Negied等人/电气系统与信息技术学报2（2015）141143图二.灰度热图像（左）和彩色热图像（右）的样本。被称为热信号一般来说，物体越热，它发出的辐射就越多。热像仪（也称为热像仪）本质上是一种热传感器，能够检测温度的微小差异。该设备收集来自场景中物体的红外辐射，并基于有关温差的信息创建电子图像由于物体很少与周围的其他物体具有完全相同的温度，因此热成像相机可以检测到它们，并且它们在热图像中会显得与众不同。热图像通常是灰度的性质：黑色物体是冷的，白色物体是热的，灰色的深度表明两者之间的变化（见图1）。 2，左）。然而，一些热成像相机会为图像添加颜色，以帮助用户识别不同温度下的物体（见图2，右）。目前，该技术已经在许多领域做出了贡献，本文将研究其在行人检测和人群计数领域的贡献4. 红外波段和热谱在拉丁语中，infra的意思是“低于”，因此红外线的意思是低于红色。“红色”是可见光中波长最长的颜色。红外光的波长比人类可见的红光更长（因此频率更低），因此字面意思是低于红色。’Infrared’ (IR) light is electromagnetic radiation with a wavelength between 0.7 and 300 µm, which equates to afrequency IR波长比可见光的波长长，但比太赫兹辐射微波的波长短（Bhowmik等人， 2012年）。物体通常会发射一系列波长的红外辐射，但只有光谱的特定区域因此，红外波段通常被细分为更小的部分。国际照明委员会（CIE）建议将红外辐射分为三个波段，即IR-A，范围从700 nm到1400 nm（0.7-1.4µm），IR-B，范围从1400 nm到3000 nm（1.4-3 µm）和IR-C，范围从3000 nm到1 mm（3-1000 µm）。一个常用的细分方案可以给出如下：近红外（NIR，IR-A DIN）：这是0.7-1.0 µm的波长，由水的吸收定义，通常用于光纤通信，因为在二氧化硅玻璃（二氧化硅）介质中的低衰减损耗。图像增强器对光谱的这一区域很敏感。例如夜视摄像机等夜视设备。短波红外（SWIR，IR-B DIN）：这是13微米。在1450 nm处吸水率显著增加1530-中波长红外（MWIR，IR-C DIN）或中红外（IIR）：它是3-5 µm。在导弹技术中，3 -5微米的波段是被动红外热寻的导弹的导引头工作的大气窗口，导引到目标飞机的红外特征，通常是喷气发动机的排气羽流。长波红外（LWIR，IR-C DIN）：该红外辐射波段为8-14 µm。这是“热成像”区域，传感器可以根据热成像获得外部世界的完全被动图像。144N.K. Negied等人/电气系统与信息技术学报2（2015）141表1不同光谱的波长范围光谱波长范围可见光谱0.4近红外（NIR）0.7短波红外（SWIR）1中波红外（MWIR）3长波红外（LWIR）8甚长波红外（VLWIR）>14 µm（微米/微米）它仅发射光，不需要外部光源或热源，如太阳、月亮或红外线照明器。前视红外（FLIR）系统使用这一光谱区域有时它也被称为“远红外”甚长波红外（VLWIR）：这是14-1000µm。NIR和SWIR有时被称为现在，我们可以总结不同红外光谱的波长范围，如表1所示。5. 文学在文献中存在相当数量的用于在热图像中检测人的方法。Bertozzi等人（2003）介绍了作为驾驶员辅助系统一部分的行人检测方法。该算法/方法分为三个部分。(1)候选一代。对输入的热图像进行处理，以定位具有特定尺寸和纵横比的温暖对称物体。（2）候选人筛选。候选对象可能包含杆、路标和建筑物，它们也具有对称性。这些假阳性对象可以通过分析每个搜索窗口中的垂直直方图的形状来过滤（3）候选人资格的确认提取人体的形态特征以形成模型。将每个过滤的搜索窗口与模型进行比较以进行验证。这种方法的缺点是人体温度必须高于背景温度。由于温度变化，热图像中的人的外观可能会有很大的变化（图1）。 3）。Davis和Keck提出了一种基于模板的两阶段方法（Keck和Davis，2005），该方法利用了边缘信息的不变性在第一阶段中，通过创建热图像的轮廓显着图（CSM;Davis和Sharma，2004）来获得人体轮廓CSM表示属于人的边缘轮廓的每个像素的置信度。然后，通过对从CSM图像裁剪的人类样本进行平均来产生筛选模板。最后，应用多分辨率筛选过程来获得候选者。在第二阶段中，四个不同角度的Sobel滤波器应用于人体样本，得到四个投影边缘图像。Adaboost分类器使用投影图像进行训练，并应用于新的输入图像。 该方法证明了边缘是热图像中目标检测的鲁棒特征（图1）。 4）.Arens和Jungling（2009）提出了一种基于热数据的基于局部特征的行人检测器 在训练阶段，他们使用多个线索的组合来找到图像中的兴趣点，并使用SURF（SpeedUp Robust Features; Tuytelaars等人， 2006）作为特征来描述这些点。然后通过对这些特征进行聚类来创建码本图三.行人检测的样本结果（Bertozzi等人， 2003年）。N.K. Negied等人/电气系统与信息技术学报2（2015）141145见图4。Keck和Davis（2005）的检测结果示例。图五.成功检测Arens和Jungling的样本结果（2009年）。见图6。王某等人成功检测的样本结果。（二零一零年）建立隐式形状模型（Implicit Shape Model，ISM）描述特征相对于目标中心的空间位置在检测阶段，SURF特征首先在每个图像中定位然后，进行特征与码书之间的匹配这种探测器的挑战是，当局部特征不明显时，例如，在质量差的热图像中，是否可以实现高性能（图1）。5）。Wang等人（2010）提出了一种用于在热图像中检测行人的新方法。 该方法是基于形状上下文描述符（SCD）与Adaboost级联分类器框架（图。6）。在Li和Gong（2010）中，作者进一步研究了实时行人跟踪热红外图像。该方法利用红外图像中行人身体区域的特点，基于粒子滤波框架。该方法在强度-距离投影空间模型中构造感兴趣区域（ROI）的直方图表示，克服了只考虑强度特征时信息量不足的缺点。此外，本文还提出了将上述模型嵌入到粒子滤波框架中，并自动更新样本模型的跟踪算法实验结果如下：146N.K. Negied等人/电气系统与信息技术学报2（2015）141见图7。三个不同帧的跟踪结果（Li和Gong，2010）。使用不同的红外图像序列，这表明该方案实现了更强大的和稳定的比经典的跟踪方法（图。 7）。在Qi et al. （2014）开发了另一种高级驾驶员辅助系统（ADAS），但这次提出了用于热图像中的行人检测的稀疏表示。两种类型的字典，即。采用K-SVD优化的类属字典和基原子直接由训练样本组成的朴素字典表示图像特征。在实现中，边界框收缩计划被应用到通过找到合适的大小的边界框，以提高检测的准确性实验结果表明，所提出的方法的性能相当（图。 8）。Zhang等人（2007）研究了来自可见光谱分析的方法，用于红外波段的人体检测任务。两个特征类（edgelets和HOG特征）和两个分类模型（Ada-Boost和SVM级联）扩展到红外图像。他们发现，有可能在红外图像中获得与可见光谱图像的最新结果相当的 它还表明，这两个域共享许多功能，可能源于剪影，尽管两种形式的外观截然不同（图。 9）。Abuarafah等人（2012年）进一步介绍了一种使用红外热视频序列实时监测和估计人群密度的新技术。该研究的目标是监测穆斯林朝圣活动（朝觐）的人群，而近300万穆斯林聚集在麦加进行朝觐。在不同的朝觐阶段，聚集的穆斯林必须同时从一个地方移动到另一个地方。因此，实时监控他们的人群是至关重要的，以便立即做出决定，以防止人群灾难。的状态为监测进程购置了先进的热感摄像机。此外，还开发了专门的软件模块，用于实时分析捕获的热图像视频序列实验结果表明，该方法对实时红外视频中人群密度的估计具有较高的精度然而，作者没有提到任何自动方法来确定人类的温度范围这就需要找到一种自动定义的方法见图8。在小边界框中检测到人体（Qi等人， 2014年）。N.K. Negied等人/电气系统与信息技术学报2（2015）141147见图9。检测结果的实例（Zhang等人， 2007年）。图10个。 代表在热场景中估计人群百分比的成功的实验结果（Abuarafah等人， 2012年）。对于实时系统来说，手动定义每帧人体温度范围的行人温度范围不能被认为是一个可靠的解决方案，因为它不能在所有情况下都是准确的（图1）。10）。总的来说，与标准光学图像相比，热成像摄像机在夜间视频监控方面具有明显的它对白天的光线变化很敏感。它还可以胜过由遮挡或闭合纹理引起的可见图像它可以用于行人的隐私不受侵犯的地方6. 结论从前面的讨论中可以清楚地看到，处理热带不需要任何特殊的处理技术：(1) 边缘检测器：（例如：Canny Sobel滤波器）。(2) 形态学算子。(3) 训练分类器：（例如：Ada-boost贝叶斯）。(4) 寻找兴趣点和兴趣区域。(5) 特征匹配。最近的研究证明，热成像在人体检测领域的表现优于可见光波段，并且它允许当今许多不同领域所需的许多应用的存在。然而，仍然有一个湖的研究，介绍了两个波段之间的公平比较，可能会引入这种新方法的挑战。148N.K. Negied等人/电气系统与信息技术学报2（2015）141引用Abuarafah，A.G.，Khozium，M.O.，AbdRabou，E.，2012年。 利用红外热视频序列进行实时交叉监测。 J. Am. 科学，133-140。Arens，M.，Jungling，K.，2009. 基于特征的人检测是在可见光谱之外。在：IEEECVPR Workshops.Bertozzi，M.，Broggi，A.，Grisleri，P.，格拉夫，T.，Meinecke，M.，2003年。 红外图像中的行人检测。IEEE，第 662 -667，0-7803-7848-2/03/. Bertozzi，M.，Broggi，A.，卡拉菲角，德尔罗斯，M.，Felisa，M.，Vezzoni，G.，2007年红外立体视觉行人检测。Comput.V是。图像理解106，194-204.Bhowmik，M.K.，萨哈，K.，Majumder，S.，Majumder，G.，萨哈，A.，Sarma，A.N.，巴塔查吉，D.，巴苏，D.K.，Nasipuri，M.，2012.热红外人脸识别In：Refinements and New Ideas in Face Recognition，www.intechopen.com.戴维斯，J.，夏尔马，V.，2004. 背景减除法在热成像中的人物检测。在：IEEE关于在可见光谱上的对象测试和分类的国际研讨会上。Fang，Y.，中国科学院，山田，K.，Ninomiya，Y.，Horn，B.K.，正木岛2004年 一种与形状无关的远红外图像行人检测方法。IEEETrans. 嗯。 技术53，1679-1697。凯克，硕士，戴维斯，J.W.，2005年两阶段模板法于热像人物侦测之研究。输入：程序Wkshp。Comp.的应用视觉。李杰，龚，W.，2010年。使用热红外成像的实时行人跟踪。 J. Comput. 5（October（10））.李杰，龚，W.，李伟，刘，X.，2010年。基于小波变换的热红外图像中行人检测。 红外物理 技术53，267-273.刘昆，庄杰，妈，杰，2013年。远红外自动驾驶辅助系统中的抢劫和快速行人检测方法。 红外物理技术60，288-299.Olmeda，D.，Escalera，A.，Armingol，J.M.，2012年。红外图像中人体检测的多特征对比研究。在：IEEE智能车辆研讨会。齐，B.，约翰，V，刘志，Mita，S.，2014年。 稀疏表示在热图像行人检测中的应用。In：CVPR workshop，IEEE，pp.274-280.Tuytelaars，T.，贝，H.，古尔，L.V.，2006年。冲浪：加速抢劫乌斯特功能。输入：程序第九届欧洲计算机视觉会议，格拉茨，奥地利，5月，页。404-417王伟，张杰，沈，C.，2010. 改进了热图像中的人体检测和分类。IEEE第17届图像处理国际会议。张，L.，吴，B.，内瓦蒂亚河2007年 基于局部形状特征的红外图像行人检测。IEEE，1-4244-1180-7/07/。Zin，T.，Tin，P.，哈马，H.，2011. 基于混合特征的近红外图像行人检测。Int.J.InnovativeComput. Inf.Control7，5015-5025。