可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）162e172http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章基于视频的工程车辆检测及其在智能监控系统季文洋a，唐灵君b，李德迪a，杨文明a，*，廖庆民a深圳市重点实验室。 信息科学&技术/深圳工程实验室。深圳&研究生院电子工程系副教授，中国清华大学b中国深圳市规划2016年10月13日在线发布摘要虽然在高速公路上的车辆检测已经有报道，但据我们所知，针对国有土地上的液压挖掘机和自卸车检测的智能监控系统还没有深入研究。在本文中，我们提出了一个自动的，基于视频的算法检测液压挖掘机和自卸车。借鉴视频处理的经验，提出了一种基于改进帧间差分算法的前景检测方法，并在各自的感兴趣区域内检测出液压挖掘机和自卸车。在此基础上，提出了基于机械臂反谷特征和时空推理的挖掘机检测方法。此外，我们探讨了自卸车检测策略相结合的结构化组件投影与空间关系。在实际监测站点上的实验证明了该系统的良好性能。Copyright© 2016 ， 重 庆 理 工 大 学 . 由 Elsevier B.V. 制 作 和 托 管 。 这 是 一 篇 开 放 获 取 的 文 章 ，CC BY-NC-ND 许 可 证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：国有土地保护;工程车辆检测;液压挖掘机检测;自卸车检测;倒V形特征;智能监控系统1. 介绍1.1. 背景随着我国人口的不断增加和城市化进程的加快，违法建设等侵占国有土地的行为频繁发生。虽然有关部门已经采取了遥感、人工检测、车辆视频监控等监管手段，但仍存在一些难以解决的问题。遥感存在实时性差、细节信息不足等问题人类的检查有最好的* 通讯作者。深圳市重点实验室清华大学深圳研究生院电子工程系信息科学技术研究所。电子邮件地址：yangelwm@163.com（W. Yang）。同行评议由重庆理工大学负责。灵活性强，但也存在效率低、劳动力成本高的问题。车辆视频监控节省人力资源，但在颠簸地区无法使用。针对这些问题，提出了一种智能监控系统.随着我国城市化进程的加快，保护国有土地是各地国土资源部门的重要职责。即使有如此严格的监管，国有土地仍经常被开发商和个人侵占。2010年，中国第一个经济特区深圳发生了372起典型的非法占用案件。这些案件大多数是在国有土地上违法建设。为及早预警违例建筑，本集团引入智能监控系统，以侦测地盘内的建筑车辆。各种工程车辆用于重型民用建筑。这些车辆中有许多是为执行特定作业而制造的，而其他车辆，如液压挖掘机和自卸车，http://dx.doi.org/10.1016/j.trit.2016.09.0012468-2322/Copyright© 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172163卡车，可以处理多种活动，并可用于不同的项目阶段。因此，在国有土地上检测工程车辆，特别是液压挖掘机和自卸车，可以增加国家防止非法建筑活动的信心。1.2. 一般性介绍使用智能监控系统对违法建筑进行预警可以大大节省成本。一旦监控系统建成，所有处理程序都是全自动的。该系统不仅可以提供各视频站点的完整信息，而且可以提供各预置位置的详细信息。此外，我们提出的系统具有良好的实时性和高效率，它可以实时处理视频和同时处理多个视频。我们的系统也是全自动的，因此不需要专门的监督。根据我们的研究，不存在与国有土地上的液压挖掘机和自卸车检测相关的研究或算法。因此，可以学习和借鉴的资源是有限的。通过调研和实地考察，我们得出结论：对于两层以上的违法建设，必须进行事前预警。在此基础上，提出了在施工前，即在基础施工或施工活动开始阶段，应提供预警信息。这一分析与我们的检测目标相吻合，因为液压挖掘机可用于基础铺设阶段，在这种情况下，包括挖掘、装载、修整和移动材料，以及施工阶段。此外，自卸汽车可用于地基铺设阶段的渣土运输和施工阶段的建筑材料运输。本文提出了一种考虑处理效率的改进的三帧差分法用于前方目标检测。在感兴趣区域（ROI）内检测工程车辆，不仅可以提高准确率，而且可以大大减少计算量。因此，我们提出了机械臂的倒V特征和时空推理来识别施工视频中的液压挖掘机。在自卸车检测中，本文研究了结合空间关系结构化分量投影（SCPSR）的自卸车识别策略。详细的处理流程如图所示。1.一、1.3. 相关工作为有效保护国有土地不被侵占，有关职能部门采取多种方式进行监管。各种方法大致可分为卫星遥感、车辆视频监控、人工巡逻和视频监控。卫星遥感法是利用卫星遥感影像对国有土地违法使用情况进行监测。虽然这种方法成本低廉，但它的缺点是缺乏-细节、长电路周期和无实时场景。车辆视频监控是为了克服车辆监控缺乏细节和实时性差的缺点而提出的。然而，这种方法对于在颠簸区域监测车辆并不实用。人工巡检和视频监控具有最大的灵活性，但存在效率低、人力资源成本高的问题。因此，最好的选择是使用基于视频的智能监控系统。1.4. 现场情况本系统的应用地点在中国第一个经济特区深圳。80家视频网站分布在深圳各区。详细分布情况见表1。我们根据现场情况将每个视频点划分为多个子块。划分多个子图可以获得详细的信息，避免盲区。监控的场景非常复杂，涉及草地，石头，水和其他自然场景。为了减少虚警和提高检测效率，首先进行前景检测，即只识别ROI我们的系统是建立在一个多线程，所以它可以同时处理80个视频。1.5. 纲要在接下来的章节中，我们首先阐述了一种基于帧间差分的前景检测算法.详细介绍了自卸车ROI检测的改进三帧差分算法和液压挖掘机ROI检测的普通帧差分算法。在第三节中，我们描述了基于倒V特征和时空推理的液压挖掘机检测。在第4节中，我们使用结构信息开发了一种基于SCPSR的自卸车检测方法。在第五节中，我们介绍了在实际工程项目中的实验结果。最后是一个结论。2. 方法对于给定的视频序列，首先采用改进的三帧差分法进行前景检测，判断候选自卸车是否存在。然后，在候选车轮区域中寻找“V特征”，并根据自卸车的结构关系确定驾驶室和料斗的感兴趣区域。对于驾驶室和料斗的检测，我们使用了一种基于投影的决策方法。详细的处理过程如图所示。1 .一、2.1. 前景检测由于智能监控设备的需要，前景检测引起了众多学者和工程研究人员的关注，产生了许多新的方法和思想。这些方法大致可以分为帧间差分法、背景法、164W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172Fig. 1.视频的整体处理流程表1视频网站的分布。宝安区福田光明龙光龙华南山坪山大鹏经销13 2 16 22 10 8 4 5减法、光流、运动竞赛、运动模板和时间熵等。这些方法有不同的优点和应用。根据实际应用情况，帧间差分法具有实时性好、不积累背景等优点，是最佳的选择。液压挖掘机和自卸汽车的运动速度不同，其前景检测也不同。2.2. 液压挖掘机液压挖掘机是一种液压设备，主要用于挖掘。它广泛用于装载、修整和移动材料，因此广泛用于建筑活动。通过观察发现，液压挖掘机的运动速度相对于其他车辆来说是比较慢的。因此，使用连续的两个帧来确定差异是不适当的。通过分析和实验，实现了在距离为4的情况下使用两个帧的优异性能。液压挖掘机的检测过程在算法1中规定。第一步是帧差，即帧i和帧i的绝对值差，如图2a和图2b所示。下一步是选择适当的二值化方法。受图像分割的启发，我们W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172165.≥¼图二、液压挖掘机前景检测的处理过程及结果可以根据分割思想自动获取阈值。介绍了数据的来源。经过帧间差分运算后，得到一幅灰度图像，它可以看作是一个“差”谱。如图2c所示，差谱由许多值组成，这些值可以表示为从0到255.光谱值中的“大差异“意味着两个图像之间的大差异。在“差“谱中的大的数字可以被认为是两个图像之间的大的差。相反，较小的“差“谱值意味着可以看到两个图像的更多相似性。这一发现表明，这两个图像之间的差异是变化通过以上分析，我们可以得到差异分布图，可以用来确定分割阈值。二进制运算的阈值很容易根据等式使用。（1）得到分割阈值后。图像中存在大量的噪声和伪前景点，形态学操作需要消除这些噪声和伪前景点。在形态学运算之后，根据视频中出现的液压挖掘机的尺寸进行轮廓滤波。处理结果如图2f所示。该工艺便于判断上述操作后是否存在合格的前置层.小[3]，如图2d所示。我们的目的是提取变化剧烈的区域，并抑制难以察觉的BW图像255Dif图像阈值0Dif图像阈值<ð1Þ166W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172-2.3. 自卸车自卸车前台检测的流程和思路它们最大的区别是自卸车的速度比液压挖掘机快。因此，使用相同的方法来判断是否存在候选前景是不合理的。通过分析，提出了改进的三帧差分算法进行判断。算法2中规定了自卸车的检测过程。改进的三帧差分算法与普通三帧差分算法的区别在于前者是用Difi-1和Difi-1来进行运算的。该操作的优点是消除重影。然而，我们的目的是加强变化的领域。在这个意义上，我们增加了两个绝对值Difi-1和Difi-1，以增强变化区域。然而，它抑制了变化较小的地区。为了获得增强的变化图像，执行在第2.2节中讨论框架差分算法在轮廓滤波器中具有轻微的差异。由于自卸车的外形为矩形，轮廓滤波器应满足这一约束。3. 液压挖掘机检测液压挖掘机是由机械臂及其铰接支撑组成的高度变形的机器。机器的典型变形如图3所示。液压挖掘机的机械臂由动臂、铲斗和附件组成，可实现360度回转和旋转围绕着它们的铰链支撑。考虑到无数的形式，它是不可能检测液压挖掘机与有限的在刚体设备的情况下使用的训练样本的数量。研究表明，液压挖掘机工作机械臂呈倒V形特征。因此，抓住这一特征进行进一步的分析，并在此基础上进行时空推理是明智的选择.3.1. 基于倒V特征的机械臂识别液压挖掘机在作业过程中有无数的形式，除了动臂对准摄像头视野。在这种情况下，无法区分机械臂，我们的目标是通过液压挖掘机的机械臂来检测液压挖掘机。如图3所示，动臂和铲斗的位置可以分为水平、垂直、左、右和右。倾斜的，向右倾斜的。吊杆或铲斗的线可视为水平线，其可分别定义为10度至10度和170度至190度。以上提到的仓可以根据实际应用来定义。 空间-可以进行时间推理，并与逆V特征相结合，以进行进一步的决策（图1）。 4）。1) 边缘检测：执行边缘检测。为了检测液压挖掘机机械臂的倒V形特征，采用对角Sobel掩模进行边缘检测，该掩模考虑了对角边缘的强度响应2) 二值化操作采用分割的思想：在得到表示边缘响应的灰度图像后，下一步自然地进行阈值化操作。全局阈值和局部阈值是用于阈值操作的两种主要方法。然而，需要一种既能抑制局部噪声又能保持强边缘的鲁棒方法来获得二值图像。受图像分割的启发，灰度图像可以分为两类，即强边缘、背景和噪声。因此，主要的问题是将这两个类分段。我们可以使用第2节中提到的方法来分割图像。3) 轮廓滤波器：通过上述过程，获得表示边缘然而，一些恼人的噪声和伪边缘可能仍然存在。形态学操作通常用于进一步处理，但由于背景复杂性，此类操作不太可能完成此任务。考虑到机械臂轮廓较大，而其他散乱轮廓相对较小，采用轮廓滤波器对二值图像进行了纯化。在我们的项目中，我们放弃了轮廓的绑定矩形大于256*256或小于64*64，因为它不仅可以删除小，恼人的轮廓，但也擦除大轮廓，这是由于丢失的数据。4) 线路检测：如第2章所述，应识别吊臂和铲斗线路所属的料仓。可以方便地确认代表动臂和铲斗的线角度。Hough变换是确定特定形状检测角度的经典方法之一。图像空间中的任何有效点都可以是W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172167-你好图3. 液压挖掘机的典型变形及仓的划分见图4。边缘检测程序。如图5所示，作为直线或正弦曲线映射到变换域。因此，可以通过找到变换域中的极值局部值来确定线。详细算法见算法2。5) 仓和位置过滤：本节详细说明如何提取倒V特征。该特性可以通过两个滤波器来实现。第一种称为箱过滤器，用于将行划分为水平、左倾斜、垂直或右倾斜箱;第二种滤波器是位置滤波器，用于约束直线的空间位置关系。方便的是将线映射到霍夫空间中的对应箱中。如第2节所述，Hough图的横坐标是一个角度，以知道是否存在相应角度范围详细地说，如果一条线是水平的角度位于10°到10°或170°到190°之间。经过上述操作后，我们的算法将直线投影到相应的图五、Hough空间直线检测168W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172垃圾箱位置过滤器意味着对应的bin中的线应满足对应的位置关系。详细地说，满足逆V特征[2]的直线对不应该彼此远离，并且它们的顶点应该接近。3.2. 时空推理现有的算法都很不理想，更不用说达到匹配人类视觉的理想目标。由于监控现场都是人工完成的，因此误报是不可避免的.特别是，草地和树林在风中摇摆，这可能导致不可预测的误报。为了避免误报，引入了时空推理（图6）。时空推理是计算机视觉科学中的一个巧妙概念，它将先验知识和背景知识融合到检测中。它充分利用图像序列中关于目标在空间和时间上的位置信息进行推理。因此，采用逻辑推理进行进一步判断，以提高视频中的检测率。在这个框架中，我们断言，一个工作的液压挖掘机是存在于视频通过不同的机械臂的倒V形特征的组合3.3. 判断检测过程可描述为以下流程图。对于给定的视频，首先执行前景检测。如果检测到前景，下一步是检测机械臂的倒V特征，当检测到机械臂时，记录倒V特征的特定组合。4. 自卸车检测在调查和测量中，许多学者致力于车辆检测，特别是高速公路上的车辆，呈现前或后视图。关于自卸车呈现侧视图的文献有限。考虑到我们项目的实际应用，摄像机被挂在建筑物上或角落里。自卸车不太可能朝摄像头开过来，所以一般都会显示它的侧视图。由于自然场景的复杂性和现有方法的计算效率，需要一种新的方法来快速检测自卸车。通过我们的观察，见图6。不同Bins的组合W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172169自卸车，其中可分为车轮，驾驶室和料斗区，是显而易见的。如图7所示，典型自卸车的不同部件满足一定的比例关系。因此，一旦检测到其中一个部件，则将更方便地定位其余部件。4.1. 车轮检测车轮区域具有明显的谷值特征，即灰度值分布呈现明显的波峰和波谷，因此首先要检测出车轮区域。为了增加轮胎的耐磨性和防滑性，制造商在橡胶中加入炭黑，因此轮胎看起来会比背景更黑。通过以上分析，如果用一条扫描线对车轮区进行灰度值统计，统计曲线会呈现V型特征。具体的处理方法是用一条扫描线从底部扫描ROI区域。一旦车轮区域的V形特征被定位，车轮的位置和尺寸也被确定。自卸车车轮、驾驶室、料斗的结构关系如图8所示。根据自卸车的结构关系，很容易得到驾驶室和料斗的投资回报率（图）。 9）。4.2. 驾驶室检测根据自卸车的车轮位置、尺寸和结构关系，很容易确定驾驶室的ROI。驾驶室表面轮廓是一个连续的整体，除了驾驶室窗口在图像中呈现为黑色外，由于采用分量投影进行判断，需要一种有效的方法来提取驾驶室表面轮廓。一种具体的方法是根据比例和位置关系在ROI中散布五个种子点然后，对种子点散射的一致性进行判断。如果点不一致，则移除特殊点，并重新分散点，直到满足一致性。根据分散的种子点对数据点进行聚类，图第七章自卸车的结构及其比例关系。生成驾驶室表面轮廓[4]。利用图像去噪和形态学运算对图像进行净化。最后一步是将表面轮廓分别投影到水平和然后根据投影曲线判断曲面轮廓是否满足约束条件.检测过程在算法3中指定。4.3. 料斗检测料斗检测方法类似于驾驶室检测，但料斗的方向需要前轮和后轮的信息一旦找到料斗的ROI，检测算法与算法3相同料斗轮廓的后由于料斗是严格矩形的，我们使用矩形滤波器来处理二进制图像。具体来说，我们使用一个矩形滑动窗口来净化二值图像。如果空间占用率大于阈值，则用最大灰度值255填充矩形滑动窗口否则，矩形滑动窗口不会被填充。为了描述漏斗矩形，我们定位矩形并将其分别投影到水平和垂直方向。特别地，我们根据车轮投影曲线来定位料斗的感兴趣区域，这是前、后轮的位置和尺寸聚类和投影的方法检测结果如图所示。 10.5. 结果5.1. 检出率为了测试我们的系统的有效性，我们使用了中国深圳市国土资源委员会拍摄的视频。连续四天录制的视频用于测试。处理结果统计记录在表2中。170W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172图八、检测图第九章确定出租车的投资回报率并做出决策。W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172171图10. 确定料斗的投资回报率并做出决定。根据该表，很自然地获得检测率、虚警率、平均检测率和平均虚警率。详细的统计结果见图1。 十一岁5.2. 时间消耗仅仅获得优选的检测结果是不够的。由于本系统的目标是进行实际应用，因此，良好的实时性是必要的。为了测试系统的实时性，我们随机选取了10段视频进行测试。测试是在一台配备双英特尔酷睿2.5G处理器和4G内存的PC上进行的.详细的处理结果如图所示。 十一岁6. 结论本文介绍了一个具有中国特色的实际问题求解系统。整个系统由前台检测和工程车辆检测两部分组成。在工程车辆检测中，以液压挖掘机和自卸车这两种最常用的工程车辆为研究对象。将机械臂的倒V形特征模型和时空推理引入挖掘机的检测中。此外，SCPSR介绍了自卸车检测在这本杂志。该系统不仅在液压挖掘机和自卸车的在线表2方法的结果日期的视频包含工程车辆相应编号检测条件相应编号性能相应数量2015年1月19482是的91检测81检出率89.01%没有391虚警10虚警率12.79%2015年1月20481是的41检测30检出率73.17%没有391虚警11虚警率2.50%2015年1月21487是的32检测26检出率81.25%没有391虚警10虚警率2.20%2015年1月22269是的24检测20检出率83.33%没有391虚警12虚警率4.90%172W. Ji等人/CAAI Transactions on Intelligence Technology 1（2016）162e 172见图11。检测的统计视频从固定摄像头，而且还创造了一个智能监控应用的先驱在国有土地上.未来的工作应该集中在探索更有效的检测算法和功能。确认本工作得到了国家自然科学基金项目61471216的部分资助， 发展战略特别基金会唐令俊，高级工程师，1999年毕业于武汉测绘科技大学城市规划设计专业，获硕士学位，现任发展研究部深圳市规划土地房地产信息中心土地房地产部。主要研究方向为数字城市建设、规划用地管理信息化。曾获测绘科技进步奖、地理信息科学奖、深圳市新兴产业发展项目，项目编号：J-CYJ20150831192224146、JCYJ 20150601165744635。引用[1] C. El Amrani ， G.L. Rochon ， T. El-Ghazawi 、 G. 阿 勒 泰 ， T. e.Rachidi，地中海地区预警和减灾实时城市遥感倡议的发展，载于：地球科学和遥感研讨会（IGARSS），2012年IEEE国际，IEEE，2012年，第100页。 2782和2785。[2] W. Yang，杨氏D. Li，D.孙角，澳-地廖，基于机械臂倒“v“特征的液压挖掘机识别，见：模式识别，第六届中国模式识别会议，CCPR，2014，pp. 536和544。[3] N. 达 拉 尔 湾 Triggs ， Histogramsoforientedgradientsforhumandetection ， in ： Computer Vision and Pattern Recognition ，2005。CVPR2005年。IEEE计算机协会会议，第1卷，IEEE，2005年，第110页。 886和893。[4] B. 卡 坦 扎 罗 湾 Y. Su ， N. Sundaram ， Y. 李 ， M 。 Murphy ， K.Keutzer ， Efficient ， high-quality image contour detection ， in ：Computer Vision，2009IEEE 12th International Conference on，IEEE，2009，pp. 2381和2388。Wenyang Ji获得了B.E. 2014年毕业于清华大学电子工程专业，现正在视觉信息处理实验室攻读电子工程硕士学位，清华大学他的研究兴趣包括图像处理和模式识别。曾在IEICE信息与系统学报、中国生物识别会议上发表文章。地理信息系统技术进步奖、优秀工程奖信息产业。杨文明获得学士学位。和史密斯分别于2000年和2003年在哈尔滨理工大学材料科学专业获得硕士学位2006年，他获得了中国杭州浙江大学电子工程博士学位。二零零七年至二零零九年，彼为清华大学电子工程系博士后研究员。2013年起任清华大学深圳研究生院电子工程系副教授。他的研究方向包括图像处理与模式识别、计算机视觉、生物特征识别、视频监控、图像超分辨率和基于人工视觉的无损检测廖庆民，1963年出生。他得到了B. S。1984年在中国成都电子科技大学获得无线电技术学位，和博士信号专业学位1990年和1994年分别从法国雷恩第一大学获得了通信和电信方面的自1995年以来，他一直与清华大学，北京，中国。2002年任清华大学电子工程系教授2001年至2003年，他在大学担任三年合同的特邀教授Caen，法国自二零一零年起，彼担任中国深圳清华大学深圳研究生院信息科学与技术系主任他的研究兴趣包括图像/视频处理，传输和分析;生物识别;以及它们在远程检测，医学，工业和体育中的应用。他在国际上发表了90多篇论文
我的内容管理
展开
