基于机器视觉的化工管道泄漏自动检测与定位

工程7（2021）758研究智能制造-综述基于机器视觉的化工管道泄漏自动检测与定位Mina Fahimipipipigalina，Mina，Emanuel Trunzera，Matthias Odenwellerb，Birgit Vogel-Heuseraa慕尼黑工业大学自动化和信息系统研究所，Garching 85748，德国b赢创技术和基础设施有限公司，Hanau 63450，德国阿提奇莱因福奥文章历史记录：2019年12月23日收到2020年4月21日修订2020年8月5日接受2021年4月30日在线提供保留字：泄漏检测和定位图像分析图像预处理主成分分析k-近邻分类A B S T R A C T管道中的液体泄漏是大型过程工厂中的一个关键问题。管道的损坏影响了工厂的正常运行，增加了维护成本。此外，它会给操作员带来不安全和危险的情况。因此，泄漏的检测和定位是维护和状态监测的关键任务。最近，使用红外（IR）相机被发现是一种有前途的方法，在大型工厂泄漏检测红外摄像机可以捕捉泄漏的液体，如果它具有比周围环境更高（或更低）的温度本文提出了一种基于红外视频数据和机器视觉技术的化工厂液体泄漏检测和定位方法由于所提出的方法是基于视觉的方法并且不考虑泄漏液体的物理性质，因此其适用于任何类型的液体泄漏（即，水、油等）。在该方法中，后续帧被减去并划分成块。然后，对每个分块进行主成分分析，提取分块的特征块内的所有减去的帧被单独地转移到特征向量，该特征向量被用作对块进行分类的基础。k-最近邻算法用于将块分类为正常（无泄漏）或异常（有泄漏年龄）。最后，在每个异常块中确定泄漏的位置。为了评估该方法，考虑了具有两种不同格式的两个数据集，包括由IR相机捕获的实验室演示植物的视频片段。结果表明，该方法是一种很有前途的方法来检测和定位管道泄漏红外视频。该方法具有较高的精度和合理的检测时间泄漏检测。最后讨论了将该方法推广到实际工业装置的可能性以及该方法的局限性©2021 THE COUNTORS.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。1. 化工厂泄漏检测大型化工厂的状态监测对于维护和防止间接损坏和重大故障至关重要。用于输送物质的管道是化工厂最重要的结构部件之一。由于这些管道经常输送危险或有毒液体或气体，管道泄漏对运营商构成威胁，并构成环境安全风险[1]。一项研究表明，危险泄漏导致中毒事故的风险水平是不可接受的[2]。此外，管道的损坏会影响工厂的正常运行，从而降低工厂的可用性和生产率，并造成经济损失[3]。的情况*通讯作者。电子邮件地址：mina. tum.de（M. Fahimipipigalin）。Chen等人[4]对石油工业泄漏总体后果评估的研究表明，泄漏造成的成本和损失包括生产损失、资产损失、人员生命或安全损失以及环境损害。在这些不同的方面中，Chen等人[4]只能估计一个案例研究的生产损失：根据他们的估计，生产损失超过27万美元。在常规状态监测中，管道故障检测主要采用专家人工检测的方法然而，人工检查高度依赖于检查员的能力和检查频率。这是非常劳动密集型和昂贵的。此外，人工操作者必须暴露于化工厂中的条件下，以便直接检查工厂，由于危险条件，这在大多数情况下因此，需要进行远程检查，以避免人类暴露于危险环境https://doi.org/10.1016/j.eng.2020.08.0262095-8099/©2021 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志首页：www.elsevier.com/locate/engM. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758759化工厂内的条件[5]。远程操作需要从工厂适当的远程数据采集，以及合适的数据分析方法，以随后完成远程监控。因此，为了实现远程、安全、快速和准确的泄漏检测和定位，需要一种基于从工厂获得的数据的智能和自动泄漏检测机制。在最近的研究中，已经开发了几种用于管道泄漏检测的方法[6]。现有的泄漏检测方法大多是基于管道中液体的物理性质管道中液体的密度，管道内液体的压力、速度和温度等工艺参数，以及管道的尺寸和形状都被用作测量指标，以生成泄漏的数学模型[7]。这些方法对其他情况的适用性往往有限此外，这种方法需要关于过程的深刻知识，以便提供精确的模型和对化工厂中的条件的精确理解，这是很少可行的。除了泄漏检测之外，管道中泄漏位置的定位是泄漏检测的一个现有的大多数方法不能精确地检测泄漏的位置。在其中一些方法中，泄漏定位取决于工厂的地理信息，例如工厂的大小和位置、管道的长度以及管道中液体的速度、压力和其他物理性质[8因此，很难将这些方法应用于其他环境和其他类型的液体。此外，由于这些方法通常在管道上的不同位置使用不同的传感器，传感器数据的同步差异将极大地影响精度[12]。尽管已经进行了大量的研究，在管道泄漏检测领域，迫切需要一种用于泄漏检测和定位的智能方法，特别是一种可以应用于不同类型的液体和不同类型、形状和尺寸的管道的智能方法。此外，需要快速和准确的泄漏检测方法，特别是当泄漏液滴非常小时。小的泄漏在造成重大损害之前很难检测到;因此，快速检测小的泄漏液滴可以通过在早期阶段解决问题来避免严重和危险的当前在管道中的泄漏检测和定位中的挑战激发了用于检测泄漏液滴的基于视觉的检测和机器视觉技术的应用。机器视觉技术与人工智能（AI）相结合可以提供一个框架，用于学习化工厂内的条件，识别工厂的不同操作并做出决策[13]。基于视觉的检测是实现制造系统全自动状态监测和在线检测的一种很有前途的方法[14，15]。自动视觉检测的主要优点之一是它可以快速准确地检测工厂特定部分的故障[16]，并通过快速故障检测提高制造环境的安全性。然而，基于视觉的系统在实际工业环境和大型工厂中的实现仍然是挑战。一种解决方案可能是使用具有视觉能力的无人机平台[17]。然而，由于无人机的姿态变化和快速运动，大多数机器视觉算法对于处理无人机捕获的图像不是最佳的[17]。此外，无人机在具有高点火风险的环境（称为防爆区）中并不是本质安全设备[18，19]。另一种可能性是使用固定在不同位置的几个摄像机来捕获大型工厂不同部分的图像。在这种情况下，每个摄像头都可以捕捉工厂的特定部分，并在工厂的该特定部分上实施基于视觉的检查。本文的主要贡献是提供了一种自动视觉泄漏检测的方法，是独立于人类的能力和检查。为了实现这一目标，使用了包括演示装置和红外（IR）相机的从示范工厂捕获的视频数据被用来开发基于机器视觉技术的泄漏检测的智能方法在所提供的测试平台中获得的结果表明，泄漏可以检测，定位，并使用所提出的方法进行高精度本文最后讨论了在实际的大规模工业规划中实施这种基于视觉的系统的进一步本文的其余部分组织如下：第2节讨论了一个有效的泄漏检测方法的要求和假设，认为在这contribu-灰。第3节然后审查，分类，并根据规定的要求，泄漏监测领域的最新文献进行比较。第4节介绍了使用机器视觉和图像处理进行视觉泄漏检测的基本方法和步骤。第5对所得结果进行了调查和评价，第6进行了讨论和展望。2. 有效泄漏检测和定位的要求和假设泄漏监测领域的最新研究涵盖了从训练有素的专家手动检查到尖端传感器网络的方法[6]。然而，为了提供可靠且适用的泄漏检测机制，所提出的方法应满足某些要求。这些要求源自泄漏检测领域的现状第一个重要要求是提供安全和远程泄漏检查（要求R1），以避免化工厂内的直接人员接触和检查IR摄像机已在多个工业应用中用作远程检查方法[20]。在有毒物质泄漏的情况下，或者在易燃泄漏导致火灾或爆炸风险很高的防爆区，这一要求甚至更为严重[2]。为了实现自动状态监测，另一个重要要求是提供独立于操作员能力或干预的自动泄漏检查机制（要求R2）[21]。自动检查机构劳动强度较低，并且可以永久适用。泄漏检测机制的下一个然而，由于工业环境包括不同类型的噪声，泄漏检测方法的准确度和精度可能受到噪声的影响。因此，所提出的方法在环境噪声方面也应具有稳健性（要求R4）。此外，由于在嘈杂的工业环境中检测小的泄漏液滴特别困难，因此能够检测小液滴（要求R5）以避免由于长时间不可检测的小泄漏而导致的严重损害是重要的由于设备中可能存在多个泄漏，包括设备不同部分的同时泄漏，泄漏检测机制应能够检测多个同时泄漏（要求R6）。检测泄漏后，还应考虑泄漏的定位（要求R7）由于管道泄漏可能是危险液体，因此除了定位外，还必须检测泄漏的轨迹和泄漏的轨迹是重要的，因为这可以提供关于泄漏液滴的路径的附加信息，以便监测可能受泄漏影响的工厂的不同部分M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758760泄漏此外，应在合理的时间段内检测到泄漏（要求R9），以便适用于实际应用，并尽快避免任何严重损坏。最后，检测方法应与管道中液体的物理性质和管道材料无关。因此，它应适用于管道中不同类型的液体（要求R10）其他要求，如固定泄漏位置或量化泄漏液体量，可以在泄漏检测和定位后由操作员手动调查和处理。泄漏量可以根据文献[22]中的各种测量技术进行量化，例如泄漏前后管道中液体量的差异;然而，这不是图像处理技术的重点。这些步骤发生在泄漏检测和定位之后。拟议的泄漏检测机制应满足这些要求，以实现自动和可靠的泄漏检测机制，并尽量减少对环境的危害或损害为了总结本文的目的，得出以下假设将根据评价章节中的要求R1-R10对这些假设（H1、H2和H3）进行评价(1) H1：使用红外摄像机和图像处理有助于自动检漏。(2) H2：利用数据分析、机器学习和图像处理将提供可靠的检查：H2.1：图像处理技术将提供对环境噪声具有鲁棒性的检测系统。H2.2：机器学习和图像分析可以为在合理的时间段内准确检测泄漏提供框架。H2.3：可使用图像处理技术正确检测泄漏液滴的位置和轨迹。(3) H3：通过在大型工业厂房内的固定位置使用多个摄像机，所提出的方法可以扩展到实际应用中。在下一节中，根据规定的要求，对泄漏检测领域的最新文献研究进行了调查3. 泄漏监测与定位技术的发展现状该文献包含管道泄漏检测领域的几项研究。他们提出的技术可以分为三类。在第一组中，过程模型和物理模型用于泄漏检测。物理性质，如管道中液体的速度，考虑了液体、液体的压力和液体的温度，并且导出数学和物理模型以模拟管道中的流动。当管道中液体的物理行为偏离模型时，发生泄漏检测。在用于泄漏检测的第二组现有方法中，物理模型和传感器数据联合用于泄漏检测。首先建立了泄漏的物理过程模型，然后将传感器的测量数据与导出的模型进行比较，对泄漏进行分类。在这组技术中，分类步骤通常由数据驱动的方法完成。在最后一组中，仅使用传感器数据（如压力和流量）和数据分析方法来导出过程模型。导出的模型用于分类的化工厂的条件和异常检测。数据驱动方法相对于物理模型驱动方法的优势在于，后者需要对过程和材料有深刻的理解，以及大量关于它们的先验信息，这通常是不可行的[22]。泄漏检测的另一个挑战是检测小的泄漏液滴。- -对于小的泄漏，标准没有明确的定义，现有的研究对泄漏的大小的测量方法也不同。一般来说，然而，在不同的研究中，使用不同的指标来衡量泄漏的大小。Ostapkowicz[23]将小泄漏定义为管道中总流速的一定百分比，Liu等人[9]将小泄漏定义为泄漏孔与管道直径的一定比率，He等人[24]定义为一定的泄漏体积（即，从孔流出的液体量）作为小泄漏的量度。在本文中，小泄漏被认为是在图像中形成泄漏液滴的像素的最小数目。在以下小节中，将更详细地审查现有的泄漏检测方法。3.1. 物理模型驱动的泄漏检测用于泄漏检测的一些方法基于测量流体流入和流体流出之间的差以及负压波（NPW）。沿管道不同位置的压差传感器测量的显著差异可以指示泄漏[25]。He等人建议将NPW与泄漏的稳态条件结合使用[24]对于泄漏检测，研究人员分析了泄漏量的敏感因素，如孔口尺寸和上下游压力。然而，一般来说，基于NPW的方法对噪声敏感，高度依赖于传感器精度[6]，并且不适合短距离输送管道[6]。Liu等人[9]提出了一种基于压力波幅值衰减模型的动态监测模块，用于大泄漏量的检测;一种基于压力损失模型的静态检测模块，用于小泄漏量的检测。如果压力的幅度衰减小于由数学模型测量的特定值，则检测到泄漏对于小的泄漏，研究人员将工厂区域划分为多个部分，并对每个部分应用压力损失模型，以检测泄漏。Abhulimen和Susu[10]提出了另一种物理模型驱动的泄漏检测方法，该方法使用李雅普诺夫稳定性概念和流量和压力的平衡点在该方法中，泄漏被建模为平衡方程中的一个因素，并且当模型偏离平衡点时检测到泄漏，这使得流动模型不稳定。对于泄漏定位，该方法使用液体中的声速。计算声波信号传播的时间滞后由于研究者假设系统对于任何足够小的扰动都是稳定的，所以用这种方法很难检测小液滴。另一种模拟泄漏特性的方法是管道的声发射（AE）传感器的使用[26，27]。AE方法的主要思想是管道中的泄漏引起湍流，从而导致弹性波通过管道材料传播。该方法非常依赖于管道的材料;因此，很难将其应用于由不同类型材料制成的复杂管道[6]。3.2. 物理模型驱动和数据驱动的泄漏检测方法泄漏检测领域的其他研究使用数据驱动的方法，结合分析和物理模型。Zhang等人[28]提出了一种用于泄漏检测的逆水力和热力瞬态分析方法和改进的粒子群优化（PSO）算法首先，他们引入了一个●●●M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758761利用流量和压力建立了水力和热力学瞬态模型; 2然后，从管道起点和终点的传感器中提取泄漏检测所需的数据。计算数据与实验数据之间的偏差用于泄漏检测。Delgado-Aguiñaga等人[29]使用放置在管道末端的压力和流量传感器以及非线性模型，通过水锤方程和相关扩展卡尔曼滤波器来估计泄漏系数。然而，该方法无法检测来自不同位置的管道的多个同时泄漏。Ostapkowicz[23]使用NPW和梯度方法进行泄漏检测。在压力梯度法中，基本假设是压力沿管道呈线性变化然而，这个假设不能模拟所有的流动动态[9]。Sun和Chang[7]通过信号处理和流量和压力信号的组合用于泄漏检测，扩展了NPW方法当积分信号的衰减大于单个压力信号的变化时，可以检测泄漏及其位置。然而，该方法的精度高度依赖于安装在管道两端的流量计的类型和动态性能此外，该方法不适用于噪声环境或短管道[6]。3.3. 用于泄漏检测的在用于泄漏检测的各种方法中，一些仅使用数据驱动的方法来检测泄漏。Qu等人[30]使用与管道并联的光纤传感器来感测管道的振动应用支持向量机分类器对管道泄漏引起的正常振动和异常振动进行分类。泄漏的位置通过分布式光纤传感器检测然而，该方法不适用于短距离管道。Da Silva等人[31]使用模糊分类器对操作状态和过程瞬变进行分类。流量偏差与操作瞬变之间的Wachla等人。[32]将该方法扩展为使用神经模糊分类器进行泄漏检测。在他们的方法中，管道的区域被划分为子区域，泄漏的位置由一组神经模糊分类器决定。为了检测和定位泄漏，考虑测量流量和预测流量之间的残留量;如果残留量超过一定水平，则检测到泄漏然而，这种方法不能检测小的泄漏，因为在这种情况下，残留物不能代表流量的某些变化。在数据驱动的方法中，一些使用泄漏液体的图像数据他们使用红外 摄 像 机 作 为 外 部 视 觉 检 测系 统 来 监 控 管 道 。 这 个 概 念 是 由Nellis[33]首次提出的，作为监测水渠的一种方式。Nellis[33]对该方法进行了评估，并表明它是一种经济适用的泄漏检测模型然而，他没有使用图像处理来自动泄漏。在Adefila等人的工作中可以找到IR相机在泄漏检测中的另一种应用。[34]。他们考虑了管道的气体泄漏，并评估了红外摄像机捕捉泄漏气体温度变化的灵敏度然而，他们没有提出任何图像处理方法来检测气体泄漏。Atef等人[35]提出了一种自动泄漏检测机制，该机制使用输水管道的IR图像中的图像分析他们将聚类方法应用于图像以检测泄漏。对于泄漏定位，他们提出了一种基于区域生长方法的分割方法。Dai等人[36]提出了另一种基于红外摄像机和图像处理的气体泄漏检测方法在使用自适应维纳滤波器进行降噪之后，移动通过应用改进的Surendra算法来发现区域。他们使用边缘检测方法来定位泄漏区域。Kroll等人[37]使用基于典型气体泄漏的温度分布的二维高斯分布来模拟热成像图像中的泄漏区域。然后，通过图像与所定义的温度分布的互相关来检测泄漏。该方法需要关于泄漏的温度分布的Wang等人[38]使用卷积神经网络（CNN），使用IR图像进行气体泄漏检测，并基于不同的泄漏率对图像进行分类为了降低噪音水平，他们减去不同的背景图像，以提高环境效果。参考文献中的主要假设。[35该假设可以主要针对气体泄漏，或者当图像中的泄漏图案遵循区域增长图案时保持。当泄漏包括不仅在图像的固定区域中并且其图案更像后续图像中的移动对象图案的液滴时，该假设不能成立Araujo等人[39]提出了一种使用热成像和红绿蓝（RGB）相机进行泄漏检测的图像分析技术所获得的图像被组合成单个图像，并用作CNN分类器的输入以识别泄漏。对于图像分析，该方法需要另外的参数，诸如相机与管道之间的距离以及相机的视角在使用热成像视频数据进行泄漏检测的领域中，Fahimipipigalin等人[40]提出了一种基于主成分分析（PCA）和k-最近邻（KNN）分类的方法，以捕获帧中泄漏液滴的特征，并将其分类为正常和异常（包括泄漏）视频。然而，该方法不能检测泄漏液滴的位置。表1[7，9，10，23尽管在该领域已经发表了一些研究，泄漏检测，关于自动和精确的泄漏检测和定位机制，特别是当泄漏很小或同时存在几个泄漏时，仍然存在研究空白，所述泄漏检测和定位机制与化学加工厂中管道内的物质类型无关本文介绍了一种基于分块主成分分析的泄漏检测图像处理方法。PCA是用于图像数据中的降维的已知方法[41]。此外，由于该方法可以在图像中保持最高的对比度和方差，因此它也可以用于后续图像中的变化检测[42]。PCA可以保留由泄漏液滴引起的后续帧中的变化。它可以将高维图像降维到较低的维数，从而降低图像分类的计算复杂度。此外，将图像分成块并使用块PCA使得可以获得关于每个块中的泄漏液滴的详细信息，并且还可以定位泄漏。在本文中，KNN[43]被用作分类器来对图像进行分类（即，图像中的块）为正常（没有泄漏）或异常（包括泄漏）。KNN被称为最简单的分类器，特别是当类不是线性分离的时候，当输入数据的维数很低的时候，它表现得非常好。KNN采用主成分分析作为降维方法，减小了输入数据的规模，具有良好的分类性能。在以下部分中，将更详细地讨论所提出的方法的步骤。4. 利用机器视觉技术实现自动检漏在这一部分中，首先介绍了图像采集、图像预处理、图像分割和特征提取的方法，表1基于定义要求的泄漏检测现有方法分类表方法参考定义的要求R1安全和远程操作R2自动检漏R3准确可靠R4对环境噪声的R5检测小液滴R6多重和同时泄漏R7位置检测与定位R8轨迹和路径检测R9合理检测时间R10适用于不同类型的液体物理模型驱动方法物理模型驱动和数据驱动方法[10]+ o-o +-o[26，27]+ o-+o[24] +o +-o-++[25]++ o o-o +-+ o[9]+ o +-+ o[7]++ o ++ o +-+ o[29]++++°++-OO[23]++O++-+ 的-O- -[28]+++++O+-OO数据驱动方法[31]+ o--o + o o[30]+ o-o-+ o[32]+ o + -o-[33]I 'm sorry.[37]+-o + o o o[34]+-o +-o +-o[35]+ o-o +-+ o[36]+-o +-o o[39]++ o o-o + o ++[40]++++-o-o+[38]++++-o + o ++拟议+办法+：符合要求（赞成）;-：不符合要求（反对）; o：部分考虑但未明确讨论要求M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758762M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758763×××××以建立合适的机器视觉系统。然后，提取的特征被用来分类正常和异常（泄漏）的工厂条件。在以下小节中，将更详细地描述这些步骤。4.1. 图像采集和试验台描述为了将机器视觉技术应用于泄漏检测，本研究提供了一个试验平台。在该试验台中，组装了一个实验室演示装置，包括一个带有集成泵的恒温器，用于通过一系列管道循环水。该示范装置还包括多个世伟洛克接头、附加管路、一个死端和取样阀，以便从不同位置产生泄漏。管道中的一些连接器丢失也可能导致泄漏。管道主要由不锈钢制成，但在两个位置使用柔性橡胶管。为了确保研究人员使用演示器的安全，一个高温开关被调整到50 °C。该试验台是通过与工业合作伙伴的密切合作制成的，以提供工业使用实际案例的实际代表。因此，试验台的条件非常类似于实际工业装置的条件。在该试验台中，使用红外摄像机（TIM 640，Micro-Epperiment，德国）从演示工厂捕获视频数据。这款相机能够拍摄大小640480像素或320像素240像素，温度分辨率75 mK的。由于其他红外摄像机的典型空间分辨率仅为320 240像素，因此目前的空间分辨率对于红外摄像机来说是相当高的，并且使得能够捕获效果小水滴。相机还具有原始数据导出功能以及直接处理实时数据的接口。相机导出的原始数据显示每个像素的温度值。因此，该摄像机可用于在线条件监控也是。这台相机的最大帧速率是每秒25帧。从这个测试床，提供了两个不同的数据集来说明所提出的方法在泄漏检测中使用具有不同质量和大小的不同视频格式的能力。Micro-Episode TIM 640摄像机提供两种不同的视频格式：运动图像专家组4（MP4）和辐射视频文件（RAVI）。因此，第一数据集包括具有320 ×240像素的帧大小的MP4视频，并且第二数据集包括从相机导出的具有RAVI格式和640 × 480像素的大小的在MP4数据集中，每个像素的值提供了对应像素中温度的灰度颜色信息，而在RAVI数据集中，每个像素的值正好是对应像素的温度值。 这两种格式具有不同的帧大小，因此也可以使用不同的帧大小来评估该方法。如图1所示，这两个数据集也具有不同的噪声水平作为不同的帧大小。因此，在评估部分，我们可以针对高噪声视频（即，MP4格式的视频）和较少噪声的视频（即，RAVI格式）。为了提供这两个数据集，在演示装置中生成了具有不同泄漏速度和位置的不同液体泄漏。此外，为了提出一种独立于摄像机位置和角度的泄漏检测方法，从不同的未知角度和距离从演示设备拍摄了不同的视频。在这个测试平台上，一些视频是在该工厂正常运行，没有任何泄漏，而其他视频是在工厂不同位置产生泄漏时拍摄的。不同的泄漏产生于随机位置和随机速度。这种设置的主要动机是，所提出的方法应该能够以任何随机速度检测来自任何随机和未知位置的每个图1.一、（a）RAVI格式的演示装置泄漏样本帧;（b）RAVI格式的样本减影帧;（c）RAVI格式减影帧的缩放区域;（d）MP4格式减影帧的缩放区域泄漏的液滴用实线圆圈标记M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758764f-二阶导数¼f¼.F --一种×f-1。ðÞ数据集分为训练数据集和测试数据集。选择训练和测试数据，使得在两个集合中存在正常和异常视频。尽管有这种情况（即，在训练和测试数据中具有正常和异常视频），随机选择视频用于训练和测试集。图1（a）显示了红外摄像机从实验室演示器上拍摄的不同位置泄漏的样本帧为了揭示帧中泄漏的影响并从帧中去除背景，在每个视频中减去因此，由泄漏引起的后续帧中的变化是可观察的，而背景中的减影帧的样本如图所示。 1（b）. 为了在本文中提供减影帧的更好的可视化，减影帧的背景被示出为白色，并且对象（泄漏液滴）被示出为灰色像素。从该图中可以看出，每个减影帧都包括大量的噪声（更多细节见图1（c）），必须去除这些噪声，以揭示泄漏的影响并提高数据质量，以便进行进一步的数据分析[44]。噪音的影响在MP4格式中变得更加强烈（图1）。 1（d）），由于原始数据的压缩。因此，在这两种情况下，需要适当的数据预处理以减少噪声的影响并提高帧的质量。4.2. 图像预处理在视频预处理的第一步中，将获得的每个视频划分为帧，并减去后续帧，如下所示：转换成一组时间平均帧，并且泄漏液滴可以被看作是这些帧中的条纹线。然而，由于也对k个连续帧中的剩余噪声取平均值，对k个连续帧取平均值将增加时间平均帧中的噪声。因此，为了在时间平均帧中区分泄漏液滴的线与剩余噪声这一预处理步骤很重要，因为管道泄漏通常会随着时间的推移发生垂直运动在该步骤中，考虑具有非零值的每个像素周围的垂直带有了。假设v是水平轴上相应像素的位置，则va;：;va在垂直带的宽度中考虑在水平方向上的相邻像素的数目，其中a是在水平方向上的相邻像素的数目对应像素的右侧和左侧。如果在图像的垂直方向上有q个像素，则垂直带的大小是q × 102a 101。假设泄漏液滴内的像素在垂直带中应该至少有q2个相邻像素;否则，它被认为是噪声像素。图2示出了在MP4格式的样本减影帧的缩放区域中的图像预处理的概要和结果 可以看出，在背景滤波器之后仍然存在一些单个像素，这些像素不是泄漏液滴的一部分（图2）。 2（a）），并且移除这些像素可以揭示泄漏的液滴（图2（b））。虽然取k帧的平均值可以显示一帧中的几个泄漏液滴，但它也增加了时间平均帧中的噪声（图11）。2（c））。因此，需要一个垂直邻域滤波器来区分泄漏的液滴和剩余的噪声（图1）。 2（d））。X. xorgxorg.4.3. 图像分割与特征提取1在图像预处理之后，每个视频都可以作为一组其中xorg和xorg是a的第f个和第（f- 1）个原始帧，ff-1序列，分别具有n帧;xf是减去的帧;索引f是f2;：;n。在减去帧之后，对减去的帧在这项工作中，噪声去除机制介绍了参考。图像（时间平均帧），用于图像分割和特征提取。每个图像可以表示为像素矩阵，如下所示：2x11···x1r32D..q×r[40]被应用于减影帧。在第一步，后退-X四分之六. ... 752R2将地面噪声去除应用于减去的帧，其中定义了某个阈值TA，并且将具有低于该阈值的值的像素设置为零。由于泄漏的液体具有与其周围环境不同的温度，因此由减影帧中的泄漏液滴引起的变化大于背景噪声。因此，泄漏液滴的影响将在阈值滤波之后保留在减去的帧中。在去除背景噪声之后，应用另一个噪声滤波器步骤，即单像素噪声去除。该噪声去除步骤的基本假设是泄漏液滴包括一些相邻像素，不是一个像素在减影帧中，存在具有非零值的一些单个像素，而其所有相邻像素具有零值。这些单个像素通常具有很高的值，因此不能作为背景噪声被消除;因此，它们会影响图像处理的结果。因此，如果像素的所有相邻像素都具有零值，则对应的像素也应该被设置为零。为了揭示泄漏的影响和连续帧中的液滴的运动，需要作为另一个图像预处理步骤的时间操作时间操作通常应用于连续帧，以揭示这些帧中的特定效果，例如对象的运动[14]。本文中使用的时间操作是通过对k个连续的减去和滤波的帧取平均来执行的，其中k是时间帧的数量所得到的帧，其中可以观察到泄漏液滴在k个连续帧上的运动的效果，被称为时间平均帧。在此步骤之后，视频数据可以被控制。xq1···x qr其中x2D表示二维图像，q是垂直方向上的像素数，r是水平方向上的像素数，x qr示出了行q和列r中的像素值，并且R是实数集。由于像素（特征）的数量很大，并且由于在图像分析中考虑所有像素将增加计算复杂性，因此需要精确的特征提取机制。通过使用特征提取，最相关的像素（指示泄漏）及其效果将被保留，而不必要的像素将被消除。然而，在特征提取之前，需要适当的分割将图像划分为有意义的区域。这种分割不仅有助于泄漏检测，而且有助于泄漏定位和泄漏液滴的轨迹检查。在分割之后，特征提取可以应用于每个段。对于图像分割，将平均时间帧划分为块。每个块具有L L像素的大小，其中L是块的水平和垂直方向上的像素的数量。样本时间平均帧中的块在图3中被示出为网格线。在该图中可以观察到三个不同位置的三个泄漏（标记为1、2和3）。如果B1是垂直轴上的块数，B2是水平轴上的块数，则在图像已经被转换成块之后，等式（1）中的每个图像矩阵都被转换成块。（2）可以表示为以下矩阵：M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758765块×块2x1D62[1/2b1-1×L1][1/2b2- 1×L 1]·· ·块121212123¼Σ½ð-×]½-×]½-×]½ ×]x1D7图二、减样帧中缩放区域的噪声去除机制步骤（a）去除背景噪声后的剩余噪声单个像素用虚线圆圈标记。(b)移除单个像素的效果。(c)时间平均帧。泄漏的液滴形成条纹线;然而，噪声也增加了。垂直带显示为像素周围的虚线泄漏液滴在垂直带中具有比噪声像素更多的邻居（d）消除垂直噪音的效果在垂直带中没有足够的非零邻居的像素被设置为零。2 2x11···x1L3....2x1½B2-1×L1]·· ·x1r33.. ..主成分分析是一种线性坐标变换，664... 75·· ·四六。.. 75 7将多维数据集转换为较低维数据集。假设2D6xL1···当地雇员人数..xL½B2-1×L1]·· ·XLR.7q×r训练视频的时间平均帧中的一个异常块X1/4。. .6 2...2R3 7..可以表示为以下矩阵：6x½B1-1×L1]1·· ·x½B1-1×L1]L32x½B1-1×L1]½B2-1×L1]·· ·x½B1-1×L1]r72x3X...长×长xq1···xqLxq½B2-1×L1]·· ·xqrð3Þ2D块四分之六4x. ..X752R4每个块可以表示在等式1中的图像矩阵的特定范围中。（3）（图3）。这个公式表明，其中x2D½b1×L]½b2-1×L1]·· ·½b1×L]½b2×L]表示块的二维图像;b1矩阵可以划分为块的区域;因此，每个块可以被视为一个单独的图像矩阵，大小为L L（除了时间平均帧右侧的最后块，其可能具有较小的大小）。因此，这种分割使得可以仅考虑包括泄漏液滴的块并从图像中提取它们。为了提供合适的块集合，使用训练数据由于泄漏的位置在培训视频中是已知的，因此可以选择并从异常块（具有泄漏的块）中提取和b2分别是垂直和水平轴上的块的索引为了计算该块的PCA，首先需要转换等式（1）中的二维图像矩阵。（4）通过将所有L行放置在一行中，将其转换为单行向量（序列化），如下所示：x1Dxb1L 1B1L 1;：;xb1L 1 b L;：;x<$b×L]<$b-1<$×L<$1];：：;x<$b×L]<$b×L]<$2RL×L<$5培训视频因此，训练数据可以表示为一组异常块和一个正常块（图4）。异常块是包括泄漏的块，其可以从不同的异常视频（具有泄漏的视频）中提取。可以从正常视频中选择正常块而没有任何泄漏。应该注意的是，从特定训练视频中提取的每个块包括相同数量的时间均值。其中x1D是图像矩阵的一维行向量。由于每个视频包括N个时间平均帧，因此每个块也包括N个时间平均帧。块中的每个时间平均帧因此，在块内存在N个数据样本因此，一个训练视频中的一个块的数据矩阵可以写为：对应视频中的帧。在将训练数据转换为异常块集合和一个正常块之后，需要进行适当的特征提取x1D网站地图6块27N×L×L×L以从所选择的块中提取最相关的信息然后，可以将块的集合转换为特征的集合为X块¼4.R.5ð6Þ为此，可以使用PCA作为特征选择方法。在中国，6464.......75·· ·64...75751/2b1-1/2×L1/2b2×L.M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758766块01T图3.第三章。样本时间平均帧与三个不同的泄漏。分割（块）用实线示出每个块在图像矩阵的特定范围内表示 图像矩阵（右侧）可以划分为块的区域;因此，每个单独的块可以被视为单个图像和大小为L × L的图像矩阵。 B1是垂直轴中的块数，B2是水平轴中的块数。见图4。提取特定块后的训练数据。(a)训练数据可以简化为一组包括泄漏滴的异常块。这些是从不同的异常视频中获取的，并且在相应的视频中包括相同数量的时间平均帧。(b)一个正常的块没有任何泄漏。每个块在对应的视频中包括相同数量的帧。其中，X表示块，x1D电子邮件N 代表第N项-X块2RN×NL×L 可以转换成新的数据矩阵块X块中的平均帧。图4中的每个框可以表示为等式（Eq. （6），其具有L×L特征（像素）。0块2RN×H，具有较低的维数，如下所示：在将块转换成一组数据样本和数据矩阵之后，可以通过对每个块使用PCA来进行特征提取0块¼X块P块2RN×H8矩阵利用主元分析法，通过计算下式，实现了从系统X块到新系统Z块的线性坐标变换Z块1/4X块P块1/7其中P块是变换矩阵，其列是新系统的基向量。在主成分分析中，考虑数据矩阵的协方差矩阵以获得基向量来形成转化。 假设RX¼X座 X是在这种变换中，块内的所有帧都是trans-frame。组成了新航向乐团 在Eq.可以对图4中的所有训练块进行（8）。因此，如果在训练视频中存在l个块（其中l是块的数量）（包括具有泄漏的块和一个正常块），则将存在l个变换矩阵和l个变换矩阵。在图5中示出了块内的样本帧的变换的样本结果。在该图中，变换后的矩阵被可视化为条形图。由于每个块显示不同的形状和强度的数据矩阵X块N-1块像素，应计算不同的主成分块利用协方差矩阵的特征向量分解可以得到变换矩阵。形成矩阵P块[44]。如果p块 i2P块是第i个特征向量每个街区。这个概念在本文中被称为“块PCA”（图6）。表示训练块中的块10块101/4 1;：：：;块1 0块1协方差矩阵RX块，对应的特征值kblock_i作为Xblock（10）_train;相应的变换矩阵和0表示将数据矩阵Xblock变换到方向pblock_i之后的数据方差。这意味着具有较大特征值的特征向量可以在变换后保持块中的高方差和协方差。在以降序k块1>·· ·>k块L× L ×L的方式重新排列特征值并相应地对特征向量进行排序之后，可以通过变换为第一特征向量来捕获主要的数据变化。在这种情况下，前H个特征向量（其中H是所选特征向量的数目）可以形成变换转化矩阵是表示作为P块kl0列车和Z块k分别为10和20。在将一组块定义为训练集之后，定义一组变换矩阵S（图6（b））。此外，每个块中的所有帧应该被变换（映射）到对应块的计算出的主分量的方向。图6（c）中示出了来自每个块的样本变换（映射）帧的集合。集合S和集合Map（包括变换的帧）是其余的映射的基础。基质，P02R<$L×L<$H，其中H（L×L）. 因此，每个区块分析和分类。ZZ块M. Fahimipipipipigalin，E.Trunzer，M.Odenweller等人工程7（2021）758767值得注意的是，对于正常块，由于该块内的所有像素都为零，因此不存在变换矩阵和变换矩阵。然而，为了保持文本中的一致性，术语“变换矩阵”用于所有块;在本文中需要区分正常块的操作的任何地方，都将明确提及。在准备好训练数据之后，对测试