DPIVSoft-OpenCL：用于2D粒子图像测速的多核，并行化原始Matlab代码的开源实现

软件X 20（2022）101256原始软件出版物DPIVSoft-OpenCL：用于2D粒子图像测速的多核Jorge Aguilar-Cabello，Luis Parras，Carlos del Pino安达卢西亚科技公司，Universidad de Málaga，Escuela de Ingenierías Industriales，Ampliación Campus Teatinos，29071，Málaga，西班牙ar t i cl e i nf o文章历史记录：2022年3月28日收到收到修订版，2022年9月6日接受，2022年保留字：PIV流体力学流速仪Open-CLGPUPythona b st ra ct我们提出了一个翻译的原始Matlab DPIVSoft代码在Python中实现的一个完整的开源代码，执行粒子图像测速（PIV）在二维，并行，并与询问窗口移动以及双通窗口变形方法使用多次迭代，每次通过。代码的附加价值是使用开放计算语言（OpenCL）库在多个英特尔中央处理器（CPU）和/或图形处理器（GPU）上并行化原始代码，因此可以在所有商用GPU上运行。本文中包含了流应用程序的示例，使用从John Hopkins Turbulence Database（JHTD）（Perlman，2007）的DNS数据生成的合成图像，对于给定的测试用例，显示出比以前的Matlab实现约90倍的加速©2022作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本0.2.2用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00074可复制胶囊的永久链接GNU通用公共许可证（GPLv3）使用git的代码版本控制系统软件代码语言，工具和服务使用python，OpenCL。编译要求、操作环境依赖性通过pip自动安装https://pypi.org/project/dpivsoft/如果可用，链接到开发人员文档/手册https://gitlab.com/jacabello/dpivsoft_python/-/tree/master/dpivsoft/Examples/问题支持电子邮件jacabello92@gmail.com1. 介绍关于数字粒子图像测速（DPIV）系统及其不确定性量化的描述性工作已经迅速扩展，并且来自具有更高空间分辨率的数码相机的大量数据非常显著地增加[1，2]，甚至使用移动应用程序[3]。然而，据我们所知，还没有开发出DPIV开源代码来在任何计算平台上运行，包括使用开放计算语言（OpenCL）的中央处理单元（CPU）和图形处理单元（GPU）[4]。OpenCL的使用已应用于计算流体动力学[5]，但据我们所知，用于运行DPIV的OpenCL开发并不多[6，7]。虽然*通讯作者。电子邮件地址：lparras@uma.es（Luis Parras）.https://doi.org/10.1016/j.softx.2022.101256是关于用于层析PIV的OpenCL代码的开创性研究工作，但没有提到如何访问代码[6]。其他使用OpenCL开发的PIV是QuickLab PIV-ng。该软件包括一个图形用户界面（GUI），基于OpenCL的PIV代码[7]，但不幸的是，这是一个正在进行的项目。还有其他开源替代品来执行DPIV，如PIVlab [8]，JPIV [9]或OpenPIV [10，11]。OpenPIV源代码也是用Python编写的[10]，GPU的交叉相关算法，并在过去几年中积极发展。OpenPIV允许预处理图像处理、速度计算和PIV数据的后处理。这种软件架构既基于Python本身的快速开发，也基于快速高效的执行。GPU加速的PIV算法已作为OpenPIV的一个模块添加，可用于任何NVIDIA GPU系统。可以使用PyCUDA API将OpenPIV Python源代码与GPU连接[12]。同样的OpenPIV代码已经成功地2352-7110/©2022作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxJorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012562+×Fig. 1. DPIVSoft算法方案。适用于多个NVIDIA GPU的使用[13]。最近，已经开发了其他大规模并行光流方法，这些方法允许PIV处理，其产生的误差与上述程序[14]相当。例如，在GPU上开发的FOLKI-PIV允许相对于CPU版本加速50倍，并且它提供了与DPIVSoft非常相似的结果[15，16]。DPIVSoft软件由Patrice Meunier Thomas Leweke开发[17]。该程序使用图像变形、多次迭代和亚像素精度执行双通道算法，并使用窗口移位，已证明可准确再现各种高速梯度的涡流[18，19]。因此，从代码中获得的速度场应该对检测流体流内部的涡流感兴趣[20]。但是，我们发现原始代码DPIVSoft中有两个可以改进的缺点。首先，它是用Matlab编写的，每个许可证价格高昂的专有软件。其次，尽管该软件提供了高计算速度，但它并不是针对并行执行和并行计算两种情况进行优化的。GPU。然而，鉴于PIV算法和当今可用的GPU的性质，性能的提高可能 是压倒性 的。出 于上述两个 原因， 我们描述 了一个（GPU ） 加速DPIV 算法使用 DPIVSoft 的基础上， 这种发展（DPIVSoft-OpenCL）。虽然软件可以使用任何图像生成器进行测试[21]，但我们已经使用直接数值模拟（DNS）[22]的理论数据和速度场的合成生成图像严格验证了算法。2. 软件描述2.1. 基于窗口变形的该算法包括一个多通道的方法与窗口移位使用图像变形，使窗口变形，我们在每对窗口上执行互相关，并且使用三点高斯拟合估计器以亚像素精度定位互相关峰值[23]。这些询问窗口中的每一个都被归一化，使得可以在相关峰上使用噪声-峰验证一旦获得速度场，我们通过中值滤波器去除奇值。使用滤波后的速度场的梯度来执行图像变形，该梯度利用一个模糊过滤器来平滑结果。变形的询问窗口被用作互相关的新输入。我们重复这一过程，以改善最终的速度场，如图1的流程图所示。1.一、图像变形以对称的方式进行，即，在时刻t和t dt的图像分别被变形位移这种选择相当于时间上的二阶离散化。我们使用双线性插值来获得更精细网格中的速度场，其中再次重复处理以获得最终的速度场。我们还仅在第一次迭代中对图像应用了高斯模糊滤波器，以增加包含小颗粒的图像的相关峰[17]。我们还实现了一个掩模工具，其中每个相关窗口的掩蔽区域填充有相同相关窗口的未掩蔽区域的平均强度，以改善峰值检测[24]。2.2. 多核加速：OpenCL这些代码是使用OpenCL开发的，OpenCL是一种开放语言，允许在AMD和NVIDIA GPU上并行化[4]，但相同的代码甚至可以在CPU上并行运行而无需任何修改，如下所示。CPU上使用的托管平台是Python，这是一种越来越流行的语言，具有广泛的库支持，并且与Matlab编写的原始代码平台不同，它是开源的。第一步是使用Python中的OpenCV库读取这对图像。这一步是在GPU上加载大型图像进行计算时的主要瓶颈。这一过程可能需要高达40%的GPU上的总处理时间。 为了提高DPIVSoft-OpenCL代码的性能，除了第一对图像外，以下图像对在图像处理期间异步加载。在算法完成之前，不需要与CPU进行进一步的计算的并行性意味着必须同时将所有询问窗口和中间结果保存在存储器中。每个图像对被划分为具有灰度级光强度值的NX1Ny1个像素的k1个这种除法依次存储在两个矩阵中，Jorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012563××××××==××∈ []τ==√×λ·− + −]X维数Nx1Ny1k1。每个像素由不同的线程写入其GPU内存位置，以提高计算速度。对于第二遍，两个新的Nx2矩阵纽约2号k2用于存储已经变形的相关窗口。为了优化代码的内存需求，这些矩阵以及第二步所需的所有中间变量都指向与第一个网格中使用的相同的实际内存分配GPU中使用的所有矩阵都是单精度的，以免影响性能。此外，当使用Matlab和Python版本的DPIVSoft将GPU上的单精度设置与双精度设置进行比较时，对结果精度的影响几乎可以忽略不计。我们已经并行化了图中所示的大部分操作。 1，但有三个例外：图像预处理（掩模，高斯滤波和分割的原始图像到相关窗口）是并行的像素级。在窗口变形过程中，代码在像素级并行化（每个核心变形一个像素）。互相关所需的傅立叶变换是使用Reikna库执行的，该库根据输入的大小具有不同的并行算法。3. 验证3.1. 来自理论和DNS及PIV误差的合成图像我们比较准确的速度场平均在每个查询窗口的PIV代码应用于合成图像所获得的结果。图像由内部代码生成，该代码使用点的随机分布创建8位图像。使用高斯光强度分布产生颗粒，如[2]中所建议的，其中y是垂直坐标，A是位移的幅度，λ是空间波长，位移仅影响x方向（ex）。振幅A固定为2个像素，波长选择为λ32， 1024。用分析速度场创建合成图像，然后用DPIVSoft-OpenCL使用双通道窗口变形方法进行处理，第一和第二通道的窗口大小分别为64× 64像素2和32 × 32像素2结果示于图 2：与实际速度（a）和DPIVSoft-OpenCL代码的频率响应（b）给出的速度曲线相比，DPIVSoft-OpenCL代 码 计 算 的 速 度 曲 线 。从图中可以看出。2（a）最大位移和最大剪切通过DPIVSoft-OpenCL代码很好地计算了波长λ1024.图2（b）显示该算法的传递函数是与空间滤波相关的最重要在最后一个图中，我们给出了DPIVSoft获得的平均最大位移相对于合成图像中施加的实际最大值（A2像素）的比率，用于询问窗口大小相对于波长的不同比率。将平方结果与理论相关算子进行比较，理论相关算子可以通过简单的移动平均值近似，其值可以计算为基数正弦曲线[25]。3.3. 均匀浮力驱动湍流本节所示的结果来自尺寸为2 π 2 π的立方域上均匀浮力驱动湍流的DNS数据2 π使用1024 3 3D中的点周期网格所求解的方程是两种流体的不可压缩I（x，y）=Ioexp[−（x xo）2 （y yo）2d2/8，（一个）用于解决DNS问题的代码在[26]中描述，它使用随机blob初始化。模拟的雷诺数为12500，其中dτ是位于（x0， y0）处的颗粒的直径，Io的峰值强度。强度I0和粒径d τ是平均值和标准差分别为（200，80）和（2，0）的随机变量。（5）分别。示踪剂沿着图像随机放置，密度为0.05个粒子/像素。与在同一点ve处提供的精确（理论或DNS）矢量相比，在给定点n处的单个2D PIV结果的误差ΔPIV，v（un，vn（ue，n，ve，n），以像素为单位定义作为PIV=（un−ue，n）2+（ vn−ve，n）2.（二）为了根据理论或DNS速度结果计算精确的速度场，对询问窗口内所有点的速度场进行平均，以获得直接位于盒子中心的x和y这个过程等效于执行箱平均速度场，这将是完美PIV处理的预期结果3.2. 基本流量第一个测试用例将是该方法的（理论）空间波长响应，最初由Scarano和Riethmuller [25]介绍，后来被其他作者用作基准[13]。本测试可用于评价DPIVSoft-OpenCL代码的频率响应。使用正弦位移场生成合成图像u=Asin（2πy）e，（3）从静止开始，然后由于浮力产生的差异运动而产生湍流，之后由于湍流耗散而产生能量衰减。对于这里的例子，选择了一个中间解，因此流动具有多个低尺度涡，由于分辨率的原因，用PIV测量来表征这些涡非常复杂对于这种情况下，我们使用2048 - 2048像素2的合成图像。在10242网格中的速度的模拟结果通过插值映射到生成的图像的20482像素上。然后，我们创建了一个具有最佳密度的粒子正态分布在下一张图中，每个粒子都被移动了。照明或运动没有变化 因此，在这种情况下，唯一的误差来源是PIV算法本身。涡度如图所示。图3（a）示出了流动模式的复杂性。（b）中描述了以像素为单位的误差，即DPIV-PIV，而我们使用合成图像（d）呈现了来自DNS（c）和DPIVSoft-OpenCL的结果。表1显示了关于框大小和迭代的不同参数的像素误差（平均值、最大值和标准差）。虽然我们在整个空间域中精确地进行了整体速度场的计算，但比较图1和图2，在图3（c）和（d）中，观察到存在非常小的区域，其具有如图3（b）中可见的像素中的大误差或表1中的像素中的最大误差。这些大的PIV值强烈依赖在空间分辨率和合成图像上，···Jorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012564=图二. （a）使用DPIVSoft-OpenCL计算的ux速度分布与实际速度给出的速度分布的比较示例。这个速度场的频率是1024像素（b）DPIVSoft-OpenCL代码的频率响应表1针对浮力引起的湍流以及不同箱体尺寸和通道的PIV误差（以像素为单位）。Boxes size（pixels2）Iter Error in pixels是说Max标准品（σ）1280.161.90.2020.151.80.20第640.112.310.1220.102.300.11一.第320.111.450.0920.101.820.08它们出现在小范围内。我们已经发现，CMPIV是相关的最大速度差内的询问框的措施。决定系数为R2.0. 33对于这种强混合主导的流动。这将是有趣的，以确定在PIV算法的误差来源与迭代窗口变形在未来的研究，因为它超出了这项工作的范围。4. 性能我们已经测试了使用并行DPIVSoft-OpenCL加速实现的性能提升。如下所述，这段代码最初是在Matlab中开发的，但它已被移植到Python和OpenCL。因此，我们可以同时为给定的CPU或多个GPU我们使用了两GPU工作站进行测试。第一个（WP 1）是Intel i7-4770（4核8线程 ） 和 NVIDIA GeForce GTX 780 ， 具 有 3 GB RAM 和 2304CUDA核心。第二个工作站（WP 2）是AMD-Ryzen 9 3950 X（16个核心和32个线程）和NVIDIA Geforce GTX 3070（8 GBRAM和5888个核心）。计算在OpenCL 1.2中执行，这是支持两种GPU的最新版本。一旦我们描述了GPU和CPU的主要特征，我们将描述使用DPIVSoft-OpenCL获得的计算时间的改善。为此，我们使用代码允 许 的 所 有 可 用 技 术 ： Python 、 Matlab 、 Python+OpenCL（CPU）和Python-OpenCL（GPU），针对两个不同的工作站（Python实现是最慢的一个），在第二遍中测量了不同相关框总数的每个图像对的平均计算时间。平均时间是从每种情况下50个图像在所有情况下，对于第一和第二遍，相关框的大小分别为32x32像素2和16x16像素2图4.我们展示了DPIVSoft-OpenCL在两个不同工作站上的不同实现在WS1（实线）中，我们比较了IntelPython、Intel OpenCL和NVIDIA GPU与OpenCL的平均计算时间与在Matlab中执行原始代码的平均时间可以看出，对于小图像来说，加速几乎可以忽略不计，对于使用Python的Intel CPU来说，这表明Matlab比Python代码快6倍左右。我们使用Intel i7CPU的总内核数执行了相同的计算，其行为与使用Python的结果非常相似，最大图像达到了平台，因此对于同一图像，加速大约是Matlab处理时间的4.8倍。另一方面，使用GPU的加速比随着图像大小的增加而不断增加，直到达到约45对于大于5 Mpx的图像，相对于Matlab中的原始实现。最后，由于NVIDIA卡的RAM尺寸减小，最后一点无法计算。我们用第二个工作站WS2重复该过程（图2中的虚线）。 4）. 结果AMD CPU与Python达到一个高原的图像大于2 Mpx的约4.5倍慢于Matlab版本的代码。我们无法测量DPIVSoft-OpenCL在这16线程AMD CPU中的加速，因为AMD不支持其处理器的OpenCL库在最后一个工作站中，带有OpenCL的NVIDIA卡能够产生大约90的加速比为了完成与其他开源 代 码 的 另 一 方 面 ， OpenPIV-Python 的 Python 版 本 相 对 于DPIVSoft-Python版本产生了1.65的加速比。5. 影响本研究的主要重点是将原始DPIVSoft Matlab代码[17]改编为完全开源的软件，使用Python和OpenCL，以便它可以在任何品牌的IntelCPU或GPU上并行运行该原始软件已成功用于表征二维尾涡[19，27]，以及使用旋转流的其他应用[28]。我们的开源代码的有效性通过以下里程碑来证明：它可以使用不同品牌的GPU（NVIDIA，AMD甚至是未来的英特尔®产品）或多个英特尔CPU运行。此外，相关的代码是证明了一个急剧减少的计算时间Jorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012565×××图三. 来自DNS数据的涡度（a）、2D速度场估计中的误差PIV（以像素为单位）（b）、均匀浮力驱动湍流的DNS数据的ux速度场（来自JHTD）（c）以及使用DPIVSoft-OpenCL从合成图像获得的结果（d）。见图4。DPIVSoft-OpenCL不同实现的性能比较。用两个复杂的问题来达到同样的结果。这种性能改进，以及上述在不同的平台上运行的能力，使该程序的应用程序在流体力学或实时速度测量应用程序的任何实验设置测量速度场的一个很好的工具，作为0.12秒的计算时间实现2048像素2图像。遗憾的是，无法测试实时能力，因为程序是为离线处理而实施的，即图像由外部程序捕获，然后由DPIVSoft-OpenCL软件处理。值得一提的是，近期其他光流软件，即FOLKI-PIV，在不同的工作站和不同的设置中以0.04 s的时间产生相似的结果。这一事实意味着光流相关技术的实现可以进一步提高代码DPIVSoft-OpenCL的当前版本的效率。作为最终结果，我们在表2中列出了代码的性能摘要以及其他开源PIV处理程序，这些程序用于相同的设置：图像大小为20482048px2，两个通行证，第一个与3232和第二个是16个16 ×2的询问窗口，并且有50%的重叠。6. 结论我们将广泛使用的Matlab代码DPIVSoft移植到Python中的一个完全开源的替代方案，它使用OpenCL库来加速CPU和GPU中的处理。Jorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012566×表2与其他开源PIV处理程序一起提供的代码性能汇总表对 于 2048 2048 px2 图像，两次通过，第一次有32个询问窗口，第二次有16个询问窗口，50%重叠。代码语言CPUGPURMS误差（px）运行时间（s）参考DPIVSoft-MatlabMATLABX0.089.91[17个]DPIVSoft-pythonPythonX0.0663.77电流DPIVSoft-OpenCLPython-OpenCLX0.101.49电流DPIVSoft-OpenCLPython-OpenCLX0.100.18电流PIVLabMATLABX0.063.35[八]《中国日报》OpenPIVPythonX0.1338.61[10个国家]这种实现方式有很多优点：它可以安装在任何工作站或集群中，代 码 可 以 通 过 使 用 Intel CPU 或 任 何 可 用 的 GPU （ AMD ，NVIDIA或Intel卡）来加速。我们使用两种流中的合成图像测试了该算法：（i）一维正弦位移，以检查PIV代码的频率响应，以及（ii）JHTD的二维DNS代码;混合浮力流，具有非常复杂的我们已经检查了GPU实现与原始代码具有相同的精度。另一方面，当使用GPU时，性能会大幅提高，这通常会随着图像的大小而增加这种实现的缺点是需要大量的RAM来运行GPU上的所有计算，而无需与主机通信。在任何情况下，利用本实施方式，代码能够加速到一些旧NVIDIA卡（Geforce GTX 780）中的原始Matlab代码的48 倍， 并 且最多 加速 到200 倍。94 次在 较新 的 NVIDIAGeforce GTX 3070卡。这个结果非常有用，因为在过去的几年里，PIV图像的大小有所增加，新的GPU卡的计算能力也有所增加DPIVSoft-OpenCL实现对于更大尺寸的图像效果更好，因此我们期待在未来的GPU卡中获得更好的结果。DPIVSoft-OpenCL的第一个版本可以更新，包括预测位移场的滤波器[29]和其他类型的图像掩蔽以及扩展到立体PIV应用的第三维。竞合利益作者声明了以下可能被视为潜在竞争利益的经济利益/个人关系：Jorge Aguilar-Cabello报告称，西班牙政府经济与竞争部通过项目DPI 2016 -76151-C2-1-R提供了财政支持Luis Parras报告说，马拉加大学通过项目B4-2019-11，0837002010提供了财政支持数据可用性数据将根据要求提供。致谢这项研究得到了西班牙经济和竞争部的一项资助（资助号：DPI 2016 -76151-C2-1-R），部分得到了马拉加大学的项目B4-2019-11，0837002010和Ministerio de Ciencie Innovación的项目PID 2021 - 124692 OA-I 00的支持。作者要感谢Patrice Meunier对原始DPIVSoft算法的富有成效的讨论以及对手稿最终版本附录A. 补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.softx.2022.101256上找到。引用[1] 阿德里安·RJ二十年的粒子图像测速技术。Exp Fluids 2005;39：159-69.http://dx.doi.org/10.1007/s00348-005-0991-7网站。[2]Raffel M，Willert CE，Scarano F，Kähler CJ，Weidy ST，Kompenhans J.Particle image velocimetry ：a practical guide. Springer; 2018， http：//dx.doi.org/10.1007/978-3-319-68852-7网站。[3]Minichiello A ， Armijo D ， Mukherjee S ， Caldwell L ， Kulyukin V ，Truscott T等人开发基于移动应用程序的粒子图像测速工具，用于增强流体力学的教学和学习：基于设计的研究方法。计算机应用工程教育2020;1-21.http://dx.doi.org/10.1002/cae.[4]石杰，五原D，石G。 OpenCL：一种并行编程标准用于异构计算系统。Comput Sci Eng 2010;12（3）：66-73. http://dx.doi.org/10.1109/MCSE.2010.69网站。[5]李文忠，李文忠，李文忠.在图形硬件上基于OpenCL的非结构化基于边的有限元对流扩散求解器的实现。Internat J Numer Methods Engrg 2012;89：1635-51. http://dx.doi.org/10.1002/nme.3302网站。[6]Lozhkin VA，Lozhkin YA，Tokarev MP.高性能计算平台在层析粒子图像测速中的应用。NumerMethods Program2012;13（1）：20-7.[7]Mendes L ， Ricardo A ， Ferreira RML. 可 定 制 的 开 源 软 件 平 台 。 在 ：Hydrosensoft，关于水文环境传感器和软件的国际研讨会和展览。2019年，第1-8号。[8] 放 大 图 片 作 者 ： J. PIVlab -J Open Res Softw 2014;2 （ 1 ） ：pe30.http://dx.doi.org/10.5334/jors.bl网站。[9]Okamoto K，Nishio S，Saga T，Kobayashi T.粒子图像测速的标准图像。Meas Sci Technol 2000;11 （ 6 ） ： 685-91. http://dx.doi.org/10.1088/0957-0233/11/6/311。[10]陈文辉，陈文辉. 研究非定常空气动力学的长时间时间分辨PIV。IEEE跨仪器测量2010;59（12）：3262-9 。http://dx.doi.org/10.1109/TIM.2010.2047149网站。[11]吴晓刚，王晓刚，王晓刚. OpenPIV-MATLAB-一个用于粒子图像测速的开源软 件 ; 测 试 用 例 ： 鸟 类 的 空 气 动 力 学 。 Softw X 2020;12 ： 100585.http://dx.doi.org/10.1016/j.softx.2020.100585网站。[12][10] Klöckner A ， Pinto N ， Lee Y ， Catanzaro B ， Ivanov P ， Fasih A.PyCUDA和PyOpenCL：基于脚本的GPU运行时代码生成方法。并行计算2012;38（3）：157-74. http://dx.doi.org/10.1016/j.parco.2011的网站。九点零一分[13]Dallas C，Wu M，Chou V，Liberzon A，Sullivan PE.图形处理单元加速的开源粒子图像测速软件，用于高性能计算系统。ASME J Fluids Eng 2019;141（11）：111401. http://dx.doi.org/10.1115/1.4043422网站。[14]Plyer A，Le Besnerais G，Champagnat F.用于实时视频处理应用的大规模并行 Lucas Kanade 光 流 。 J Real Time Image Process 2016;11 ： 713-30.http://dx.doi.org/10.1007/s11554-014-0423-0网站。[15]Champagnat F，Plyer A，Besnerais GL，Leclaire B，Davoust S，Le Sant Y.使用高度并行的迭代相关最大化快速精确的PIV计算。J Real Time ImageProcess 2011;50（1169）. http://dx.doi.org/10.1007/s00348-011-1054-x。[16]Giannopoulos A，Passaggia P，Mazellier N，Aider J.关于粒子图像测速中光流 和 互 相 关 的 最 佳 窗 口 尺 寸 ： 湍 流 应 用 。 Exp Fluids 2022;63 （ 57 ） .http://dx.doi.org/10.1007/s00348-022-03410-z。[17]Meunier P，Leweke T.粒子图像测速中高速度梯度误差的分析与处理。ExpFluids 2003;35：408-21. 网址：//dx.doi.org/10.1007/s00348-003-0673-2网站。[18]Albrecht T，Blackburn HM，Lopez JM，Manasseh R，Meunier P.旋进快速旋 转 圆 柱 流 中 的 三 元 共 振 。 JFluidMech2015;778 ： R1-12.http://dx.doi.org/10.1017/jfm.2015.377网站。[19]García-Ortiz JH，Domínguez-Vázquez A，Serrano-Aguilera JJ，Parras L，del Pino C.雷诺数对翼尖涡流理论模型影响的补充数值和实验研究。计算流体2019;180 ： 176-89 。 http://dx.doi.org/10.1016/j.compfluid 的 网 站 。2018.12.009。Jorge Aguilar-Cabello、Luis Parras和Carlos del Pino软件X 20（2022）1012567[20]杨晓梅，杨晓梅，杨晓梅. VortexFitting：用于涡流识别的后处理流体力学工具Softw X 2020;12：100604.网址：//dx.doi.org/10.1016/j.softx.2020.100604网站。[21]Mendes L，Bernardino A，Ferreira R. PIV图像生成器：用于平面PIV和光流基 准 测 试 的 图 像 生 成 软 件 包 。 SoftwX2020;12 ： 100537.http://dx.doi.org/10.1016/j.softx.2020.100537网站。[22][10]李勇，李勇，李伟.使用数据库集群进行湍流模拟的数据探索。SC '07：2007 年 ACM/IEEE 超 级 计 算 会 议 论 文 集 。 2007 年 ， 第 1-11 页 。http://dx.doi.org/10.1145/1362622.1362654.[23]Westerweel J.数字粒子图像测速：理论与应用。北京：清华大学出版社.[24] 放 大 图 片 作 者 ： J. M.静 止 界 面 附 近PIV 图 像 查 询 的 改 进 。Exp Fluids2008;45 （ 4 ） ： 557-72 。 http://dx.doi.org/10.1007/s00348-008-0481-9 网站。[25] Scarano F ， Riethmuller ML. 迭 代 多 重 网 格PIV 图 像 处 理 的 进 展 。 ExpFluids 2000;29：S051-60. http://dx.doi.org/10.1007/s003480070007.[26]李伟杰，李伟杰，李伟杰. CFDNS：湍流直接数值模拟的计算机程序。技术报告，洛斯阿拉莫斯国家实验室; 2009年，LA-CC-09-100。[27]García-Ortiz JH，Blanco-Rodríguez FJ，Parras L，del Pino C.低雷诺数时展向吹气对翼尖涡发展影响的实验观察。Eur J Mech B/Fluids 2020;80：133-45.http://dx.doi.org/10.1016/j.euromechflu.2019.12.007网站。[28]Serrano-Aguilera JJ，Parras L，del Pino C，Rubio-Hernandez FJ.流变PIV®的AerosilR816/聚丙二醇混悬液。 J非牛顿流体机甲2016;232：22-32. http://dx.doi.org/10.1016/j.jnnfm.2016.03.015网站。[29] Schrijer F，Scarano F.预测-校正滤波对迭代PIV询问的稳定性和空间分辨率的 影 响 。 Exp Fluids 2008;45 ： 927-41. http://dx.doi.org/10.1007/s00348-008-0511-7网站。