相位图检索：软件X中的条纹投影和离轴数字全息测量工具

软件X 13（2021）100652原始软件出版物用于条纹投影轮廓测量和离轴数字全息干涉测量的相位图检索Parsa Omidia，b，1，Lawrence C.M.叶a，c，1，王辉a，b，马马杜·迪奥普a，b，c，杰弗里·J·LCarsona，b，c，da成像项目，Lawson健康研究所，268 Grosvenor Street，London，ON，N6A 4V2，Canadab西部大学生物医学工程学院，1151 Richmond Street，London，ON，N6A 3K7，Canadac医学生物物理学系，医学和牙科学院，西方大学，1151里士满街，伦敦，ON，N6A 3K7，加拿大d西方大学Schulich医学和牙科学院外科系，1151 Richmond Street，London，ON，N6A 3K7，Canadaar t i cl e i nf o文章历史记录：接收2九月2020收到修订版2020年12月19日保留字：相位恢复三维表面成像条纹投影轮廓术离轴数字全息干涉测量a b st ra ct条纹投影轮廓测量法和离轴数字全息干涉测量法是两种常用于非接触式光学表面测量和运动跟踪的技术;然而，由于涉及复杂的软件，它们可能难以实现。为了解决这个问题，我们引入了一个基于MATLAB的图形应用程序，执行这些技术的相位图检索PhaseWare采用基于流水线的架构设计，汇集了最常用的算法，包括预处理（裁剪、直流偏移去除、滤波）、条纹和相位提取（全息图重建、相位解调）以及后处理（去噪、掩蔽、相位展开、背景去除、图像增强）。©2020作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v0.3用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-20-00036Code Ocean compute capsule不适用GNU通用公共许可证GNU General Public Licensev3.0使用Github的代码版本控制系统使用MATLAB的软件代码语言、工具和服务编译要求、操作环境依赖性MATLAB 2019 a或更新版本;图像处理、小波、优化和深度学习工具箱如果可用，链接到开发人员文档/手册https://github.com/Lawson-Optics-Lab/PhaseWare/tree/master/docs问题支持电子邮件jcarson@lawsonimaging.ca1. 动机和意义*通讯作者：Lawson Health Research Institute，268 Grosvenor Street，London，ON，N6A 4V2，Canada。电子邮件地址：jcarson@lawsonimaging.ca（Jeffrey J.L. Carson）。1作者PO和LCMY对本文的贡献相当https://doi.org/10.1016/j.softx.2020.100652条纹投影轮廓术（FPP）和离轴数字全息干涉术（DHI）是两种常用的非接触三维表面测量光学技术。在FPP中，条纹图案被投影到目标上并被3D表面特征扭曲。对表面的3D轮廓进行编码的畸变条纹的相位分量可以2352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxParsa Omidi，Lawrence C.M.Yip，Hui Wang等.软件X 13（2021）1006522可以从用二维（2D）相机捕获的图案的图像中检索[1]。在离轴DHI中，相干光源被分成参考光束和物光束。在物体光束被目标物体散射后，两个光束以小角度组合，从而产生包含物体3D表面形态信息的干涉条纹图案[2]。由于FPP和离轴DHI都产生类似的条纹图案测量，因此它们倾向于使用类似的算法来提取3D表面形态，尽管FPP倾向于更适合于宏观形态，而DHI更适合于微观形态[3]。1.1. PhaseWare中使用的算法这两种技术的共同特点是需要从条纹中解调出相位信息。目前有许多算法可用于提取由FPP和DHI生成的相位信息然而，没有一个单一的工具将这些系统包含在一个用户友好的软件包中。因此，对于大多数研究环境来说，这些技术存在进入障碍，因为需要该领域的专家来分析数据。PhaseWare旨在克服这一专业知识障碍（图1）。①的人。1.2. 意义1.2.1. 条纹投影轮廓术FPP系统的输出是一系列由物体上的表面特征引起的形状失真的2D条纹图案。为了恢复编码的表面形状，相位恢复处理方法用于从基于单个条纹图案或多个图案的条纹中提取相位图。这些相位解调算法分为两类：基于载波和基于相移。基于载波的技术（空间相位步进）只需要一个畸变条纹图的单次采集来检索相位图[1，4]。最流行的方法，通常称为傅里叶变换（FT）方法，使用快速傅里叶变换（FFT）和带通滤波器，对于光滑物体快速可靠[5]。然而，FT方法一次从整个图像中提取相位图;因此，任何非平稳信号（如阴影或突然的表面变化）都可能导致高水平的相位模糊[6]。或者，小波变换（WT）用于非平稳信号，以利用时间和频率多分辨率分析来克服对滤波器的需求[7，8]。WT方法依赖于这样的事实，即光学条纹图案的相位等于由WT [9]计算的条纹图案另一种方法是希尔伯特变换（HT）。正弦信号的HT产生π/2相移而不改变幅度。该特征可用于提取畸变条纹图的相位[10]。与FT一样，HT要求条纹周期完全包含在图像中，以避免边缘处的错误[11]。HT方法在计算上比WT和FT都不复杂，并且与FT相反，不需要滤波。作为一般的指导方针，FT方法是优选的情况下，低信号噪声比（SNR）的条纹周期包含在图像内如果存在非平稳信号和/或不包含条纹周期，则应使用WT方法。如果数据具有良好的SNR并且满足FT的要求，则可以考虑将HT作为替代方案。基于相移的技术（时间相位步进）需要至少三次具有不同相移条纹图案的采集。与基于载波的技术相比，这些方法提供逐像素相位测量，更精确的结果，并且对所获取的条纹的质量不太敏感[12 ]第10段。然而，这些技术需要更长的采集时间，这导致对环境噪声和振动的敏感性增加。这些技术的相位恢复算法使用简单的数值方程。标准N步相移是最常见的算法，但要求相位步长在2π周期内均匀间隔。此外，在文献[12]中已经报道了用于已知和未知数量的相位步骤的当前版本的PhaseWare侧重于空间相位步进，不包括从通过时间相位步进获取的图像中提取相位图的功能。但是，高级用户可以使用附加组件添加此功能。1.2.2. 离轴数字全息干涉测量如前所述，离轴DHI使用由参考光束和从目标物体散射的物体光束之间的干涉产生的光学条纹图案。全息图是使用基于载波和基于相移的技术以正交方式获取的，并且包含振幅和相位信息[2]。这些被记录在位于离物体设定距离处的图像平面上，并且需要被重建以获得重建/物体平面处的物体相位。重建涉及数字照明和衍射的全息图，以揭示作为一个复值的地图在重建平面的场分布该图包括对象的真实图像和虚拟图像，使得它们中的一个包含幅度和相位信息，而另一个被丢弃。最常见的DHI重建算法是离散菲涅耳变换、卷积和角谱[13]。菲涅耳-基尔霍夫和瑞利-索末菲积分描述光波衍射。根据这些方程，在近轴近似的情况下，当记录相机和物体之间的距离足够长时，衍射积分可以用菲涅耳变换简化[2，14]。此外，由于数字成像的性质，仅记录全息图的离散样本;因此，需要应用离散菲涅耳变换来找到在期望焦距处的全息图的复振幅。离散菲涅耳变换可以用单个FFT实现[2]。波衍射方程的另一个实现是通过全息图和表示菲涅耳脉冲响应的指数项之间的空间卷积。卷积方程可以通过使用两个或三个FFT来计算[2]。波的传播可以被数值模拟为角谱，这是一种将场分解为多个平面波并分别传播的方法在空间中的每个点处，场可以通过对传播的平面波进行求和来计算，注意包括相位差。将角谱变换函数应用于全息图重建需要一个FFT和一个逆FFT [15，16]。一旦全息图被重建成条纹图，它们基本上与用FPP获得的全息图相同，并且需要类似的相位解调过程。与FPP一样，条纹的大小直接影响相位测量的分辨率，使得较大的条纹对小的表面变化不敏感。使用更精细的条纹的缺点是它们对噪声更敏感。在离轴DHI系统中，改变离轴角度会改变条纹尺寸，使得较大的角度产生较小的条纹。这个角度的选择应满足香农采样定理[17]。PhaseWare为FPP和离轴DHI组装了许多可用的算法，并将它们交给任何只有基本编码背景的研究人员此外，该软件支持附加组件，这使得具有更高级编码技能的研究人员可以定制现有算法或测试自己的算法Parsa Omidi，Lawrence C.M.Yip，Hui Wang等.软件X 13（2021）1006523图1.一、 描述在 P h a s e W a r e 中 实 现 的相位恢复处理算法的图。自定义算法，同时保持在软件管道内。该软件适用于FPP和离轴DHI光学系统的任何和所有用户。用户无需编译完整的代码库，只需将数据加载到PhaseWare并执行管道即可验证其系统，从而简化数据处理并缩短获得结果的时间2. 软件描述PhaseWare是在MATLAB app designer 2019 a中设计的软件包。主要目标是从FPP和离轴DHI测量中检索相位图。该相位信息可用于计算物体的3D图像或跟踪物体的表面变形。该软件可以安装在MATLAB应用程序部分，以利用图形用户界面。请注意，MATLAB图像处理，小波，优化和深度学习工具箱是此软件包中某些功能的 先 决 条 件 。2.1. 软件构架软件设计为多级流水线架构（图2）。在每个阶段，文献中最常用的算法都可以与用户提供的算法（附加组件）一起定制软件。自定义算法允许用户调整软件以适应其特定的硬件环境，改进现有的算法，并测试新的方法。可用的数据输入选项包括主数据和参考数据。主数据输入用于从成像系统捕获特定对象的原始数据，参考数据输入用于从成像系统捕获无对象的原始数据。主数据输入可以是单个图像或一系列图像，并且是软件运行所必需的。参考数据输入必须是单个图像，并且是可选的。该过程的第一步是对原始输入数据进行预处理。预处理阶段包含三个模块：裁剪感兴趣区域（RoI），DC偏移去除和滤波降噪。在准备数据之后，相位恢复级使用与成像系统匹配的算法来提取相位图。该步骤的输出是具有和不具有载波频率的2π图二. PhaseWare软件体系结构图。导入的数据包含所需的主要数据和可选的参考数据，这些数据被传递到预处理、相位恢复和后处理算法。该软件提供了数据可视化，数据保存和Microsoft Word格式的报告生成工具。包裹的相位图可以包含取决于成像系统的类型的一定水平的噪声在这里，该软件引入了一个用于降噪的后处理阶段，Parsa Omidi，Lawrence C.M.Yip，Hui Wang等.软件X 13（2021）1006524图三. 条纹投影轮廓术的 例子，利用数据处理生成一个正弦函数，用 MATLAB实现峰值函数。参考文献（a）和主要文献(b)无噪声模式的数据。使用FT（c）、WT（d）和HT（e）检索的展开相位图。参考（f）和主要（g）数据，用于添加高斯分布的数据噪声使用FT（h）、WT（i）和HT（j）检索后一种情况的展开相位图方法来计算绝对相位图。该阶段可以将具有或不具有载波的相位图作为输入，并应用用户选择的去噪函数。接下来，该软件引入可选的掩模选择步骤，以屏蔽噪声区域，信号φ这可以通过用户选择RoI手动执行，也可以通过MATLABimbinarize函数通过自动局部或全局在下一步骤中，相位图被展开以生成绝对相位图。PhaseWare中包含五种不同的算法用于相位展开，并提供用户定义算法的选项.所包含的算法改编自以下作品：Constantini [18]，Ghiglia和Pritt [19] ， Ghiglia 和 Romero [20] ， Goldstein [21] 和 Volkov[22]。照明和成像系统的非均匀性对计算的绝对相位有影响。为了消除这些影响，PhaseWare提供了一个有三个选项的背景删除工具。首先，手动背景选择允许用户选择背景上的一些指示性采样点，并分配多项式拟合函数，然后对多项式拟合函数进行插值以估计背景。其次，自动背景估计试图找到强度的小变化，并从相位图中减去它们。最后，也可以使用参考输入。在这一点上，PhaseWare不提供用于相位图的3D重建的方法。PhaseWare生成的结果总结在软件生成的报告中，该报告提供了对输入数据执行的过程日志，以便在实验之间进行比较。3. 说明性实例3.1. 条纹投影轮廓术示例在本节中，我们生成了两组模拟的条纹图，以演示PhaseWare的功能。在每种情况下，使用FT、WT和HT来估计包裹的相位图，然后使用Ghiglia和Romero函数对其进行解包裹第一个条纹图案是在1000 × 1000像素图像中的100个垂直正弦条纹的参考图案（图1）。3（a））。然后使用MATLAB峰值函数进行处理，以产生主数据（图1）。3（b））。第二个图案集是相同的，但是具有添加的高斯噪声（零均值，原始参考条纹图案的百分之一的方差，图1A和1B）。3（f）、3（g））。图4. 无噪声和有噪声模式之间的条纹投影轮廓术示例对于每组条纹图，使用PhaseWare检索绝对相位图并计算相位变化。然后使用FT对这些图进行包裹（图3（c），3（h）），WT（图3（d），3（i））和HT（图3（e）、3（j））。在每种情况下，顶部图像显示原始图案，底部图像显示具有高斯噪声的图案。图图4示出了每种情况下的峰值信噪比（PSNR）作为性能度量。作为一个例子，图在图5（a）和图5（b）中，在像素行500处的线轮廓在方法之间进行比较并且与原始MATLAB峰值函数进行比较。3.2. 离轴数字全息干涉测量实例对于这个例子，我们提出了一个情况下，使用离轴DHI系统获得的原始全息图是通过PhaseWare管道处理的（图11）。 [23，24]。 作为目标对象，使用具有80 nm深蚀刻特征的反射表面（图11）。6（a））。首先，导入原始全息图并表示主数据。未使用参考数据。然后对数据进行裁剪，去除DC偏移，用零填充，并进行滤波（图1）。6（b））。接下来，如图所示。如图6（c）所示，菲涅耳重建方法产生包含虚分量和实分量的重建复场的振幅图。在这种情况下，对焦图像是在实分量中，然后用于生成相应的相位图（图6（d））。使用FT方法，然后从Parsa Omidi，Lawrence C.M.Yip，Hui Wang等.软件X 13（2021）1006525图五. 无噪声（a）和有噪声（b）图像的像素行500处的条纹投影轮廓测量示例的线轮廓分析。为了比较，分析了还提供了理想化的峰值函数见图6。 离轴DHI系统获得的全息图的处理[23，24]。(a)美国空军分辨率目标的原始全息图蚀刻到镀金硅片上（特征深度为80 nm）。(b)图像经过裁剪、DC偏移去除、零填充和滤波。(c)重建复图像的振幅包含真实和虚拟组件。(d)用傅里叶方法得到对应于实部的包裹相位图。(e)载波去除相位解调图像。(f)通过展开图（e）中的数据获得的绝对相位图。(g)背景减除后的相位展开图像。(h)3D表示（g）中的图像;为了更好地说明，在Z轴上绘制了强度值图像（图）6（e）），之后Goldstein算法被用来解开剩余的相位信息（图6）。6（f））。最后，用自动背景估计减去背景，得到图1A和1B。6（g）和6（h）。4. 影响PhaseWare是一个用于处理非接触式光学3D测量技术数据的平台它有助于图像重建，加快工作流程，并准备协助非专家研究人员和专家一样。PhaseWare具有加速FPP和DHI研究的潜力，因为它（1）为图像处理流水线的每个步骤带来了许多算法，（2）提供了一个图形界面，可以在有或没有编码和算法方面的专业知识的情况下使用。我们看到PhaseWare提供优势的一个领域是刚刚开始涉足非接触式光学3D测量的研究小组，无论是使用FPP还是离轴DHI。这些群体进入市场有两个主要障碍首先，如果没有方法来验证所采集的数据，创建所PhaseWare可在数据采集后、每一步以及每次设置修改后直接使用，以评估系统性能。第二，由于复杂性对于研究人员来说，决定使用哪种算法、找到相关的代码并使代码适应应用程序是困难和耗时的Phase-Ware可以为研究人员节省时间和精力，提供开箱即用的解决方案，使研究人员能够专注于应用，而不是开发非接触式光学3D测量技术所需的复杂算法我们的团队之前已经在全息照相机的开发中实施了PhaseWare，用于纳米级深度的非接触式测量[23]。即使对于具有编码专业知识的经验丰富的研究人员来说，拥有一个易 于使用和 易于访问 的软件解 决方案也是 有意义的 。PhaseWare通过提供一个插件架构使这些高级用户受益，该架构允许在管道的关键步骤插入自定义用户创建的算法。用户可以很容易地插入他们喜欢的方法，并受益于相位- Ware有了Github上的这个软件，研究社区将能够为这个项目做出贡献。 随着新 的出租协议 被调查和发 布， 它们可以被 合并到PhaseWare中，从而能够被更广泛的用户社区快速采用Parsa Omidi，Lawrence C.M.Yip，Hui Wang等.软件X 13（2021）10065265. 结论非接触式干涉表面测量有许多应用，但由于仪器和数据处理及重建算法的复杂性，传统上难以实现。PhaseWare旨在通过为非接触式3D光学测量领域的许多常用技术和算法提供易于使用的图形前端来简化数据处理和图像重建程序。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了加拿大自然科学和工程研究委员会[授权号RGPIN-2014- 04769]和加拿大卫生研究院[授权号356794]的支持。PO和HW还通过Lawson Health Research Insti- tute提供的奖学金获得支持，而LY则通过 加拿大乳腺癌协会引用[1] 戈斯蒂号边缘投影技术：我们在哪里？ Opt Lasers Eng 2010;48（2）：133-40. http://dx.doi.org/10.1016/J.OPTLASENG.2009 的 网 站 。 09.001 ，URLhttps://www.sciencedirect.com/science/article/abs/pii/S0143816609002164。[2] Verrier N ，Atlan M.离轴 数字全 息图再现 ：一 些实际的 考虑。 Appl Opt2011;50（34）：H136。http://dx.doi.org/10.1364/AO的网站。 50.00H136，URL https://www.osapublishing.org/abstract.cfm? URI=ao5034H136[3] Luhmann T，Robson S，Kyle S，Harley I.近景摄影测量。近景摄影测量：原理、技术与应用。修订版，Whittles Publishing; 2006年，第528页。http://dx.doi.org/10.1111/phor.12114.[4] Badulescu C，Bornert M，Dupré JC，Equis S，Grédiac M，Molimard J，Picart P，Rotinat R，Valle V.空间载体图像的解调：使用单个图像的几种算法的性能分析。ExpMech2013;53（8）：1357-70。http://dx.doi.org/10.1007/s11340-013-9741-6网站。[5] 苏X，陈W.Fourier变换轮廓测量：一审查.Opt Lasers Eng 2001;35（ 5 ） ： 263-84. http://dx.doi.org/10.1016/S0143-8166 （ 01 ） 00023-9 ，URLhttps://www.sciencedirect.com/science/article/abs/pii/S0143816601000239。[6] Zhong J，Weng J.用小波变换进行空间载波条纹图分析Appl Opt 2004;43（26）：4993-8. http://dx.doi.org/10.1364/AO.43.004993网站。[7] Zhong J，Weng J.基于小波变换脊的光学条纹图相位恢复光学快报2005;30（19）：2560. http://dx.doi.org/10.1364/ol.30.002560。[8] 姜春，贾S，董建，连强，李东。基于小波变换的多频条纹投影轮廓术。OptExpress 2016;24 （ 11 ） ： 11323 。 http://dx.doi.org/10.1364/oe.24.011323 网站。[9]Huang L，Kemao Q，Pan B，Asundi AK.条纹投影轮廓术中傅里叶变换、加窗傅里叶变换和小波变换方法在单个条纹图相位提取中的比较。Opt LasersEng 2010;48（2）：141-8. http://dx.doi.org/10.1016/j.optlaseng的网站。2009年4月3日。[10] Nguyen MT，Ghim YS，Rhee HG.改进的空间载波移相法用于动态三维表面 轮 廓 测 量 的 单 次 偏 折 术 。 Sci Rep 2019;9 （ 1 ） ： 1-15.http://dx.doi.org/10.1038/s41598-019-39514-6.[11]Upputuri PK，Nandigana KM，Kothiyal MP.用于光学测试的单次干涉测量技术。Asian J Phys2015;24（10）：1317-38.[12]左聪，冯S，黄丽，陶婷，尹伟，陈强。条纹投影轮廓术的相移算法OptLasersEng2018;109（200）：23http://dx.doi.org/10.1016/j.optlaseng.2018.04.019[13] Kreis TM，Adams M，Jueptner WPO. 数字全息术的方法：比较。ProcSPIE 1997;3098：224-33. http://dx.doi.org/10.1117/12的网站。281164。[14] Schnars U，Schnartner WP.全息图的数字记录与数值再现物理研究所出版2002;13 ： 17. http://dx.doi.org/10.1117/1.JBO.18 的 网 站 。 两 点 零 六 零 零六。[15]Matsushima K，Shimobaba T. 远场和近场自由空间传输数值模拟的带限角谱方法。Opt Express 2009;17（22）：19662-73。http://dx.doi.org/10.1364/OE的 网站 。 17.019662 ，URL https://www.osapublishing.org/oe/abstract.cfm?uri=oe-17-22-19662。[16]Yu L，Kim MK.用角谱法进行层析三维成像的波长扫描数字干涉全息术。OptLett 2005;30（16）：2092. http://dx.doi.org/10.1364/ol.30的网站。002092。[17]Demoli N，Halaq H，Šariri K，Torzynski M，Vukicevic D.欠采样数字全息术 。 Opt Express 2009;17 （ 18 ） ： 15842. http://dx.doi.org/10 的 网 站 。1364/oe.17.015842。[18]科 斯 坦 蒂 尼 湾 一 种 基 于 网 络 规 划 的 相 位 展 开 新 方 法 。 IEEE TransGeosciRemote Sens 1998;36（3）：813网址：//dx.doi.org/10.1109/36.673674，URLhttp://ieeexplore.ieee.org/document/673674/。[19]吉利亚华盛顿特区，Pritt马里兰州二维相解缠：理论，算法，和软件Wiley;1998,p.493,URLhttps://www.wiley.com/en-ca/Two+Dimensional+Phase+Unwrapping%3A+Theory%2C+ Systems%2C+and+Software-p-9780471249351。[20]Ghiglia DC，Romero LA.稳健的二维加权和未加权相位展开，使用快速变换和 迭 代 方 法 。 JOptSocAmerA1994;11 （ 1 ） ： 107.http://dx.doi.org/10.1364/JOSAA.11.000107，URLhttps://www.osapublishing.org/abstract.cfm? URI=josaa-11-1-107。[21]Goldstein RM，Zebker HA，Werner CL.卫星雷达干涉测量：二维相位展开。无线电科学1988;23（4）：713网址：//dx.doi.org/10.1029/RS023i004p00713，URLhttp://doi.wiley.com/10.1029/RS023i004p00713。[22]Volkov VV，Zhu Y.存在噪声时的确定性相位展开。光学快报2003;28（22）：2156.http://dx.doi.org/10.1364/OL.28.002156，URLhttps://www.osapublishing.org/abstract.cfm? URI=ol-28-22-2156。[23] 王H，Omidi P，Carson JJL，Diop M.用于纳米级表面高度非接触测量的全息照相机In：BjelkoveHI，Bove VM，editors. 实用全息术XXXIII：显示器，材料和应用。10944,SPIE;2019,p.32.http://dx.doi.org/10.1117/12.2506629，URLhttps://www.spiedigitallibrary.org/conference-proceedings-of-spie/10944/2506629/Holographic-camera-for-non-contact-measurement-of-nanoscale-surface-heights/10.1117/12.2506629.full。[24][10]张文辉，张文辉，张文辉.反射式数字全息干涉术的相移转换算法。 In：BjelkoveHI，Bove VM，editors. 实用全息术XXXIII：显示器、材料和应用。SPIE; 2019年，第25页。网址：//dx.doi.org/10.1117/12.2507566，URLhttps://www.spiedigitallibrary。org/conference-proceedings-of-spie/10944/2507566/相位位移-从反射-数字-全息-干涉测量转换/10.1117/12.2507566.full.