PlenoptiSign：全光成像光学设计工具的Python软件包（2019）

软件X 10（2019）100259PlenoptiSign：用于全光成像的光学设计工具Christopher Hahne1，阿马尔·阿贡伍尔弗汉普顿大学数学和计算机科学学院，联合王国ar t i cl e i nf o文章历史记录：收到2019年收到修订版2019年6月12日接受2019年6月12日关键词：全光光场光学仪器a b st ra ct全光成像使得光场能够由单个单目物镜和附接到图像传感器的微透镜阵列捕获光场深度平面的度量距离在采集之前保持不明显。最近的研究表明，采样深度位置依赖于系统的光学组件的参数。本文介绍了PlenoptiSign，它将这些发现实现为Python软件包，以帮助在全光系统的实验或原型设计阶段提供帮助。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本1.1.2用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_14法律代码许可证GNU GPL-3.0使用Git的代码版本控制系统使用Python、JavaScript/AJAX的编译要求，操作环境依赖性NumPy，Matplotlib，tkinter，ddt，cgi如果可用，链接到开发人员文档/手册https://github.com/hahnec/plenoptisign/blob/master/README.rst问题支持电子邮件info [ät]christopherhahne.de软件元数据当前软件版本1.1.2此版本可执行文件的永久链接https://github.com/hahnec/plenoptisign/releases法律软件许可证GNU GPL-3.0计算平台/操作系统OS X、Microsoft Windows、类Unix、基于Web等安装要求依赖NumPy，Matplotlib，tkinter如果可用，请链接到用户手册-如果正式出版，请在参考列表中引用该出版物https://github.com/hahnec/plenoptisign/blob/master/README.rst问题支持电子邮件info [ät]christopherhahne.de1. 动机和意义全光相机越来越受到科学界的关注，并为实验性三维（3-D）医学成像铺平了道路[1光场相机的一个限制是两个相机之间的最大距离*通讯作者。1电子邮件：info [at] christopherhahne.dehttps://doi.org/10.1016/j.softx.2019.100259视点位置，即所谓的基线，被限制在入射光瞳的范围内[5，6]。利用三角测量，小基线被映射到靠近成像设备的深度平面，使得它们适合于医疗目的，例如在显微镜[1，2]或耳镜[3]中。当用全光系统捕获深度时，将可用的光场深度平面放置在感兴趣的目标上是至关重要的。因此，选择合适的微透镜、物镜和光学系统的参数是全光数据采集中的一个关键问题。2352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxˆˆ−∈−qi+G，j+11BGUi+G，j+12杯Hahne和A.Aggoun/SoftwareX 10（2019）100259Fig. 1. PlenoptiSign在原型的概念设计阶段，尽早安装传感器，以节省时间和成本。PlenoptiSign使得能够在全光相机中进行先验深度平面定位，以用于来自子孔径图像视差的立体匹配[5-PlenoptiSign可用于精确定位由我们的完整开源软件PlenoptiCam[9]渲染的光场图像中的物体距离。PlenoptiSign的基础物理模型由Hahne等人[6，10]在研究中设计并实验证明，并适用于该阶段的Lytro型设置[11]。给定涉及全光图像采集的实验，研究人员可能想要模拟微透镜阵列（MLA）、物镜及其焦点以及光学变焦设置的影响，以研究深度分辨率性能。使用该软件，用户可以根据需要优化实验设置。在其当前状态下，可以从图形用户界面（GUI）、能够处理公共网关接口（CGI）的web服务器或从命令行界面（CLI）调用该工具，在命令行界面中，用户被要求提供所有输入参数。本文的目标是提高人们对光场模型作为软件工具实现时的能力的认识。在第2节中，我们绘制了软件架构，同时通过线性代数将焦点转向射线函数求解器，以补充以前的出版物，其中没有详细解释。随后是第3节中的使用说明和示例性结果展示，之后在第4节中讨论对未来应用的潜在影响。2. 软件描述2.1. 架构Plenoptic摄像机参数通过CLI（GUI_script.py）、tkinterGUI（ gui_app.py ） 或 CGI 网 络 服 务 器 （ cgi_script.py ） 传 递 给PlenoptiSign。基于Python代码结构的概述如图1所示。通过调用mainclass.py从用户界面实例化光场几何形状估计器的对象，其继承mixin类，即refo.py、tria.py、plt_refo.py和plt_tria.py。2.2. 功能该软件的核心任务是求出光场射线对的交点.由于它的实现在[6，10]之前没有完全涵盖，因此在下文中进行了演示找到两个射线函数的交点的一种简洁形式是通过求解线性方程组（SLE），该线性方程组被给出为：Ax=b（1）其中A和b构成射线函数，并且x包含表示yz平面中的射线交叉点的位置的未知数。使用两个射线函数，我们得到了SLE的唯一解，代数逆A−1x=A−1b（2）其中AR2×2是可逆的。为了覆盖超定SLE的情况，Moore-Penrose伪逆A +提供了更一般的解决方案x=A+b（3）A+=（A<$A）−1A<$（4）其中k表示矩阵转置。代数计算通过solver.py文件中的NumPy模块实现。对于全光三角测量，矩阵A和b可以根据[6]中提供的符号来定义，其中等式（18）像一条射线函数，它写fi，j（z）=qi，j×z+Ui，j，z∈[U，∞）（5）其中Ui，j是在物侧主平面的y-截距，而qi，j因为所选择的主光线在对象空间中倾斜在这里，i是一个任意的微图像像素索引，j表示一个方向上的微透镜索引。参见图2，我们发现两个光场视点的分离，所谓的基线BG，由两个相交的线性射线函数[6]BG：=fi，j（z）=fi+G，j+1（z）（6）其中，我们的参考视点取决于i，并且由光场视点的标量G分隔。在重新安排两个函数之后，我们写−qi，j×z+BG=Ui，j（7）−qi+G，j+1×z+BG=Ui+G，j+ 1（8）这可以使用由下式给出的SLE来解决：A=[−qi，j1]; x =[z]; b =[Ui，j（九）ˆ== − =−+[][−=m1s]C. Hahne和A. Aggoun/SoftwareX 10（2019）1002593图二. 具有简化的MLA平面s和主透镜U的全光模型，沿着主透镜U，通过来自物侧光线斜率的交点Ui，j找到基线BG（G2q i，j。重新聚焦的物距da依赖于从像侧光线斜率mi，j和微透镜位置sj获得的像距延伸da ′。图3.第三章。 偏移参数a = 1的 重 聚 焦 图 ， 具有重聚焦距离da、景深极限da±、主透镜主平面H1 U、H2 U和焦平面F U。其中z在此对应于纵向入射光瞳位置A"H1U[6]。类似地，我们可以跟踪一对光场射线以找到使用移位和积分算法[8，10]将全光图像聚焦到的物平面根据[10]中提出的模型，图像侧射线函数fc+i，j（z）由下式给出：f c+i，j（z）=m c+i，j×z+sj，z∈（−∞，U]（10）其中，mci，j表示图像侧光线斜率，sj表示相应的微透镜位置。i选择一条射线c和ja（M1）/2，其对应射线具有负指数。将其应用于Eq。（10）和重新安排产量- mc+i，+j×z =s+j（11）- mc−i，−j×z =s−j（12）其可以矩阵形式表示为：3. 说明性实例3.1. 使用从在线存储库下载PlenoptiSign后，可以使用setuptools模块进行安装，该模块可以通过\$python plenoptisign/setup.py install在下载目录中，前提是Python可用并被授予必要的权限。请参照图1、Plenop-tiSign可以从三个不同的界面访问，即基于Web的CGI、GUI和bash命令行。从命令行执行PlenoptiSign是通过\$ plenoptisign−pA−mc+i，+j-c− i，− j1;x=[da′];B=s+j−j（十三）其中，p设置绘图选项，其中射线和深度平面如图1和图2所示。3和4启动基于tkinter的GUI应用程序可以通过运行捆绑的可执行文件来完成，其中y是垂直位置，da′是映射到相应重聚焦距离的图像距离通过\$ plenoptisign− gyd a使用薄透镜方程，同时考虑厚透镜及其主平面[10]。有关可用命令的详细信息，请使用help选项−h。4杯Hahne和A.Aggoun/SoftwareX 10（2019）1002595. 结论得益于所提供的软件，全光相机的光场几何形状可以被准确地预测并且易于使用。这在原型的设计阶段是至关重要的，其中需要预先确定和优化距离范围和深度平面密度。该工具已提供给网络服务器、图形用户界面和命令行工具。它是第一个这样做的开源软件，可能为未来全光成像的研究奠定基础在医学领域。未来的发展可能导致实现自动参数优化或扩展聚焦全光相机模型。竞合利益作者声明不存在已知的利益冲突致谢图四、三角 测量三维图，平面为Z（G，x），相机间隙G = − 6。3.2. 结果光场几何图形结果以文本值或图形图的形式提供，具有两种类型的视图。示例性的横截面图如图1所示. 3.第三章。此外，结果可以显示在3-D，如图所示。4，其中三角测量平面Z（G，λx）用于视差λx。有关设计趋势、科学符号和近轴近似偏差的详细信息，我们可以参考我们以前的出版物[6，10]以进一步阅读。4. 影响所提出的框架为研究人员在论坛上提出的问题提供了答案和通用解决方案[12]，并收到了同行的建议，表明了未来项目的需求和潜力。可能受益于该软件的研究方向包括实验摄影[11]、电影摄影[13]或从体积流体颗粒流[14]到多种临床研究[1- 4 ]的可以认为，深度平面定位可以通过传统上在立体视觉领域中采用的外部校准来完成。尽管它被广泛使用，但这种方法不能在相机制造过程之前执行，而只能在事后执行。这同样适用于经由最小二乘拟合的光场度量的校准[15]。由于这种方法的启发式性质，变焦镜头和光学焦距设置以及温度波动为拟合曲线引入了自由度，这使得校准复杂。毕竟，在全光相机的开发阶段理解和利用底层光学模型以获得最佳性能是至关重要的。这一部分将是昂贵的，上述替代品。所提出的重新聚焦距离算法的一种可能偏离的尝试已被用于吉利的Lytro相机时代[11]。然而，Lytro我们感谢匿名评论和Natalie Schnelle校对本文。引用[1]Prevedel R， Yoon Y-G ， Hoffmann M ， Pak N， Wetzstein G， Kato S，Schrödel T，Raskar R，Zimmer M，Boyden ES，et al. Simultaneous whole-animal 3Dimaging of neuronal activity using light-field microscopy. NatureMethods2014;11（7）：727.[2]李华，郭春，金-霍扎普费尔D，李伟，阿尔特舒勒Y，施罗德B，刘W，孟Y，法国J，高丸K-I，弗罗曼M，贾S.使用高分辨率光场显微镜进行快速、体积活细 胞 成 像 。bioRxiv2018 。 http://dx.doi.org/10.1101/439315 ，https://www.biorxiv.org/content/early/2018/10/10/439315.[3]BedardN ， ShopeT ， HobermanA ， AnnHaralamM ， ShaolinN ， KovacevićJ ，Balram N，Tošić I.用于中耳3D活体成像的光场耳镜设计。BioMed.光学快递2017;8：260。http://dx.doi.org/10.1364/BOE.8.000260.[4]W. [10]李晓，李晓，李晓.Dansereau D，Suheimat M，Maynard M，A.杨文龙，李晓梅，李晓梅.使用便携式光场眼底照相机进行无眩光视网膜成像BioMed.OpticsExpress2018;9：3178.http://dx.doi.org/10.1364/BOE.9.003178网站。[5]Adelson EH ， Wang JY. 单 镜 头 立 体 与 全 光 相 机 。 IEEETransPattern AnalMach Intell1992;14（2）：99-106.[6][10]杨文，李文，李文，李文.标准全光相机中的基线和三角测量几何结构。IntJ Comput Vis 2018;126 （ 1 ） ： 21-35. http://dx.doi.org/10.1007/s11263-017-1036-4网站。[7]恩河数字光场摄影（博士）斯坦福大学;2006年。[8]Isaksen A，McMillan L，Gortler SJ.动态重新参数化的光场。第27届计算机图形 与 交 互 技 术 年 会 论 文集 。 SIGGRAPH '00 ， 纽 约 ， 美 国 ： ACM 出 版 社/Addison-Wesley出版公司;2000年，第297-306页。http://dx.doi.org/10.1145/344779.344929.[9]克里斯托弗·哈恩PlenoptiCam2019年，https://github.com/hahnec/plenopticam。[10][10]杨文，李文，李文，李文.再聚焦距离一个标准的全光相机。Opt. Express2016;24（19）：21521-40. 网址：//dx.doi.org/10.1364/OE.24.021521、http://www.opticsexpress.org/abstract。cfm？（单位：立方英尺）URI=oe-24-19-21521。[11]LytroInc.Lytro ILLUM用户手册，2.1版2015年。[12]希南·哈西里奥卢研究门。2017年，https://www.researchgate.net/post/Does_anyone_know_how_to_estimate_the_depth_in_meters_using_a_Light_Field_Camera_Lytro_Illum.[13]Aggoun A，Tsekleves E，Swash R，Zarpalas D，Dimou A，Daras P，NunesP，Soares L.沉浸式3D全息视频系统。多媒体，IEEE 2013;20（1）：28-37。http://dx.doi.org/10.1109/MMUL.2012.42网站。[14]Deem EA，Zhang Y，Cattafesta LN，Fahringer TW，Thurow BS.关于全光PIV的分辨率。Meas Sci Technol 2016;27（8）：084003.网址：//dx.doi.org/10.1088/0957-0233/27/8/084003网站。[15]Schima R ， Mollenhauer H ， Grenzdörffer G ， Merbach I ， Lausch A ，Dietrich P，Bumberger J. Imagine all the plants：evaluation of a light fieldcamera for on-site crop growth monitoring. 2016;8 ： 823. http://dx.doi的 网站。org/10.3390/rs8100823。