FLIP：用于基于现场的叶绿素荧光图像的软件X 14

软件X 14（2021）100685原始软件出版物FLIP：荧光成像管道，用于基于现场的叶绿素荧光图像马修·T作者：Jacob C.长A，迈克D。放大图片作者：David C.小穆勒本发明公开了一种复合材料，托德角放大图片作者：Mocklerb，Duke Paulic，Alison L.汤普森a，a美国农业部农业研究中心，干旱土地农业研究中心，21881 N Cardon Lane Marriott，AZ 85138，美国b美国密苏里州圣路易斯市唐纳德·丹佛斯植物科学中心，邮编63132c美国亚利桑那大学植物科学学院，图森，AZ 85721ar t i cl e i nf o文章历史记录：收到2020年收到修订版，2021年2月26日接受，2021年保留字：叶绿素荧光成像PythonImageJa b st ra ct光合作用是地球上最重要的生物反应之一，为人类提供氧气和食物随着全球人口的增加和可耕地的减少，作物需要在光合过程中变得更有效，特别是利用吸收的光能。叶绿素荧光成像是一种快速、非破坏性的测量方法，可以提供光合作用的光依赖反应和碳反应效率的信息。多年来，叶绿素荧光成像系统已被开发和改进，以捕获两个关键的测量：最小荧光（F0）和最大荧光（FM）。这些系统主要用于控制室或温室设置，集中在单叶或小植物水平。为了提高植物的光合作用，荧光成像数据需要从野外生长的植物，以捕捉冠层的空间效应。以前开发的软件，以提取F0和FM从控制，叶级图像不捕获的光依赖性反应的复杂性，从现场生长的植物。需要新的软件来解释野外生长植物图像的冠层空间效应。FLIP：荧光成像管道，是专门为位于亚利桑那州Martina的亚利桑那大学Martina农业中心的TERR-REF现场scanalyzer设计的FLIP利用开源工具转换二进制图像，应用多阈值从植物冠层提取荧光数据，计算光合效率，并将这些值分配给适当的实验区。由爱思唯尔公司出版这是一个在CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。代码元数据当前代码版本1.0代码的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_47GNU通用公共许可证（GPL）使用git的代码版本控制系统软件代码语言Python，ImageJPython：numpy1.17.2，pandas 0.25.1，Pillow 6.1.0，python-dateutil 2.8.0，pytz 2019.2，six 1.12.0，xlrd 1.2.0. ImageJ：ImageJA 2.0.0-rc69，Java 1.8.0_172如果有开发人员文档/手册的问题支持电子邮件alison. usda.gov1. 动机和意义光合作用是植物将来自太阳的光能转化为化学能以供营养和生长的过程。*通讯作者。电子邮件地址：alison. usda.gov（Alison L. Thompson）。https://doi.org/10.1016/j.softx.2021.100685生殖生长，并负责人类消耗的所有食物[1]。光能被叶片中的叶绿素分子吸收，叶绿素分子激发用于转化为化学能的电子[2]。对于许多植物物种来说，这个过程非常低效，其中计算估计总光能的6%或更少用于生物质生产[3]。随着全球人口的增长，对食物、纤维和燃料的需求增加，需要提高效率的植物，2352-7110/Elsevier B. V.这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx马修·T作者：Jacob C.迈克·朗Roybal等人软件X 14（2021）1006852||满足这些需求[4先前的研究已经发现，叶绿素荧光，重新发射的光能，可以用来确定光到化学能量的转换效率。更有效地利用光能的植物将重新发射更少的叶绿素荧光。为了通过荧光二了解光合作用的效率，测量是至关重要的：最小荧光（F0）和最大荧光（FM）。F0的确定条件是将初始少量的光提供给光合成组织并测量所产生的荧光。当在非常短的时间（通常为一秒）内向光合组织提供大量的光时，确定Fm，这使组织饱和，使得光不能被充分利用。然后将多余的光重新发射为荧光并进行测量[2]。这些测量是快速和非破坏性的，使它们能够有效地识别更高效的工厂[8]。TERRA-REF作物传感系统（terraref.org）位于美国。位于亚利桑那州的亚利桑那州农业研究中心，包含叶绿素荧光成像（CFI）系统，用于从田间环境中的植物捕获叶绿素荧光图像[9]。照相机使用滤光器，以从再发射的荧光中分离出施加的光，以获得叶绿素荧光图像（CFI）[10]。TERRA-REF CFI是世界上第一个部署在野外环境中的CFI，提出了许多挑战的图像分析，以提取F0和FM。例如，从施加光的饱和脉冲时到光合组织到达Fm时的时间不是精确的时间长度。为了捕捉FM，在闪光期间拍摄50张图像。从这50个图像中识别具有最高荧光的图像。现场的成像条件非常难以控制，并且在从一个图移动到另一个图时会发生变化。对于图像分析，植物的像素必须与背景像素分离，以提供正确的F0和FM值[11]。这对CFI在现场环境中的应用提出了重大挑战，因为一阵风就可以产生一个移动目标，并试图对其进行分析。为受控环境或温室环境开发的市售CFI系统将不提供其图像分析程序[12]。描述CFI分析的大多数可用信息用于识别单个叶片上的患病组织[13]和非常均匀的受试者上具有小视场的定制系统[14，15]。通过无人机系统收集的红、绿、蓝、多光谱和高光谱图像的定制管道已经开发出来，需要将作物冠层与背景（土壤）进行图像分割[16]。然而，由于成像条件（即，来自一个图的堆叠图像有助于分析），为这些平台开发的算法图像分割算法先前已经被开发用于灰度图像[17]，并且已经开发了多级阈值图像分割，如Otsu本文介绍了FLIP：荧光成像流水线，并以逐步的方式支撑图像分析过程。该软件的目的是使用户能够快速处理CFI系统获得的冠层叶绿素荧光图像。该软件提供了一个灵活的开放源代码平台，供用户根据自己的研究需求进行定制2. 软件描述FLIP是使用Python和ImageJ创建的，两者都是开源软件。选择这些软件包是为了扩展表1用于计算的像素值范围和阈值贡献最小荧光（F0）和最大荧光（FM）。 像素颜色与 图 相关联。 二、FLIP的潜在用户数量，以便他们可以将其中的组件应用于自己的研究。FLIP利用Python和ImageJ从叶绿素荧光图像的二进制（BIN）文件中提取叶绿素荧光数据，聚合来自所有图像的数据并将数据校正到图级，然后以逗号分隔值（CSV）文件的形式输出数据为研究人员。FLIP是为Windows系统创建的，通过从植物组织中提取叶绿素荧光特征并将数据以可行的格式组合在一起用于下游分析，来自动化CFI系统的图像分析。FLIP是专门为TERRA-REF CFI系统[15]创建的;然而，该管道适用于获得树冠层荧光图像的自动化流水线从图像中去除背景像素，并提供整个植物组织的平均荧光。由于图像分辨率，植物冠层和土壤背景可以包含在同一像素中，特别是在叶片的周边，这大大降低了基于整个图像的计算荧光值。为了去除尽可能多的背景像素并保留准确的荧光值，确定阈值水平的间隔，并确定背景百分比以计算整体图像荧光。为此，手动建立CFI阈值，并记录每个灰度级的贡献鉴定了仅包含背景像素并对荧光贡献为0%的区间，大多数像素包含背景像素并对荧光贡献为10%的区间，少数像素包含背景像素并对荧光贡献为80%的区间，大多数像素不包含背景像素并对荧光贡献为90%的区间，并且没有像素包含背景并对荧光贡献为100%的区间（表1）。在获得平均植物组织荧光之后，流水线然后提取最小（F0）和最大（FM）荧光值。这些数据被用来计算植物冠层的其他荧光值，如可变荧光（FV）和初级光化学效率的最大产量（FV/FM），然后将这些值与实验小区相关联。2.1. 软件构架FLIP的设计使用基于组件的架构，以方便更广泛的用户群进行图像分析。它是的三个主要组成部分：二进制文件转换，图像分析，和数据聚合。每个模块都有详细的描述马修·T作者：Jacob C.迈克·朗Roybal等人软件X 14（2021）1006853图1.一、 FLIP架构和工作流程。用户界面执行过程，将二进制文件转换为PNG，通过ImageJ宏提取荧光数据，并聚合荧光数据，为研究人员绘制校正后的数据输出第2.1.1FLIP是用Python编写的，带有GUI和ImageJ。FLIP有三个主要功能：（1）将叶绿素荧光图像的二进制文件转换为PNG（2）应用ImageJ宏，从PNG文件中提取多阈值数据，并为每个文件夹创建逗号分隔的值文件（3）计算叶绿素荧光特性，聚合每个文件夹中的所有数据并将数据校正到图级（图1）。①的人。2.1.1. 二进制文件转换二进制文件转换组件利用Python中的多处理、os和PIL依赖项将二进制图像转换为PNG。TERRA- REF CFI输出的二进制文件参数见表S1。'' os.walk ''函数用于标识所选主目录中的文件夹。这些文件夹中的BIN文件会被'' str. endswith ''函数（一个python字符串变量）搜索到，并被''多处理器分配一个新的进程。池”对象，最多为机器可用的处理器总数。在找到BIN文件的地方，字节被读取到一个图像对象中，并保存为PNG。然后，2.1.2. 图像分析Fiji（ImageJ）在TERRA- REF CFI主目录中创建一个文件夹列表，该目录是通过“for循环”语句选择的然后，对于目录表中列出的每个目录，通过相同的“for loop'"语句创建一个文件列表，该语句使用该目录中的文件创建另一个列表。如果此目录中的任何文件以.png结尾，则打开图像，裁剪图像的中间第三部分以减少相邻植物叶子，使其不包括在分析中，应用如表1中的阈值水平，并且从所选像素测量像素信息并将其放入表中。检查完列表中的所有文件后，通过将文件名拆分为基于“/”的数据框并选择此数据框中倒数第二个数组，将包含像素信息的表保存到具有目录名的目录中关闭包含图像数据和文件列表的表格，并从文件夹列表中的下一个文件夹生成新的文件2.1.3. 数据聚合FLIP的数据聚合组件使用Python中的pandas、datetime、json、multiprocessing、os和pathlib依赖项。用于图像的每个多级阈值化的图像计算的常数通过“json. load”函数加载到列表中。“os. walk”函数用于遍历TERRA-REF CFI主目录，以查找图像分析组件创建的JSON和CSV文件。当找到包含所需JSON文件（元数据）和上一步创建的CSV的目录时，pandas将CSV作为数据帧读入。JSON文件中的XY坐标以及多阈值常量将作为列插入到数据框中。TERRA-REF CFI的偏移量基于从名为“sensor_fixed_metadata.json”的静态文件夹访问的JSON文件应用。静态文件夹还包含一个名为“plot boundaries.xlsx”的文件，其中包含收集数据的字段的所有绘图边界。不等式运算符用于标识XY坐标的边界，并标识从哪个图获取数据，以及分配图值。通过将来自多级阈值化的每个数据乘以对图像荧光的贡献，将来自图像分析组件的图像数据计算为每个图像的值，如表1和图2所示。二、在表1中计算每个水平的像素总数（面积）、平均像素值（均值）和图像贡献。其中面积和平均值为所有像素都在阈值范围内。这 些 图 像 贡 献 值 包 含 在 “multithresh.json” 文 件 中 。为 了 计 算“AreaXMeanXMultiThr "值，将总像素、像素平均值和荧光贡献相乘。然后将面积和图像对荧光的贡献相乘，以表示“AreaXMultiThr "值。对每个图像的“AreaXMeanXMul-tiThr”和“AreaXMultiThr "求和，然后将”AreaXMeanXMultiThr"的和除以的“AreaXMultiThr "来表示每个图像的荧光。第一幅图像的荧光被命名为最小荧光（F0）和来自其他图像的最大值被称为最大荧光（FM）。通过从FM中减去F0来计算可变荧光FV。初级光化学效率（FV/FM）的最大产率通过FV除以FM来计算。这些值将附加到数据框中马修·T作者：Jacob C.迈克·朗Roybal等人软件X 14（2021）1006854图二. 与FLIP相关的叶绿素荧光图像的多阈值化。来自用于最小荧光（F0）和最大荧光（FM）的图像的叶绿素荧光图像的假彩色图像。对于与颜色相关的像素值，请参见表1。(For在这篇文章中，图注，读者可参阅本文的网页版并导出为用于用户选择的文件的荧光CSV。3. 说明性实例要使用FLIP，用户需要创建虚拟环境并安装FLIP所需的依赖项，如第2.1.1在叶绿素荧光成像系统拍摄图像并将其存储到文件结构中之后，如图所示1用户需要在powershell中提交一个简短的命令在GUI中，用户有三个按钮可供选择。如果用户有需要转换的原始二进制图像将打开一个框，要求用户选择包含BIN文件的文件夹所在的目录。FLIP将根据部署管道的机器的处理器数量开始将BIN文件转换为PNG文件。将所有BIN文件转换为PNG文件后，GUI将解锁。当用户具有他们需要从中提取叶绿素荧光数据的便携式网络图形（PNG）文件时，他们将选择“ImageJ宏”按钮。ImageJ将打开， 询问用户选择用于分析荧光图像的宏的框。选择“python_conv_WOPR.ijm”宏后，将打开第二个框，要求用户选择包含PNG文件的所有文件夹的目录。 ImageJ宏在每个目录中搜索PNG文件，找到后，打开并将表1中的5个阈值应用于图像，将面积和平均像素值存储在表中，然后关闭图像。在该子文件夹中的所有PNG应用了阈值后，将保存存储的区域和平均像素数据。ImageJ宏的结果保存到目录的同一文件夹中的CSV文件中，然后程序移动到下一个文件夹。处理完所有包含PNG文件的文件夹后当用户提取荧光数据并希望将这些数据聚合在一起时，他们将选择“生成聚合和重复性”按钮。然后将打开一个框，要求用户标识包含适当逗号分隔值（CSV）和JavaScript对象表示法（JSON）文件的目录。然后，FLIP将从包含具有CSV文件的文件夹的目录的所有文件夹中提取XY坐标，计算四个荧光特性，校正绘图位置，并将聚集的荧光特性和相关绘图的CSV文件输出到具有具有叶绿素荧光图像的文件夹的目录中。4. 影响从原始CFI到研究人员数据格式化文件的管道的完全自动化对于该系统在田间作物研究中的应用至关重要。FLIP将使研究人员能够专注于实验设计，统计分析，数据解释和交流。FLIP还使不具备图像分析和计算机编程专业知识的研究人员能够利用CFI系统解决科学问题。在一个具体的例子中，研究人员能够处理从一个田间实验，以确定影响光合作用的光依赖反应该数据集包含超过100万张1.5 TB的图像。在开发FLIP之前，50，000张图像需要大约20小时进行转换和分析，因为每张图像都是人工处理的，无法将该数据校正为实验地块，而使用FLIP需要四分之一的时间，即5小时，并提供地块校正数据。请注意，手动图像处理是在双核笔记本电脑上执行的，FLIP部署在24核服务器上，这也有助于减少处理图像的时间，但没有测量特定机器的性能。实现此管道以准确提取和聚合CFI对于这种规模的数据集以及未来的数据集至关重要。对于没有自动化管道的研究人员来说，即使是从较小规模的实验中获取数据，也会花费大量的时间和精力，而使用FLIP，该过程只需点击几下即可自动完成。研究人员可以利用TERRA-REF作物传感系统（field scanalyzer）与合适的种质一起研究对叶绿素荧光的遗传贡献。FLIP将允许研究人员处理非常密集的数据集，这些数据集提供来自田间生长植物的叶绿素荧光。管道的自动化与田间分析仪的操作协同作用，并在作物生长和发育期间获得多个数据点。这些类型的数据集对于遗传学研究特别强大，并且通过FLIP的自动化，可以在相对较短的时间内处理。FLIP的自动化将使研究人员能够灵活地快速处理数据，并为如何进行实验提供信息。将数据聚合纳入FLIP的功能大大减少了研究人员所需的时间和精力有了FLIP的数据汇总组件，研究人员就可以进行统计分析。FLIP输出文件包含相关实验信息和荧光值，文件格式易于统计软件读取，可减少时间和工作量。单独重新格式化这些大型数据集不会那么耗时。然而，在这方面，马修·T作者：Jacob C.迈克·朗Roybal等人软件X 14（2021）1006855应用现场scanalyzer的CFI，研究人员可以获得整个季节的数据。整个季节的累积时间重建数据集将变得艰巨，需要大量的时间承诺。FLIP的直接用户是那些对现场scanalyzer的CFI系统感兴趣的人。由于基于组件的体系结构，其他用户可以实现FLIP的组件用于其他目的.只要遵循类似的数据结构，每个组件都将保留功能。需要转换大量图像的个人可以利用图像转换组件来利用多核系统来满足其图像转换需求。类似地，ImageJ宏可以被其他研究CFI的人使用，并且可以在ImageJ中独立于FLIP运行。用户还可以使用不同的ImageJ图像宏来提取FLIP中的荧光数据，前提是数据输出相似。地块整改可单独使用对TERRA-REF作物传感系统上其他传感器的数据感兴趣的用户可以使用FLIP。5. 结论这项工作描述了一个软件管道，开发提供研究人员与叶绿素荧光图像从TERRA-REF作物传感系统的自动管道提取叶绿素荧光数据。流水线FLIP使用CFI系统生成的二进制文件，以最少的用户输入生成经绘图校正的叶绿素荧光数据的聚合数据文件。这使得研究人员能够充分利用该系统并分析CFI的大型数据集，以获得有关田间作物光合效率的信息。构成FLIP的各个组件也可以被其他人用来转换图像，从CFI中提取数据，或将数据校正为地块，或校正TERRA-REF作物传感系统上其他传感器的地块数据。CRediT作者贡献声明马修·T概念化，方法论，软件，验证，形式分析，调查，写作-初稿，可视化. 雅各布·C长：软件，验证，数据策展，写作-审查&编辑。迈克·D罗伊巴尔：写作- 审查编辑，监督，项目管理。David C.小穆勒：软件、验证、数据管理。托德角Mockler：写作-评论&编辑，资金收购。杜克泡利：写作-审查编辑，监督，项目管理，资金获取。艾莉森湖，加-地汤普森：概念化，方法，资源，写作-审查&编辑，监督，项目管理，资金获取。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作是由美国高级研究计划能源（ARPA-E）资助的。美国能源部，授予号DE-AR 0000594;以及美国农业部-农业研究服务2020-11000- 013- 00 D。附录A. 补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.softx.2021.100685上找到。引用[1]Blankenship RE.光合作用的分子机制。John Wiley&Sons;2014.[2]放大图片创作者：Lawson T.叶绿素荧光分析：良好实践和理解一些新应用指南。J Exp Bot 2013;64：3983https://doi.org/10.1093/jxb/ert208[3]朱晓光，龙世平，奥特博士。提高光合效率提高产量。Annu Rev Plant Biol2010;61：235-https://doi.org/10.1146/[4]Andrade FH，Uhart SA，Cirilo A.温度影响玉米的辐射利用效率。大田作物研究1993;32：17[5] Earl HJ，Davis RF.干旱胁迫对玉米叶片和冠层辐射利用效率及产量的影响。Agron J 2003;95：688https://doi.org/10.2134/agronj2003.0688[6]Jumrani K，Bhatia VS，Pandey GP.高温对大豆比叶重、气孔密度、光合作用和叶绿素荧光的影响。Photosynth Res 2017;131：333-https://doi.org/[7]王志，陈健，艾红，秦英，刘萍，徐丽，等。干旱胁迫下山葡萄光合作用及光系统II活性的变化。Photosynthetica 2012;50：189-https://doi.org/[8]Maxwell K，Johnson GN.叶绿素荧光实用指南。J ExpBot2000;51：659-68.[9] Herritt MT，Pauli D，Thompson AL。叶绿素荧光成像捕获田间环境中高粱（Sorghum bicolor）的光化学效率。Plant Methods 2020;16（1）：109，https://doi.org/10.1186/s13007-020-00650-0。[10]Nedbal L，Whitmarsh J.叶和果实的叶绿素荧光成像。在：叶绿素a荧光。Springer; 2004，p.389-407[11]Vidal M，Amigo JM.高光谱图像的预处理。图像分析前的基本步骤。ChemoIntell Lab Syst 2012;117：138//doi.org/10.1016/j.chemolab.2012.05.009网站。[12]Schluter O，Foerster M，Geyer D，Knorr J，Herppich WB.利用叶绿素荧光图像分析表征食品生物工艺技术2009;2：291//doi.org/10.1007/s11947-008-0143-1网站。[13]Rousseau C，Belin E，Bove D，Rousseau F，Fabre R，Berruyer E，et al.Highthroughputquantitativephenotypingofplantresistanceusingchlorophyll fluorescence image analysis. Plant Methods 2013;9 ： 17 ，https://doi.org/10. 1186/1746-4811-9-17。[14] [10]张晓刚，张晓刚.用新的高通量三维成像方法分析的离体叶盘的昼夜生长 周 期 与 完 整 叶 的 昼 夜 生 长 周 期 相 同 。 Plant Physiol 2009;149 ： 1452https://doi.org/10.1104/pp。108.134486。[15]Rolfe SA，Scholes JD.叶绿素荧光定量成像。新植醇1995;131：69-79，https://doi.org/10.1111/j.1469-8137.1995.tb03056的网站。X.[16]张文辉，张文辉.通过多光谱无人机图像和每日土壤水分平衡模型对作物水分利用效率进行高通量表型分析。远程传感器2018;10：1682。[17]大津湾一种灰度直方图阈值选取方法。IEEE TransSystMan Cybern. 一九七九年一月[18]Kapur JN，Sahoo PK，Wong AK.一种新的基于直方图熵的灰度图像阈值化方法。计算机可视化图形图像处理1985;29：273-85.[19]廖培生，陈德生，钟培昌.一种快速的多级阈值分割算法。信息科学与工程杂志2001;17：713-27.[20]叶忠，陈宏，张军。基于粒子群优化算法的阈值自动选取。2008年智能计算技术与自动化国 际 会 议 （ICICTA）。IEEE; 2008年。