SoftwareX 6（2017）243原始软件出版物ConfocalGN：一种极简共焦图像发生器Serge Dmitrieff*，François NédélecEMBL，细胞生物学和生物物理学，Meyerhofstrasse 1，海德堡，德国ar t i cl e i nf o文章历史记录：2017年2月24日收到2017年8月24日收到修订版，2017年关键词：合成图像图像分析生物信息学a b st ra ct验证图像分析管道和训练机器学习分割算法需要具有已知特征的图像。合成图像可以用于此目的，其优点是可以容易地产生大的参考集。然而，获得在噪声和分辨率方面尽可能真实的图像至关重要，这在显微镜领域具有挑战性我们描述了ConfocalGN，一个用户友好的软件，可以生成合成显微镜堆栈从地面真理（即。观察到的对象）被指定为3D位图或荧光团坐标列表该软件可以分析一个真实的显微镜图像堆栈来设置噪声参数，并直接生成具有与样品图像相似的噪声特性的物体的新图像。通过最少的用户输入和模块化架构，ConfocalGN可以轻松地与现有的图像分析解决方案集成©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-17-00018法律代码许可证GPL 3.0使用Git的代码版本控制系统使用MATLAB的软件代码语言、工具和服务运行环境MATLAB如果可用，链接到开发人员文档/手册https://github.com/SergeDmi/ConfocalGN/blob/master/README.md1. 动机和意义荧光显微镜在生物科学界广泛用于观察生物样品。方法，如光片显微镜和共聚焦显微镜的青睐，由于其良好的空间分辨率和高对比度相比，传统的宽视场显微镜。然而，这些方法仍然受到衍射极限、检测器散粒噪声、背景荧光、标记异质性和荧光团随机性的影响[1，2]。此外，分辨率是各向异性的，并且通常在光轴方向上比共焦显微镜的其他方向差几倍所有这些影响限制了我们推断通过显微镜观察到的物体形状的能力图像分析是从显微镜数据中提取信息的标准方法它通常涉及图像处理，例如背景减除和去除[3]或去卷积[4，5]。附加步骤可以执行分割或直接尝试使用各种技术来重建对象，诸如通讯作者。电子邮件地址：serge. embl.de（S. Dmitrieff）。http://dx.doi.org/10.1016/j.softx.2017.09.002基于模型的分析、特征分类[6图像分析工具往往包括具有可调参数的精细管道，因此可能会引入可能存在系统性偏差的伪影[10]，这些伪影可能会被忽视。因此，评估分析过程的质量是至关重要的，这可以通过使用合成图像运行分析管道来完成，其中地面真实（“数字体模”[ 11 ]）是已知的在荧光显微镜中，理想情况下，该基础事实应该是荧光团坐标及其强度的列表，或者是仔细检查的对象的几何形状然而，大多数公开的图像分析流水线没有被系统地验证，这可能是因为现有的合成图像生成器难以使用或不够了解。这促使我们开发了一种易于访问的软件，可以生成合成的显微镜图像。为了模拟共焦图像，需要将地面实况与显微镜的点扩散函数（PSF）进行卷积，根据不同噪声源的性质，在卷积之前和之后添加噪声。用于该模拟的PSF可以使用诸如Huygens或Icy/Fiji PSF生成器[ 12]的工具从光路预测，或者使用诸如Huygens或Icy/Fiji PSF生成器[12]的程序从实验图像测量。2352-7110/©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx*244S. Dmitrieff，F.Nédélec/SoftwareX 6（2017）243×××Fig. 1. ConfocalGN的流程图Mosaic[13]. 可以自底向上模拟不同的噪声源：探测器灵敏度、散粒噪声[14]和背景噪声[15]。通常，该操作涉及不同类型的分布与PSF的卷积，其只能在理想化的实验条件下解析计算[16]。几种软件允许从已知PSF和/或已知噪声源生成模拟图像，包括Deconvolution Lab 2 [17]、Huygens professional、BlurLab [18]和用于单粒子跟踪的SMEAGOL [19]。有些软件提供了非常先进的功能，可能是以操作简单、代码模块化或可重用性为代价的我们提供ConfocalGN，一个用户友好的，模块化的和有据可查的软件，允许生成逼真的合成共焦图像，可以阅读- ily扩展到其他类型的显微镜。所有必要的操作都由MATLAB核心函数执行，不需要工具箱。它特别提供了从现有显微图像自动校准噪声水平的可能性因此，只需很少的输入，ConfocalGN可以很容易地使用，而无需专业知识。2. 软件功能ConfocalGN使用自上而下的方法。它的目的是生成逼真的合成显微镜图像，从其用户的输入最少。输入被组织在三个领域，图。一曰：地面实况，以高分辨率图像或3D荧光团坐标列表的形式提供。显微镜特征：PSF和体素尺寸。噪声分布和平均信号值，以数值形式提供或从（真实）样本图像中自动提取。指定此输入后，ConfocalGN将自动生成合成显微镜图像，无需额外的用户干预。 ConfocalGN是一个模块化的程序和不同的步骤，是必要的生成图像（图。 1）由单独的例程执行，这些例程都包含在分布中：从一组荧光团坐标生成地面实况图像从（真实）显微图像中提取背景噪声特性和平均信号• 卷积地面实况图像与PSF• 从卷积图像中提取共焦堆栈再现实验PSF可以通过高斯近似，这对于共焦显微镜来说通常非常准确[20]，或者可以是用户提供的图像。ConfocalGN不提供计算PSF参数的方法，但可以使用Huygens、PSF发生器、PSF实验室等完成此任务。[12、21]。默认情况下，合成噪声是使用伽马分布生成的，这是现实的一个很好的近似[16]，但支持泊松和高斯噪声为了简单起见，我们将自己限制在对图像背景的统一描述上，因为空间可变的背景对于所有类型的样本和实验设置来说都不够通用虽然该软件专注于共聚焦显微镜，但其使用通用PSF的能力使其能够模拟其他类型的显微镜，例如光片。从（真实）显微图像中提取噪声和信号信息的能力简化了图像生成过程。共焦GN可以很容易地修改，以改变分割功能，背景的性质和均匀性，或卷积方法。3. 软件构架ConfocalGN依赖于一组MATLAB实现的函数，这些函数可以编写脚本（如cgn_example.m）或从用户的图像分析管道调用。主要功能是1confocal_generator（truth，conf，sample）在这里，truth.img将地面实况指定为MATLAB对象或TIFF文件的路径，truth.pix是地面实况像素的物理大小。 地面实况也可以作为truth.source给出，即荧光团的坐标（matlab矩阵 或 包 含 坐 标 的 文 件 的 路 径 ） 。 在 本 例 中 ， 使 用make_ground_truth 生成truth.img 和truth.pix 。默认情况下，truth.img是灰度图像，即双精度或浮点数矩阵，但它也可以作为二进制图像提供，以测试图像分割算法。 truth.img应该具有高分辨率，使得一个共焦体素包含大量的真值像素。第二个参数conf应该包含两个字段。conf.pix是31个向量，为每个维度指定一个共焦体素的大小（以物理单位表示，例如纳米）。psf可以是要与地面实况图像卷积的图像，或者是为每个维度指定在PSF是高斯的情况下，以物理单位表示的PSF。最后一个参数sample包含噪声和信号信息：样品（真实）显微镜图像sample.pix或信 号 和 噪 声 特 性 采 样 .sig 和 采 样 .noise 然 后 ，cocolar_generator调用generate_stacks来创建合成图像。图像参数估计通常，sample.pix应该是真实的显微镜图像，get_img_params从中提取信号和噪声特征。sample.noise是包含背景体素值分布的矩的3 × 1向量，sample.sig是信号像素的平均值。为了提取这些值，使用provide_image_mask中指定的程序对样本进行分割。这只能在分割足够好而不会显著偏置背景像 素 分 布 时 执 行 。 在 其 他 情 况 下 ， 用 户 也 可 以 直 接 指 定sample.noise和sample.sig，而不是提供sample.img。······S. Dmitrieff，F.Nédélec/SoftwareX 6（2017）243245=n××==-堆 栈 生 成 。 例 程 generate_stacks 首 先 使 用 函 数convolve_with_psf将真值与PSF卷积。从该卷积的高分辨率图像中，通过读取体素位置处的强度来提取模拟图像堆栈的体 素 值 。 然 后 需 要 添 加 噪声以 再 现 实 验 信 号 与 背 景 比 SnS/B，带S*sample.sig（平均信号值），B是第一个元素样本噪声（平均背景值）。堆栈参数估计。使用get_img_params对无噪声合成共焦堆栈进行分割，以估计信号体素S和背景体素B的平均强度。噪 声 分 布 生 成 。 我 们 从 sample.noise 中 生 成 乘 性 噪 声 阵 列px_noise，即背景体素的期望矩。根据sample.noise，我们通过函数pixel_distribution使用泊松分布、高斯分布或伽马分布。噪声倍增。然后，我们需要对堆栈进行仿射变换，以获得正确的信号和背景值。去定义。×作为逐元素矩阵乘法，我们可以写为：stack= a（stack + b）。 × px_noise，（1）其中bS-BSn≠ 0，a1。（二）S−1B+b这种方法使我们能够生成与样品上测量的高度相似的背景分布，见图1。二、1get_img_params（image，选项）此 例 程 确 定 图 像 中 的 信 号 和 噪 声 。 它 使 用 pro-vide_image_mask来分离图像中的信号体素和背景体素。然后计算体素值的矩以获得sig和噪声。1pro vide_image_mask（image，选项）这个包装器函数调用ConfocalGN使用的图像分割代码。默认情况下，它调用segment_image，这是一个简单的通用图像分割工具，在高斯模糊后使用Otsu阈值[22]。但是，用户可以编辑pro-vide_image_mask以使用提供分割掩码的另一个程序。1个卷积v_w它h_psf（image，psf）这个包装器函数返回图像与PSF的卷积。默认情况下，该函数调用cgn_convolve，如果psf是图像，则调用fftconvn，如果psf是3 1向量，则调用convolve_with_gaussian_psf。但是，用户可以编辑convolve_with_psf以使用另一个卷积函数。1个转换器_with_gausian_psf（image，psf）此包装器函数使用快速高斯卷积实现gauss3滤波器[23]，可以使用MATLAB的并行计算工具箱进一步加速1个 月后恢复（源，选项）此函数从荧光团源的坐标（MATLAB矩阵或坐标文件的路径）生成TIFF格式的地面实况图像。load_points将读取此文件以加载坐标。地面实况图像集成了所有荧光团的活动，这些荧光团可以具有恒定或随机发射（例如泊松），如选项gtm_options中所定义1load_points（source， options）这个包装器函数调用import_from_text从文件导入坐标，支持各种文件格式，包括.txt和.obj。可以编辑load_points来调用特定于给定文件格式的函数。4. 应用ConfocalGN可用于各种应用。特别地，它可以用于定量地验证图像分析流水线，例如以验证从显微镜图像提取的对象的几何形状与实际对象（在合成图像的情况下为数字体模）的几何形状为此，需要生成一组地面实况，这可以手动完成或使用模拟软件完成。各种软件可用于模拟图像细胞术[11]，并且存在专门的软件来模拟特定的细胞对象，例如用于细胞骨架的开源软件Cytosim[25]。从这样的模拟中，可以生成（与显微镜无关的）地面真实图像（“数字体模”），ConfocalGN可以自动后处理该图像在以前的工作中，我们使用Cytosim来模拟在一些血细胞中发现 的 微 管 环 [24] 。 Cytosim 将 坐 标 导 出 到 文 本 文 件 中 ，ConfocalGN直接读取这些文件以生成合成图像。 基于这些，我们能够校准用于从实时成像中提取环的轮廓长度的图像分析程序，见图11。 二、我们在下面的示例中说明了必要5. 说明性示例ConfocalGN与测试集一起分发。运行cgn_startup将所需函数添加到MATLAB1truth. source=' g r o und_ t r u t h. txt2C在F上。[150150600];3C在F上。psf=' g a u ss _p s f. tiff4sample. img=' s a m p l e _ i m a g e. tiff5[res，truth，sample]=confocal_generatorr6（truth，conf，sample）;在该示例中，地面实况被指定为荧光团坐标ground_truth.txt的列表，将使用make_ground_truth从该列表生成地面实况图像。 在第二步中，直接指定显微镜属性（PSF和体素的大小，以物理单位表示），其中conf.psf是指向PSF图像的路径。sample_image.tiff包含一个真实的显微图像，从中提取噪声特征。 该图像以及PSF文件和地面实况坐标都包含在分布中。最后，cocolar_generator将返回：res：共焦模拟结果。res.stack：模拟共聚焦数据集。res.sig：模拟信号体素的平均值分辨率噪声：模拟背景体素值的分布。 res.img：通过分割res.stack获得的图像。res.offset：描述模拟图像和地面实况之间的平移（以地面实况图像像素大小表示）的向量。真相：地面真相属性。点：地面实况的荧光团坐标。truth.img：ground truth image. truth.pix：地面实况图像像素的大小，以物理单位表示。sample：示例图像的属性。sample.sig：样本信号体素的平均值sample.noise：样本背景体素值的分布cgn_example还调用plot_simul_results来在地面实况图像上绘制模拟堆栈···246S. Dmitrieff，F.Nédélec/SoftwareX 6（2017）243图二、 A：Cytosim中模拟的血小板中微管模型[24]。B：对应于A的合成共聚焦堆栈，其中微管坐标直接从Cytosim导入ConfocalGN。图像显示堆栈内不同z位置处的xy平面C：黑色：来自A的微管上分布的荧光团的坐标信号体素以蓝色（低强度）到黄色（高强度）示出D：共焦显微镜图像（点）和模拟显微镜图像（线）的体素值直方图在高斯模糊之后，体素已经按照Otsu方法分类为背景（红色，样本图像的30 000体素和模拟图像的10 000体素）或信号（蓝色，样本的1000体素和模拟图像的400体素（有关本图例中颜色的解释，请参阅本文的网络版本6. 影响显微镜图像的自动分割和分析对于现代定量生物学至关重要，但图像分析管道的验证仍然是一项艰巨的任务，因为地面真相往往无法确定。这鼓励了显微镜模拟软件的发展然而，目前的软件往往是高度具体的（见[11]的审查），使用复杂，难以适应不同用户的各种ConfocalGN提供了一个简单的替代方案，同时保持了定量测试图像分析管道所需的真实感水平。在我们的实验室中，共焦GN被用于验证从共焦实验中获得的结论，特别是显微镜的有限分辨率如何改变微观物体的测量特征，如大小和形状（图2A）。我们分享ConfocalGN，希望它能让其他实验室的人估计他们分析管道的可能偏差，并最终对他们的定量结果达到更高的信心ConfocalGN还可以用于另一个目的，为基于机器学习的图像分析生成训练集。它是一个完整的解决方案，可以作为分布式使用，并且很容易修改或集成到更复杂的计算管道中。7. 结论共焦GN并不旨在成为自下而上的显微镜模拟器，而是使用背景和传感器噪声的有效描述，以及从第三方获得的点扩散函数。因此，其输入仅限于（1）地面实况图像，（2）显微镜特征（PSF和体素大小），以及（3a）样本图像或（3b）噪声和信号分布的矩。从测量的PSF和噪声特性出发，它将产生具有真实特性的模拟共焦图像堆栈。这种简单性使其易于使用，无需大量培训。ConfocalGN帮助我们预测分析质量与噪声水平的关系，我们发现它在验证图像分析程序方面是不可替代致谢我们感谢Aastha Mathur的数据和评论，Joran De- schamps的批判性阅读，Aliaksandr Halavatyi的测试，以及EMBL图像分析社区的建议。引用[1] 钱瑞（Tsien RY，Waggoner A.）用于共聚焦显微镜的荧光团。在：生物共聚焦显微镜手册。Springer;1995. p. 267比79[2] Pawley JB.共焦显微镜的基本限制。在：生物共聚焦显微镜手册. 施普林格;2006年。第20-42页。[3] 作者：Hwang H，Haddad RA.自适应中值滤波器：新算法和结果。IEEETrans. image Process. 1995;4（4）：499-502.[4] McNallyJG，Karpova T，Cooper J，Conchello JA. 通过去卷积显微镜进行三维成像。方法1999;19（3）：373-85.[5] WallaceW，Schaefer LH，Swedlow JR.光学显微镜反卷积工作人员指南。生物技术2001;31（5）：1076-97.[6] 梅杰林湾细胞分割：50年后的道路[生命科学]。IEEE信号处理。麦格2012;29（5）：140-5.[7] 张晓刚，王晓刚.通过图像配准的轮廓揭示了环节动物蘑菇体和脊椎动物眼睑的共同起源。 Cell2010;142（5）：800-9.[8] SommerC，Straehle C，Köthe U，Hamprecht FA.Ilastik：交互式学习和细分工具包。2011年IEEE生物医学成像国际研讨会：从纳米到宏观。IEEE;2011年。p. 230-3[9] 何L，彭Z，Everding B，王X，韩CY，Weiss KL，Wee WG.可变形轮廓线方法在医学图像分割中的比较研究。图像可见Comput. 2008;26（2）：141-63.[10] PhamDL，Xu C，Prince JL.当前医学图像分割方法1.Annu.生物医学版。Eng.2000;2（1）：315-37。[11] Ulman V， Svoboda D， Nykter M ， Kozubek M ，Ruusuvuori P. Virtual cellimaging：A review on simulation methods employed in image cytometry. 细胞计数A部分2016。[12] 吴晓刚，王晓刚，王晓刚.荧光显微镜三维点扩散函数拟合的实现与定位应用显微外科杂志2013;249（1）：13 - 25.[13] Sbalzarini IF，Koumoutsakos P.细胞生物学视频成像的特征点跟踪和轨迹分析。J. Struct. Biol. 2 0 0 5 ;151（2）：182-95.[14] Krishnaswami V，Van Noorden CJ，Manders EM，Hoebe RA.单分子光学纳米显微术的数字光子计数照相机。选购配件 Nanoscopy2014;3（1）：1.[15] Sheppard CJ，Gan X，Gu M，Roy M.共焦显微镜中的信噪比。在：生物共聚焦显微镜手册。施普林格;2006年。 p. 442-52[16] 张文辉，王文辉，王文辉.共聚焦激光扫描荧光显微镜中的信号和噪声建模。参加：医学图像计算和计算机辅助干预国际会议。Springer;2012. p. 381-8[17] Sage D ， Donati L ， Soulez F ， Fortun D ， Schmit G ， Seitz A ， Guiet R ，VoneschC，Unser M. Deconvolutionlab2：一个用于去卷积显微镜的开源软件。方法2017年。[18] 作者：Ursell T，Huang K.光学显微镜的分辨率极限与思维。BioMed. Comput.Rev. 2011;7：27-9.[19] Lindén M，Kaurić V，Boucharin A，Fange D，Elf J.使用smeagol模拟单分子显微镜。Bioinformatics2016;btw109.[20] ZhangB，Zerubia J，Olivo-Marin J-C. 荧光显微镜点扩散函数模型的高斯近似。 Appl. 选购配件2007 ;46（10）：1819-29.[21] Nasse MJ，Woehl JC.共焦扫描光学显微镜中照明点扩散函数的真实感建模。 J.选购配件Soc. Am. A 2010;27（2）：295 - 302。S. Dmitrieff，F.Nédélec/SoftwareX 6（2017）243247[22] 大津湾一种从灰度直方图中选取阈值的方法 Automatica1975;11（285-296）：23-7.[23] 罗文辉，钟正杰。球形通量计算的有效实现及其在血管分割中的应用。IEEETrans.图像处理。2009;18（3）：596-612.[24] Dmitrieff S，Alsina A，Mathur A，Nédélec FJ. 微管刚度和皮质张力的平衡决定了不同物种间具有边缘带的血细胞的大小。Proc. Natl. Acad. Sci. 2017;114（17）：4418-23。[25] 作者：Nedeigh F，Foethke D.柔性细胞骨架纤维的集体朗之万动力学。新物理学杂志2007;9（11）：427.
我的内容管理
展开
