DeepLIIF：免费在线的化验切片定量平台

DeepLIIF：临床病理切片定量的在线平台Parmida Ghahremani*Joseph Marino*Ricardo Dodds*萨阿德·纳迪姆纪念斯隆·凯特琳癌症中心{ghahremp，marinoj1，doddsr，nadeems} @ mskcc.org摘要在临床中，切除的组织样品用苏木精-伊红（HE）和/或免疫组织化学（IHC）染色，并在载玻片上或作为数字扫描呈现给病理学家，用于诊断和评估疾病进展。细胞水平的定量，例如在IHC蛋白表达评分中，可 能 是 极 其 低 效 和 主 观 的 。 我 们 提 出 DeepLIIF（https：//deepliif.org），英孚首个免费在线平台-有效且可重复的IHC评分。DeepLIIF通过使用信息量更大的多重免疫荧光染色对临床IHC载玻片进行虚拟再染色，超越了当前最先进的方法（依赖于人工易错注释）我们的DeepLIIF云原生平台支持（1）超过150种 专 有 / 非 专 有 输 入 格 式 （ 通 过 Bio-Biosciences 标准），（2）交互式调整、可视化和下载IHC定量结果和随附的再染色图像，(3)（4）自动缩放以基于用户需求有效地缩放GPU资源。1. 介绍病理学家和研究人员在数字病理学中进行的单细胞蛋白质表达然而，广泛报道了手动单重/蛋白免疫组化（IHC）评分的差异，即使是在经验丰富的病理学家之间，也会对患者结局产生负面影响。研究多重成像平台可以通过允许在单个图像*同等贡献HE（诊所）IHC（诊所）多路复用（R D）图1. Hematoxylin-Eosin（HE）和单重/蛋白质免疫组织化学（IHC）染色便宜、高通量且临床部署。仍处于研究阶段的多重IHC染色允许检测和共同可视化多种蛋白质标记物，从而提供组织微环境的更深入表征DeepLIIF弥合了临床和研究之间的差距，为疾病进展的诊断和评估创造了更多信息。组织样本，以便对TME中HE、IHC和多重染色之间的视觉差异示例见图1。有几种开源工具可用于分割HE（苏木精-伊红）、IHC（苏木精+棕色DAB底物）和多重染色病理切片中的细胞[5]。这些工具可作为（1）Web应用程序（最容易运行，无需先决条件计算经验），（2）图像分析工具箱插件（要求熟悉这些工具箱），（3）编码笔记本（要求基本编码技能）和（4）基于代码的管道（要求重要的编码专业知识）。在这篇演示论文中，我们重点介绍了作为Web应用程序提供的工具，这些工具可以被广泛的受众访问，包括图像分析专家和非专家。目前有三 种工具可作为 Web应用程序 使用，即DeepCell （ https://deepcell.org/ ） [2 ， 6] ，Cellpose（https：//www.example.comwww.cellpose.org/）[7]和NucleAIzer（https：//www.example.comwww.nucleaizer.org/）[3]。DeepCell和Cellpose专注于多重图像中的细胞核和细胞质分割，而Nucle-Alzer可以跨HE，IHC和多通道分割细胞核××图2.部署在AWS上的DeepLIIF在线平台的系统设计图。该应用程序运行在具有自动伸缩功能的弹性容器服务（ECS）集群上。Web App服务通过https://deepliif.org网站处理请求，并使用S3存储桶来存储用户上传的图像，以及生成的推理图像和后处理图像。API服务运行实际的DeepLIIF模型，并对图像进行后期处理Web App与同一台计算机上运行的API服务进行通信直接编程访问API是可能的，允许创建ImageJ插件。丛图像（通过样式传输）。DeepCell和Cellpose还可以执行HE和IHC细胞核分割，如果这些作为灰度图像提供的话。DeepCell是上述三种工具中唯一允许通过DeepCell-Label网络模块（https://label.deepcell.org/）与分割结果进行交互的工具。Cellpose Web应用程序允许512 512输入补丁，而DeepCell将输入限制为2048 2048像素，以便在合理的时间内（不到一分钟）输出结果。上述网络应用程序都没有同时执行细胞分割和分类。在明视野HE和IHC载玻片中，如果不执行必要的数字染色去卷积预处理步骤，则无法单独显示或分析两个通道（HE中的苏木精和伊红以及IHC中的苏木精和DAB这与研究多重免疫荧光平台的情况不同，例如，其将每个标记物输出为独立通道，可以单独或作为复合物可视化和分析。利用这一见解，我们开发了DeepLIIF（发表在Nature Machine Intelligence[1]上），用于标准IHC载玻片的虚拟多重免疫荧光再染色，其在单个步骤中执行染色去卷积和细胞分割/分类，以输出临床相关的IHC评分（主要量化为相关DAB棕色细胞除以总细胞）。我们发现，在共配准的IHC和多重免疫荧光图像上训练的DeepLIIF现有技术导致IHC核蛋白标记物评分（Ki 67、ER、PR、P53），但也可用于HE核分割以及细胞质标记物（其在核附近表达，例如，CD3/CD8）。这篇演示论文伴随着我们的自然机器智能手稿[1]。具体来说，这里我们介绍了DeepLIIF云原生平台，它支持(1)超过150种专有/非专有输入格式，（2）交互式调整、可视化和下载IHC定量结果和附带的保留图像，（3）以编程方式或通过用于开源全载玻片图像查看器（如QuPath/ImageJ）的交互式插件消耗暴露的工作流程API，以及（4）自动缩放，以基于用户需求自动有效地缩放GPU资源2. 系统设计我们的DeepLIIF云原生平台托管在亚马逊网络服务（AWS）上。它使用弹性容器服务（ECS）集群进行部署，该集群由自动缩放组提供支持，以根据需求自动调整资源。Amazon S3存储桶用于通过网站界面加载的图像和相应结果的云存储。我们的系统设计架构的概述如图2所示。× ××××(a) 图像上传。（b）图像验证。（c）成果观。图3. DeepLIIF网站界面。(a)DeepLIIF主页，用户可以选择上传自己的图像，或者选择几个样本图像中的一个进行处理。(b)选择分辨率（10，20或40）以及上传图像的预览。(c)结果页面，显示推断的模态、分割和IHC定量评分。用户还可以下载全分辨率推断图像和量化分数，以及留下反馈。我们有三个服务，每个服务都在Docker容器中运行，以便于移植：• 用于前端网站内容的Web App服务。• 用于后端数据处理的API服务。• Nginx反向代理服务请求。Web应用程序和API都使用Flask打包。API服务需要使用支持CUDA的NVIDIA GPU，至少具有4GB视频内存，以便运行DeepLIIF推理模型。为了满足这一要求，Auto Scaling小组启动了弹性计算云（EC2）G4dn机器，每个机器都有一个GPU。启动的每台机器都包含所有三个服务，Web服务与同一台机器上的API服务通信Web应用程序服务。Web App服务为我们的Web应用程序的每个页面提供所有前端网站内容。此外，用户输入由该模块处理，包括验证上传的文件是有效的图像，并在3000 3000像素的指定限制内。与我们的S3云存储桶的所有连接都来自此服务，包括原始上传的图像和API服务返回的推断结果。API服务。 API服务处理所有的后台 结束计算任务，包括DeepLIIF模型，分割后处理和量化。将这些计算任务拆分为单独的服务，使网站界面即使在长时间运行的过程中也能对用户请求保持响应除了为DeepLIIF网站提供后端服务外，该API还可以通过编程方式访问，允许用户编写和集成自己的代码。这种能力也促进了我们开发一个插件的能力，该插件可用于直接从ImageJ应用程序中访问DeepLIIF。输入图像。我们利用Bio-Bio [4]读取输入图像，这使我们的应用程序支持超过150种图像格式，包括数字病理学领域的所有标准格式。为了保持一个可接受的处理时间，并确保资源的公平使用，输入数据目前仅限于大小不超过3000 - 3000像素的图像。由于网站在会话中处理一系列单独的请求，因此图像数据存储在S3桶中。类似地，结果图像和量化存储在S3桶中，以允许交互和下载完整的结果包。上传到API的图像不存储在云中（相应的结果也不存储在云中），因为API消费者负责处理所有数据。××× ××许可协议在会话中第一次访问DeepLIIF网站时，用户将收到网站的使用条款和结果。Memorial Sloan Ketter-ing癌症中心（MSK）不保证结果的准确性。提交的图像必须是上传上述图像的用户的财产，MSK保留复制和使用任何提交的图像的权利。提交的图像不应包含个 人身 份 信息 （ PII） 或个 人 健康 信息 （ PHI） 。DeepLIIF的内容和结果仅用于个人和学术研究，不得用 于 任 何 商 业 环 境 。 底 层 的 DeepLIIF 项 目（ https://github.com/nadeemlab/DeepLIIF）在Apache 2.0下使用Commons Clause许可，可用于非商业学术目的。3. 用户体验我们提供了三种方法，用户可以通过这些方法访问在线DeepLIIF平台的功能。第一种是通过一个普通的网站界面，用户可以上传图像，查看/下载结果，并可视化和交互调整量化分数。对于寻求更自动化方法的用户，我们公开了一个可以通过编程访问的API端点。此外，我们还利用该端点创建了一个ImageJ插件，允许用户直接在ImageJ应用程序中访问DeepLIIF。网站界面DeepLIIF平台通过传统的网站用户界面提供，仅需要符合标准的现代Web浏览器，无需安装其他客户端软件。使用网站上传和获取DeepLIIF模型结果的步骤如图3所示。这些图显示了桌面用户的网站外观，尽管界面是完全响应的，可以在任何设备上使用用户在网站上的一般步骤包括：1. 上传病理学数字图像。2. 验证缩略图并选择图像分辨率。3. 查看/下载图像和量化结果。4. 交互式调整分割并更新最终结果。图像上传。DeepLIIF的主页（图3a）为用户提供了通过在目标区域上拖放或通过文件上传对话框上传图像的选项。用户也可以从上传区域下面的示例图像中选择一个，如果他们想尝试系统，但没有自己的病理图像。预先计算的结果不用于样本图像，因此如果选择了样本，则会通过与用户上传的任何图像相同的管道进行处理一旦选定文件或样本，图像将自动发送到服务器进行验证。图像验证。一旦上传的图像被服务器验证为图像并且在所需的大小（目前限制为3000 3000像素）内，图像数据（没有原始上传的任何元数据）将存储在我们的S3桶中。生成缩略图并返回以在界面中显示（图3b）。用户可以验证图像是否按预期显示，并可以选择捕获图像时使用的分辨率（放大级别）（10、20或40）。一旦用户准备好了，通过DeepLIIF的处理就开始了。结果视图。一旦DeepLIIF模型运行并完成后处理，结果视图将呈现给用户（图3c）。显示结果推断模态（和原始上传）的缩略图，以及覆盖在原始图像上的分类分割轮廓显示的推断模态包括蛋白质标记物、苏木精、DAPI和Lap2图像。这些缩略图下方是评分结果，包括细胞核总数、阳性细胞数和阳性细胞百分比。为了进一步检查和记录，所有的全分辨率图像（以及评分结果）可以下载到一个ZIP文件中。在页面的底部，提供了一个反馈表单，以便用户可以留下关于处理图像的评论，这将使我们能够回顾性地评估我们系统的性能。互动调整。除了DeepLIIF提供的自动结果外，我们的在线平台还提供了一个交互式工具，用户可以使用该工具调整分割结果，从而调整量化结果。该视图还允许用户以多种方式可视化结果，例如具有或不具有分割轮廓以及推断的多重数据的用户可以调整分割阈值并对图像进行大小当滑块移动时，调整的视觉预览显示在页面中，该预览以JavaScript实现，并使用WebWorkers进行分布式处理，即使在支持的最高图像分辨率3000 3000下也能产生实时性能当用户对预览分割覆盖满意时，点击按钮以在服务器上执行分割图像和量化的完全更新。如果需要，用户还可以下载这些更新的结果这种交互式调整的界面如图4所示。(a) 原始IHC和分割。（b）推断的多重DAPI + Ki67 + Lap2。（c）具有分段的推断的DAPI + Ki67。图4.用户交互和多重可视化。用户可以交互式地调整分割阈值并执行大小门控。屏幕上的预览将实时更新，以显示基于调整的新细胞分割，然后可以使用这些用户指定的参数更新还提供了推断的多路复用数据的用户控制的可视化(a) 带有分割轮廓的原始IHC图像。(b)DAPI + Ki67 + Lap2的推断多重图像。(c)DAPI + Ki67的推断多重图像，具有分割轮廓。多重可视化除了原始IHC图像上的分割叠加外，我们还提供了一个用户控制的推断多重视图。用户可以组合和调整以下三种推断的多重模态，它们是DeepLIIF结果的一部分：• 蛋白标记物，指示IHC阳性细胞。• DAPI染色，突出显示细胞位置。• Lap2染色，突出显示细胞边界。这些推断的多重图像帮助用户查看没有背景噪声的细胞数据，并评估分割结果的准确性。这些模式中的每一个都可以打开或关闭，并且双滑块可以用于调整每个标记/染色通道的直方图归一化窗口另外，用户可以针对推断的多重视图和原始上传的图像视图两者来打开或关闭分割轮廓。作为示例，没有分割轮廓的DAPI + Lap2+Ki67的组合（图4b）允许用户与原始IHC图像进行比较，以确认DeepLIIF模型准确识别单个细胞以及蛋白质标志物。DAPI + Ki67与分割轮廓的组合（图4c）允许用户确认细胞分割和分类的准确性。API端点图像推断也可以通过API端点完成，使用户能够编程访问推断的模态、分割和量化结果。这是通过将包含原始图像文件的多部分编码请求发送到/api/infere端点来访问的。响应是JSON编码的数据，包括具有DeepLIIF模型的结果和量化评分值的图像阵列。结果图像是Base64编码的可移植网络图形（PNG）图像数据，允许它们轻松地在本地查看或保存。可以传递以下查询参数：• resolution（string）：用于扫描载玻片的分辨率（10×、20×、40×）;默认为20×。• （boolean）：如果为true，则使用Python ImagingLi-对于常见的图像格式，这将减少在服务器上读取图像所需的时间。• slim（boolean）：如果为true，则只返回分割结果图像。这将减少返回的数据量。代码1中给出了一个Python代码示例，展示了如何访问此API并从中获取结果。×(a) 选择感兴趣区域（ROI）。（b）ROI的（c）互动调整。图5. ImageJ插件。 (a)用户使用ImageJ徒手选择工具选择了黄色轮廓的感兴趣区域（ROI）。(b) 运行DeepLIIF插件提交图像区域并获得结果后，将显示ROI的分割和评分。(c)用户可以调用插件的交互式调整命令来调整结果，这在DeepLIIF网站上是可能的。ImageJ插件API端点还允许通过自定义插件将我们的平台集成到开源的完整幻灯片查看器中，例如QuPath/Im-ageJ。我们已经开发并提供了一个ImageJ插件，允许用户轻松提交图像并从DeepLIIF云平台获取结果这个插件提供了一个类似于网站的用户体验，但是用户能够利用ImageJ提供的附加工具。例如，图5示出了在用户在图像内选择的感兴趣区域（ROI）上运行的DeepLIIF。所有推断的图像结果与评分结果一起保存为本地文件。4.局限性和未来工作目前，我们强制限制上传的图像的大小不超过30003000像素。 随着我们继续提高模型的性能，我们将增加允许的图像大小。此外，目前我们希望用户使用我们的ImageJ/QuPath插件打开整个载玻片图像，裁剪感兴趣区域（正常肿瘤区域）进行IHC评分，并上传到DeepLIIF平台。用户显然可以在其他整个幻灯片图像查看器中裁剪感兴趣的区域，并手动我们的最终目标是整合一个开源的完整幻灯片图像查看器（例如HistomicsUI，https：//digitalslidearchive。GitHub.IO/digital_slide_archive/）到网络界面中，这将允许用户上传整个载玻片图像，注释一个或多个感兴趣的区域，然后处理那些选择的区域以获得推断的模态和量化。我们的平台目前仅支持在细胞核边界附近表达的细胞核标记物（如Ki 67、ER、PR）和细胞质标记物（如CD 3/CD 8）。未来，我们还计划支持细胞质/细胞膜IHC蛋白标记物，如PD-L1，HER 2等。我们邀请读者访问我们的在线平台https：//deepliif.org，随着我们改进模型并添加额外的fea，该网站将不断更新。真的。确认该项目得到了MSK癌症中心支持基金/核心基金（P30CA 008748）和MSK数字杂交研究计划的支持引用[1] Parmida Ghahremani，Yanyun Li，Arie Kaufman，Rami Vanguri，Noah Greenwald，Michael Angelo，Travis J. Hollmann，and Saad Nadeem.深度学习-推断多重免疫荧光用于ihc定量。自然机器智能，2022年。2[2] 诺亚·F Greenwald，Geneva Miller，Erick Moen，Alex Kong ， Adam Kagel ， Thomas Doughman ，ChristineCa-machoFullaway ， BriannaJ.McIntosh ， Ke Xuan Le- owa ， Morgan SarahSchwartz ， Cole Pavelchek ， Sunny Cui ， IsabellaCamplisson，Omer Bar-Tal，Jaiveer Singh ，MaraFong ， Gautam Chaudhry ， Zion Abraham ， Jack-son Moseley ， Shiri Warshawsky ， Erin Soon ，ShirleyGreenbaum ， TylerRisom ， TravisHollmann，Sean C.本德尔，李特·凯伦，威廉·格拉夫，迈克尔·安杰洛，大卫·范·瓦伦.组织图像的全细胞分割，具有人类水平的性能，代码1使用DeepLIIF云API端点的Python代码示例。大 规 模 数 据 注 释 和 深 度 学 习 。 NatureBiotechnology，2021. 1[3] Reka Hollandi，Abel Szkalisity，Timea Toth，ErvinTasnadi ， Csaba Molnar ， Botond Mathe ， IstvanGrexa ， Jozsef Molnar ， Arpad Balind ， MateGorbe ， Maria Ko- vacs ， Ede Migh ， AllenGoodman，Tamas Balassa，Krisztian Koos，WenyuWang，Juan Carlos Caicedo，Norbert Bara，FerencKovacs ， Lassi Paavolainen ， Tivadar Danka ，Andras Kriston，Anne Elizabeth Car- penter，KevinSmith，and Peter Horvath. NucleAIzer：一个无参数的深度学习框架，用于使用图像风格转换进行细胞核分割。Cell Systems，10（5）：453-458，2020.1[4] Melissa Linkert ， Curtis T. 作 者 ： Rueden ， ChrisAllan ， Jean- Marie Burel ， Will Moore ， AndrewPatterson，Brian Lo- ranger，Josh Moore，CarlosNeves ， DonaldMacDon-ald ， AleksandraTarkowska ， Caitlin Sticco ， Emma Hill ， MikeRossner，Kevin W.Eliceiri和Jason R.滑-低元数据很重要：在现实世界中访问图像数据TheJournal of Cell Biology，189（5）：777-782，2010.3[5] 爱丽丝·M放大图片作者：Lucas，Pearl V. Ryder，Bin Li，Beth A.凯文·西米尼。Eliceiri和Anne E. 卡彭特用于生物图像分割的开源深度学习软件。细胞分子生物学，32（9）：823-829，2021。1[6] Erick Moen ， Dylan Bannon ， Takamasa Kudo ，William Graf，Markus Covert和David Van Valen。用于细胞图像分析的深度学习。Nature Methods，16（12）：1233-1246，2019。1[7] Carsen Stringer，Tim Wang，Michalis Michaelos，and Marius Pachitariu. Cellpose：细胞分割的通用算法。Nature Methods，18（1）：1001进口OS进口js o n进口基座64从I o进口马约进口R E Q U E S T S从PIL进口图像#使用t h e样品图像从t h e主要深度LIIF回购i m a g e s d i r ='./S a m p l e L a r g e T i s u e s“f i le n a m e =”ROI 1 .蓬r e s = r e q u e s t s。p o s t（u r l = ' h t t p s：/ / d e e p l i i f . org / a p i / i n f e r'，f i l e s ={、#}ptional参数可以是10x、20x（默认值）或40x“img”：open（f“{i m a g e s d i r}/{f i l e n a m e}”，“rb”）参数={' r e s o l ut i o n '：' 20 x '）}d a t a = r e s.j s o n（）def b 6 4 t o p i l（b）：返回形象open（base64. B 64解码（B . encode（））为 姓名， img 在d a t a [ ' images ' ] . i t e m s（）：WITH 打开（或打开文件，（英文） 作为f：因此，p u t p u t f i le p a t h = f '{i m a g e s d i r}/{os.p a t h.s p l i t e x t（f i l e n a m e）[0]}{ name}。蓬b 6 4 t o 图11（img）。s a ve（f，format= ' PNG'）