交互式图像分割和可视化的多百万像素HDR图像中微小物体的识别和编辑

多百万像素图像徐成远1董博宁1诺亚·斯蒂尔1 柯蒂斯·麦卡利2D. Andre wHo well1，2PradeepSen1TobiasH oüllerer11加州大学圣巴巴拉分校2Las Cumbres天文台{cxu，boning，noahstier，psen，thollerer} @ ucsb.edu，{cmccully，ahowell} @lco.global摘要我们引入了一个交互式图像分割和可视化框架，用于识别，检查和编辑大型多百万像素高动态范围（HDR）图像中的微小物体（只有几个像素宽）。在天文观测中探测宇宙射线（CR）是一个繁琐的工作流程，需要多种工具，因此我们开发了一个交互式工具包，将模型推理、HDR图像可视化、分割掩模检查和编辑统一到一个图形用户界面中。该功能集最初是为天文数据设计的，使这项工作成为生物医学、材料科学、遥感等科学领域中人在回路微小物体分割的有用研究支持工具，以及计算机视觉。我们的界面具有鼠标控制，同步，双窗口可视化的图像和分割掩模，一个关键的功能定位微小物体在多百万像素的图像。基于浏览器的该工具包还可以用作高精度注释工具，或用作交互式机器学习框架的前端。我们的开源数据集 ， CR 检 测 模 型 和 可 视 化 工 具 包 可 在https://github.com/cy-xu/cosmic-conn上获得。1. 介绍语义分割不仅是一个常见的计算机视觉任务，也是天文学中一个有几十年历史的问题。对于那些研究依赖于用光学望远镜和电荷耦合器件（CCD）成像仪观测宇宙的天体物理学家来说，在他们的观测中识别宇宙射线（CR）一直是一项具有挑战性的任务[3，8，12，13]。长焦图像可以是几百万像素或高达3，200百万像素[7]，相比之下，CR污染的像素只有几个像素宽。因为这些明亮的像素可以如果这些辐射源被误认为是真正的天文源，那么在对数据进行进一步的科学解释之前，有必要拒绝它们（见图1中的CR探测示例）。15）。识别数百万像素图像中的微小CR只是第一步。天文望远镜成像器通常被冷却到冰点以下工作，以最大限度地减少探测器暗电流和其他噪声源[2]，这些高灵敏度CCD传感器产生16位浮点高动态范围（HDR）图像，需要特殊的可视化软件。如果没有支持与流行的深度学习框架进行本地集成的科学可视化工具，检测和掩码验证将被划分为单独的步骤，这些步骤涉及在不同工具之间导出和读取文件。给定现有工具，分割、图像可视化、人工检查和可能的掩模编辑的工作流程是涉及在多个工具或软件之间切换的繁琐过程，使得开发专用工具来简化该工作流程是值得的。在我们的视频演示中，我们展示了一个交互式过程，该过程涉及对科学图像和分割掩模的持续调整，以获取可能影响相邻恒星对象分析的CR的准确覆盖范围。如果在每次调整之后都在不同的工具之间切换，那么这种水平的无缝交互是不可能的。计算机视觉研究人员可以将此可视化工具包与其他分割模型集成，为最终用户，特别是不是机器学习研究 人 员 的 领 域 专 家 ， 提 供 交 互 式 图 形 用 户 界 面（GUI）。（1）在生产中。简化的工作流程使用户能够进行实时分割、HDR图像可视化以及交互式掩模检查和编辑，而无需切换工具。GUI工具包允许任何用户从深度学习驱动的工具中受益，而无需了解编程。基于浏览器的工具可以很容易地托管在图形处理单元就绪（GPU）服务器上，因此专用/公共网络中的用户可以从任何设备享受GPU加速（第3.2节）。①②➂（B）④（一）⑤（C）图1.我们的细分框架为不同的应用场景提供了三个用户界面：（A）可视化工具包具有用于模型推断、交互式可视化和掩码编辑的图形用户界面（GUI），（B）用于与用户数据管道集成的干净Python库API，以及（C）用于批处理的命令行界面。GUI组件：1.文件的输入和输出;2.全图像预览和导航; 3缩略图快捷方式检测到的对象排名从大到小; 4图像窗口，具有各种映射（缩放）算法和手动控件，以可视化16位浮点图像; 5具有与图像同步的视场的分割掩模窗口。突出显示的像素是检测到的CR。用户可以调整左侧HDR数据的可视化，同时交互式编辑右侧的分割掩模。此外，未来的微小对象或高精度分割任务可以采用交互式界面作为多百万像素图像中像素级标记的注释工具，特别是对于HDR数据。Python后端允许与流行的深度学习框架进行原生集成，有可能成为主动机器学习和交互式机器学习的接口。（五）。检测算法的讨论不是本文的重点，因此我们简要介绍了Cosmic-CoNN [14]，这是我们在Las Cumbres天文台（LCO）部署的深度学习分割框架，用于识别天文图像中的宇宙射线我们策划了一个大型的，多样化的数据集，[15] 来自LCO全球分布的23台望远镜的4，500多个科学观测在这个数据集中，我们发现CR和非CR像素之间存在1到10，000个类别的极端不平衡，这对以前的机器学习模型提出了挑战。我们提出了一种新的损失函数和其他改进，以解决这个问题并提高模型的泛化能力。 我们的模型达到了99。百分之九十一假阳性率为0. 01%在LCO仪器和维护超过96。40%的真阳性率来自另一个天文台的数据，获得了与UNOMU-1LCO目前在世界各地拥有25台望远镜。我们的研究始于2020年，使用了所有23个当时运行的仪器的数据。https：//lco. 全球/没有被用于训练的部分（详见[14]）。我们的CR探测器已成为LCO BANZAI数据简化管道的一部分在这里，我们总结了我们的交互式可视化工具包的主要贡献：• 我们为CR检测提供了一个简化的工作流程，通过实现人工参与分割来提高质量，并减少天文图像分析和解释的总体时间成本。• 我们解决了一个在科学成像中很常见的用例，但现有工具没有很好的支持：交互式分割在大型，多百万像素HDR图像与微小的对象。• 我们发布的软件是一个开源软件包，可以部署现成的各种图像类型和分割模型，并可以促进跨许多科学学科的成像研究。此外，我们发现该工具在我们的微小对象分割模型的开发过程中非常有用交互式可视化为图像处理管道的变化提供及时的反馈，使其成为计算机视觉中有用的研究支持工具。∈图2.当模型或默认阈值没有产生理想的结果时（左），用户可以调整HDR图像映射以获得更好的可视化，同时交互式编辑蒙版（右）。概率阈值和形态膨胀允许全局遮罩操作，而铅笔工具允许像素级遮罩编辑。由用户手动添加/删除的像素标记为绿色或红色，这将覆盖全局操作。2. 使用图中所示的可视化工具包。1A是将模型推理、图像可视化、分割掩模检查和编辑统一到单个接口中的关键组件。它可以可视化二维NumPy数组[5]并直接读取FITS2文件。在配备低功耗NVIDIA RTX 3060 GPU的消费类笔记本电脑上，仅需3秒即可检测和渲染400万像素（2，000 x 2，000像素）的16位浮点图像图像窗口和分割掩模窗口始终与相同的视场同步（图1）。14& 5）。该设计为大图像中微小物体的近距离检测提供了非常有用的参考。用户可以在任何图像窗口（包括概览图像2）中使用鼠标控件进行导航和放大/缩小缩略图快捷方式3允许用户快速跳转到并检查检测到的对象，使其成为一个独特的设计，特别是用于定位非常大的图像中的微小物体。图像窗口（图）2）提供多种映射算法来将16位浮点数据映射（裁剪/归一化）到8位无符号整数，包括线性、对数和平方根缩放，以及IRAF的zscale，这是天文学家首选的算法。图像处理流水线的模块化设计3.1）允许容易地添加新的映射算法。此外，用户可以手动指定从原始数据读取的最小和最大范围，以实现HDR图像中特别需要的多功能性。每个窗口的左下角显示鼠标光标在分割掩模窗口（图2），用户可以提高或降低默认值0。5阈值，从深度学习模型的预测概率中获取二进制掩码2FITS 是 广 泛 用 于 天 文 数 据 的 图 像 和 表 格 格 式https://fits.gsfc.nasa.gov/fits documentation.htmlmap[0，1].然后，用户可以应用形态操作，如膨胀，以全局操纵掩模，或使用铅笔工具手动编辑像素级掩模。在CR检测的上下文中，下载按钮将把编辑的分割掩码附加到FITS文件中。此行为可以根据应用程序进行更改。我们还可以使用深度学习框架改变通信机制，以便用户可以在主动学习设置中启动迭代标记和训练过程。3. 系统设计可视化工具包由Flask后端和JavaScript前端提供支持（图1）。（3）第三章。基于Python的后端允许与流行的深度学习框架无缝集成我们可以在本地运行服务器服务器端只处理模型推理和用户实例管理，而图像处理流水线则完全在客户端的浏览器中进行。这种设计避免了在为多用户访问而托管服务器时使服务器过载。客户端和服务器之间的通信只发生在文件上传和下载使用自定义数据流，以减少网络延迟。3.1. 图像处理流水线我们在图像处理流水线中采用模块化设计，以最大限度地提高在流水线中添加或删除图像操作的灵活性。科学图像和分割掩模经过一系列有序的操作，模块化设计减少了计算并缩短了响应时间，因为图像在每次操作在天文数据的上下文中，管道将首先对原始数据应用用户图3.客户端和服务器之间的交互可视化工具包分辨率和死像素）。默认情况下，前面提到的zscale算法适用于映射16位图像到8位，然后在浏览器中渲染。分割掩码我们使用一个单独的掩码来跟踪用户3.2. 多用户支持与许多机器学习研究人员不同，大多数真实世界的模型最终用户无法访问GPU。考虑到这一点，我们将GUI工具包设计为基于Web的应用程序，以支持GPU加速和任何设备的多用户访问。在大规模部署中，可以根据需要重新配置额外的云GPU资源，以支持更多的用户。图4说明了我们的系统架构，它支持通过安全的用户会话多用户交互。除了用户一个唯一的请求键被构造，服务器将维护一个键的映射和上传文件的临时路径，并附加分段掩码。当用户完成图像编辑并请求下载组合结果时，密钥用于检索正确的文件。这样，当多个用户与同一个已部署的应用程序交互时，我们就避免了竞争条件。4. 与现有工具我们的交互式分割和可视化工具包具有以下主要功能：• 一个同步的双窗口设计（图。1A）和基于缩略图的图像导航（图13）使能检查和编辑大图像中的微小对象;• 计算机视觉研究人员可以通过GUI工具包交互式地检查结果，以更好地了解模型他们还可以在生产环境中为最终用户部署GUI分割工具;• 基于浏览器的应用程序可以托管在云或内部GPU服务器上，以支持来自任何设备的多用户访问和GPU加速;• Python和Flask后端允许与流行的深度学习框架无缝集成。研究人员可以调整此GUI以进行高精度注释或主动/交互式机器学习。SAOImageDS9 [6]是一个功能强大的FITS图像可视化工具，广泛应用于天文学界。DS9启发我们在工具包中开发GUI组件。它支持各种多帧布局，如平铺，闪烁和坐标对齐。尽管积极开发，但它仍然主要集中在可视化上，我们没有看到一个简单的解决方案来将这个独立的软件与流行的深度学习框架集成。ImageJ [11]是一个广泛用于生物科学的图像分析程序。ImageJ2 [10]是对多维图像数据的重写它提供了强大的图像处理功能，但需要第三方插件来同步两个图像窗口，我们ImageJ是通用的，但没有针对深度学习分割工作流进行优化。DeepImageJ [4]是一个插件，支持在ImageJ中使用预训练的深度学习模型。它提供了对生物医学模型库（BioIm- age Model Zoo）中各种模型的访问，并允许在图4.用于多用户交互的前端和后端架构。会议。但它也带来了我们上面讨论的ImageJITK-SNA [16]因3D医学图像分割而闻名，提供了来自社区贡献的强大功能但它缺乏对深度学习方法的支持，而且独立软件很难与其他框架集成。5. 讨论该演示突出了我们的三合一工具包（分割、可视化和编辑），该工具包可实现CR检测工作流程的流线化，并可在大型、数百万像素的HDR图像中实现人机交互式微小对象分割。在未来，我们预计像这样的用户界面将有助于交互式机器学习（IML）系统的开发。这样的系统是一种很有前途的方法，用于在未标记数据丰富但注释昂贵或难以获得的领域进行机器学习。IML学习范式在需要领域知识的领域特别有益，如生物医学、天文学、材料科学等，在该模型中，它有助于决策专家指导模型训练过程。IML还减少了各个学科的科学家训练机器学习模型的开销[1]。我们的交互式前端和后端架构是朝着这个方向迈出的一步。我们的数据集、CR检测模型和交互式可视化工具包都是开源的，可在https：//github.com/cy-xu/cosmic-conn网站。等新功能实例分段和多文件接口正在考虑之中。我们期待着其他计算机视觉研究人员加入这个开源项目，使这个工具包在天文学、计算机视觉、交互式机器学习和其他研究领域的各种应用中更加有用我们感谢Jennifer Jacobs教授、Jiaxiang Jiang、AlexRich、Kuo-Chin Lien和加州大学圣巴巴拉分校表达计算实验室的成员们的有益讨论和反馈。引用[1] Saleema Amershi 、 Maya Cakmak 、 William BradleyKnox和Todd Kulesza。权力给人民：人类在交互式机器学习中的作用。AI Magazine，35（4）：105 5[2] T. M.布朗，N。Baliber，F. B.比安科，M。鲍曼湾Burleson，P. 好的，M。Crellin，E'. Depagne，J. 德维时代，B. Dilday ， D. Dragomir ， M. Dubberley ， J. D.Eastman，M.埃尔菲克M. Falarski，S. Foale，M.福特湾J.Fulton，J. Garza，E. L. Gomez，M.格雷厄姆河格林湾霍尔德曼E. 霍 金 斯 湾 霍 沃 斯 河 海 恩 斯 M. Hidas ， A. E. Hjel-strom，D.A. Howell，J.Hygelund，T.A. 利斯特河洛狄尔，J. Martinez，D. S. Mullins，M. Norbury，J. Parrent，R.Paul- son，D. L. Petry，A. Pickles，V. Posner，W. E.罗辛河Ross，D. J. Sand，E. S. Saunders，J. Shobbrook，A.什波勒，R. A.斯特里特，D. Thomas，Y. Tsapras，J. R. Tufts，S.瓦伦蒂K. Vander Horst，Z.沃克，G. White和M.威利斯拉斯坎布 雷斯 天 文 台全 球 望远 镜 网 络。Publications of theAstronomical Society of the Pacific，125（931）：1031-1055，sep 2013. 一、二[3] 新郎先生天文学ccd成像仪中的宇宙射线和其他无意义的 现 象 。 在 Paola Amico ， James W. Beletic 和 JennaE.Beletic ， 编 辑 ， 天 文 学 科 学 探 测 器 ， 第 81-94 页Springer荷兰1[4] Estibaliz Go´mez-de Mariscal, Carlos Garc´ıa-Lo´pez-de Haro,Wei Ouyang, Laure`ne Donati, Emma Lundberg, MichaelUnser, Arrate Mun˜oz-Barrutia, and Daniel Sage. Deepim-agej：一个用户友好的环境，用于在imagej中运行深度学习模型Nature Methods，18（10）：1192-1195，2021.4[5] CharlesR. Harris，K. 贾罗德·米尔曼，《旧金山》。 作者：JohnW.，John W.放大图片作者：Robert Kern，Matti Picus，Stephan Hoyer，Marten H. vanKerkwijk，Matthe wBrett，All anHaldan，JaimeFerna' ndez delR'ıo，MarkWiebe，Pea ruPeterson，PierreGe' rard- Marchant，Kevin Sheppard ， Tyler Reddy ， Warren Weckesser ，Hameer Abbasi，Christoph Gohlke，and Travis E.奥列芬特用NumPy编程。Nature，585（7825）：357 2020. 3[6] W. A. Joye和E.曼德尔SAOImage DS9的开发：从一个小而 成 功 的软 件 项 目 中 学 到 的 经 验 。 在 p.Shopbell ，M.Britton和R.Ebert，编辑，Astronomical数据分析软件和系统XIV，太平洋会议系列天文学会第347卷，第110页，12月12日。2005. 4[7]S. M. Kahn，N.栗田，K.吉尔摩，M。Nordby，P.R. Schindler，J.奥利弗河Van Berg，S. Olivier，V.暴动P. Antilogus ， T. Schalk ， M. Huffer ， G. Bowden ， J.Singal，and M.福斯大型综合巡天望远镜3.2千兆像素照相机的设计和研制。在Ian S.作者：McLean，Suzanne K.Ramsay ， and Hideki Takami ， editors ， Ground-basedand Airborne Instrumentation for Astronomy III，volume7735，pages 257- 273.国际光学与光子学学会，SPIE，2010年。1[8] Curtis McCully，Steve Crawford，Gabor Kovacs，ErikTollerud，Edward Betts，Larry Bradley，Matt Craig，James Turner，Ole Streicher，Brigitta Sipocz，ThomasRobitaille和Christoph Deil。astropy/astrocrappy：v1.0.5zenodo re-lease，Nov. 2018. 1[9] 作者：王晓刚，李晓刚.Snyder，Brodie Kurczynski，Martin Norbury，and Rachel Street. Lcogt/banzai：初始版本，2018年6月。2[10] 柯蒂斯·T放大图片作者：John C.作者：Barry E.放大图片作者：Alison E.沃尔特，艾伦·T. Arena和Kevin W.Eliceiri。Imageej2：Imagej用于下一代科学图像数据。BMC Bioinformatics，18：1 4[11] 卡罗琳·A·施耐德，韦恩·S·拉斯班德，凯文·W·埃利·西里。图像到图像：图像分析25年，2012。4[12] 彼得湾范·多库姆。用拉普拉斯边缘检测法抑制宇宙线 。 Publications of the Astronomical Society of thePacific，113（789）：1420-1427，nov 2001. 1[13] 罗吉尔岛放大图片作者：Barbara E. Franklin和Lyman W.新雪怪从多轨道HST宽视场相机图像中去除宇宙射线撞击。太平洋天文学会出版物，106：798，1994年7月。1[14] Chengyuan Xu ， Curtis Mccully ， Boning Dong ， DAndrew Howell，and Pradeep Sen.宇宙连接器：宇宙射线探测深度学习框架、数据集和工具包，2021年。2[15] 徐成元，柯蒂斯·麦卡利，董博宁，D. Andrew Howell和Pradeep Sen。Cosmic-conn lco cr数据集，2021年6月。2[16] Paul A. 放 大 图 片 作 者 ： Joseph Piven ， Heather CodyHazlett，Rachel Gimpel Smith，Sean Ho，James C.天啊，还有吉多·格里格。解剖结构的用户引导3D活动轮廓分割：显著提高效率和可靠性。神经影像学，31（3）：1116-1128，2006。5