基于PyTorch的无监督强化学习方法用于超声视频的自动分类和摘要

软件影响10（2021）100185原始软件出版物vid-SAMGRAH：一个用于超声成像罗尚山口放大图片作者：JohnA.Hareendranathanba印度喀拉拉邦Palakkad印度理工学院加拿大阿尔伯塔大学A R T I C L E I N F O保留字：超声视频摘要无监督强化学习注意力集成编码器PythonPyTorchA B标准COVID-19疫情加速了对超声视频的自动分类和摘要的需求，以快速访问急诊科的病理相关信息，并降低远程医疗的资源需求。在这项工作中，提出了一种基于PyTorch的无监督强化学习方法，该方法将多特征融合用于输出肺超声的分类标签、分割图和摘要视频。无监督训练的使用消除了临床医生对关键帧进行繁琐的手动标记，从而在使用未标记或弱标记数据的训练中开辟了可扩展性的新领域。我们的方法以来自不同地区的专家临床医生为基准，显示出卓越的精度和F1评分（超过80%和44%）。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-164Reproducible Capsule的永久链接https://codeocean.com/capsule/8503804/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统软件代码语言，工具和服务使用python（Anaconda发行版），Spyder（IDE）编译要求，操作环境依赖python 3.8，PyTorch 1.10，segmentation_models_pytorch，torchvision，albumentations，opencv，h5py，numpy，matplotlib，shutil，tkinter，streamlit.请看到 https://github.com/rpm1412/LUS_Video_Summarization/blob/main/requirements.txt如果可用，链接到开发人员文档/手册https://arxiv.org/abs/2109.01309问题支持电子邮件mahesh@iitpkd.ac.in1. 介绍COVID-19大流行扩大了超声成像用于连续监测的诊断潜力，因为它不受电离辐射的影响，便携式且几乎不需要专用设施，使其成为与其他成像方式相比经济的诊断工具[1但是，在实际场景中实现它（或任何成像模态）面临双重挑战，即，（1）缺乏人类专家（临床医生）来解释所生成的大量数据，以及（2）临床医生提供大数据的推断的时间约束。大量的数据。为了透视生成的数据量，考虑用于肺部评估的典型超声视频以30 fps持续30 s，仅针对单个评估产生约一千帧。生成的大量数据带来了两个主要挑战-(1)因为临床医生的时间有限，并且手动梳理大量数据变得不切实际，以及（2）大数据文件需要更大的带宽和存储要求，以用于通过因特网进行远程医疗，以用于专家注释和诊断。为了解决上述增长的不成比例的数据量相对于可用的人类专家来分析它们的瓶颈，本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：rpmedu22@gmail.com（R.P. Mathews），mahesh@iitpkd.ac.in（M.R. Panicker）、hareendr@ualberta.ca（A.R.Hareendranathan）。https://doi.org/10.1016/j.simpa.2021.100185接收日期：2021年11月14日;接收日期：2021年11月22日;接受日期：2021年11月22日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsR.P. 马修斯，M.R.Panicker和A.R.哈伦德拉纳坦软件影响10（2021）1001852Fig. 1. 图形化的视频摘要算法. 输入视频帧使用标准编码器架构进行编码，然后使用LSTM解码器。总结的视频包含病理相关的关键帧，并与分类评分和分割图重叠，便于临床医生诊断我们开发了一种快速可靠的方法来连接机器数据和人类专家之间的差距。提出了一种基于PyTorch的多潜在空间强化学习驱动的视频摘要工具，该工具将有助于从给定的超声视频中提取相关的关键帧。视频中的关键帧通过叠加机器分类评分（健康-不健康肺）并突出显示病理相关特征（如B线、胸膜和A线）传达诊断相关信息，使临床医生更容易做出最终决定。这个工具将帮助人类专家通过为关键帧提供覆盖的病理分割，减少了人工干预的数量，并降低了远程医疗中的存储和带宽要求2. 描述为了执行视频摘要的任务并提供具有病理标记的机器分数，采用了无监督的基于多潜在空间的强化学习（RL）方法。该算法被设计为通过仔细分析摘要流水线中的组件（如编码器-解码器对）和奖励函数的形成来提供鲁棒且优异的视频摘要能力。在本文中，总结管道是触及与图形摘要图。1.一、 该算法的完整实现及其细节可以在[4]中找到（该论文的链接在GitHub repo [5]中提供）。除了论文之外，代码和训练模型也可以从GitHub存储库中轻松访问，其中包括一组4个超声视频样本，用于演示摘要算法的工作2.1. 编解码器来自多个编码器（分类、分割和自动编码）的潜在向量的形成为概括网络提供了肺图像的不同方面，使其成为用于超声视频概括的鲁棒方法。与自然图像不同，超声图像的特征在于重要的病理特征，这些病理特征对于诊断至关重要。例如，一个训练来区分健康和不健康的肺的分类器可能会集中在B线、胸膜下实变以及其他要分类的特征，而分割网络将专注于纹理和强度，以将肺分割成解剖结构，如胸膜、A线和B线，而自动编码器形成最紧凑的表示并且因此三个编码器负责对肺部图像的不同方面进行编码。通过采用这三个（即分类网络，分割网络和自动编码网络）的融合，我们能够获得对摘要鲁棒的图像表示。这些多潜在空间特征的融合使用注意力机制来执行，以确保相关特征被融合，从而获得可能的最佳摘要。由于视频是序列中的帧，因此使用LSTM架构[6]执行摘要，该架构直观地处理序列并在帧之间合并时间信息。LSTM将视频中的帧分类为关键帧（将概率分配给指示其重要性的帧以包括在摘要中），然后通过选择最高的帧概率分数来形成摘要。2.2. 奖励总结算法按照无监督RL方法[7，8]进行训练。视频中关键帧的地面实况临床注释由于临床医生需要梳理视频中的数千帧来注释关键帧。在超声视频中，关键帧通常很少，这使得临床医生更难可靠地标记这些视频。使用RL，可以通过形成合适的奖励函数来进行训练，以鼓励算法基于病理特征选择诊断相关的关键帧，而不需要通过以下方式进行手动标记：放射科医生这种关键帧的选择由奖励的新组件来执行，例如（1）clsf：基于肺部健康状态的分数，其有助于优先挑选出不健康的帧（从分类器网络获得），（2）ssim：结构相似性指数分数，以促进不相似帧的选择，以及（3）rep + div：代表性和多样性分数[7]，以获得代表性和多样性帧之间的平衡总结 的视频。R.P. 马修斯，M.R.Panicker和A.R.哈伦德拉纳坦软件影响10（2021）1001853图二. 算法的优先（诊断重要）总结方面。 （A）超声扫描中存在模糊区域，以及（B）优先 选择病理相关的结构，如用于概要的B线表1视频摘要方法的定量分析。ApproachEncoder -LSTM DecoderPrecisionRecall���1ReF在诊断相关帧的优先总结中优于一般奖励。一般分类46.38 16.11 23.91 78.62细分自动编码59.46 22.84 33.00 78.113. 软件影响在COVID-19持续和之后的几年里，我们的注意力编码器融合80. 24 30. 37 44. 06 77. 29表2消融研究的定量分析，包括部分奖励方法Rewards编码器-LSTM解码器精度召回���1分类二十四点十五分一般rep + div细分60.78 24.2034.62自动编码58.19 22.30三十二点二十四分我们的clsf + ssim注意力编码器融合77.3329.30四 十 二 块五2.3. 结果总结网络使用在大流行期间（2020年）从3个国家获得的100个肺部超声视频进行训练，并使用来自2021年的26个超声视频进行测试，这些视频由来自3个地区的专家临床医生进行注释，以形成基准我们的系统的基础事实。无监督摘要算法使用第2.2节中提到的所有奖励进行训练，结果如表1所示。高精确度（80%），101-分数（44%）和减少（ReF）（77%）显示了我们的方法使用基于注意力的融合的潜在向量的无监督方案的优越和强大的摘要能力。���由于我们被限制为仅选择相等可能的概要帧（在超声视频中，多个帧传达类似的诊断信息）的小子集（小于由缩减因子（ReF）%表示的用于概要的整个视频的长度的四分之一），因此可以选择较低的值的回忆，是意料之中的。当将我们的结果与基于非潜在空间融合的方法进行比较时，立即清楚的是，编码器的融合对于产生准确和鲁棒的视频摘要是必不可少的。注意编码器融合的总结结果如图所示。二、以说明肺健康的机器分数的概括和叠加以及病理相关特征的分割。此外，我们还验证了我们的新的奖励，介绍（clsf +ssim），这是调整到肺部超声视频摘要的应用程序的有效性。 结果见表2。 支持使用集中奖励来帮助算法和应用远程医疗作为一种远程咨询手段得到了很好的理解[9]。其中之一是护理点超声（POCUS），它一直是远程医疗的中心主题之一[10POCUS消除了对专业放射科医生的物理存在的需要，通过由经过严格培训的技术人员获得的大量扫描数据来抵消它，以包含基本的诊断信息。因此，多余的数据将通过远程医疗发送给放射科专家转诊。这造成了两方面的问题：（1）远程医疗在全世界受到可用带宽和存储的严重限制，（2）放射科专家的时间可用性。 因此，开发软件以使获得的数据适合远程医疗传输并帮助临床医生快速做出决策是非常必要的，这里提出的工作是朝着这个方向迈出的一步，旨在开发重点方法，通过使用人工智能的概念使视频摘要（在这种情况下是肺部超声）稳健。本文开发的软件在加快肺部病例的成像和诊断/鉴定方面具有很强的能力，这在COVID-19大流行期间特别有用，当时医疗设施和从业人员已经达到极限。随着病例量呈指数级增长，所提出的视频摘要方法有助于定期监测疾病进展，在使用便携式超声机器的简单设置来评估许多患者的肺部受累方面。从社会的角度来看， 这一软件创新可以将急诊科（ED）、社区扫描中心或患者在家中仅用超声设备或POCUS转变为一个良好的诊断位置，该位置能够模仿具有复杂成像模式（如CT）的成熟医院的放射学服务，由于患者负荷、财务支出和放射科医生的可用性，这些成像模式随着这种视频摘要方法的引入，克服了两个主要挑战。第一，在进行研究以查明和解释异常现象时，对专家的亲自在场、时间和注意力的要求已大大放宽。这是通过软件隔离诊断相关信息从长的超声扫描，可以由技术人员或初级医生与最小的经验。该算法将长视频总结为关键帧，R.P. 马修斯，M.R.Panicker和A.R.哈伦德拉纳坦软件影响10（2021）1001854图三. Web应用程序部署。该工具可以选择要覆盖在帧上的分类标签和分割图。还提供了以保存帧特征。该工具将显示摘要视频，从摘要视频和帧编号随机9帧拼贴相关性，并提供机器评分（预测肺是健康还是不健康的标签）的突出显示，以及覆盖病理分割（A线、B线和胸膜）。然后，突出显示的摘要可以通过远程医疗发送给放射科专家进行最终诊断，使远程位置的放射科医生更容易快速判断疾病的进展。其次，使用摘要算法可以将大量数据摘要为较小的大小。该算法能够通过仅使用原始视频长度的四分之一来提供具有高精度的鲁棒摘要。这将存储和传输带宽需求降低了四倍，从而能够通过低带宽互联网连接实现更好的通信，这在许多远程位置是典型的。最终的输出是一个用于视频摘要的网络应用软件，它可以对给定的视频进行简要地，并提供与诊断病例相关的信息，其中机器覆盖评分和病理相关特征的分割，如图2所示。3.第三章。最后，与自然视频不同，医学视频是关键的，因为摘要中的遗漏信息是有害的。医疗视频跨模态是不同的-所使用的机器的不同的类型，在获得扫描，地理差异等涉及的放射科医生的技能，使得它更难获得一个强大的摘要。为了克服这一挑战，我们提出了潜在的矢量融合的方法，以增加的可靠性，通过使用多个特征映射从视频来概括它。这铺平了道路，进一步研究标准化程序的扫描，视频和特征预处理，以补偿不同的错误，以使摘要更可靠和鲁棒。R.P. 马修斯，M.R.Panicker和A.R.哈伦德拉纳坦软件影响10（2021）10018554. 局限性和未来发展这里提出的工作是一个强大的超声视频摘要软件的概念证明。目前，该系统由不同的临床医生使用来自不同国家的超声扫描和不同的超声机器进行培训和验证。未来的工作将包括分析拟议的系统，更好地修剪US扫描，即来自不同机器供应商的数据，标准化的超声扫描与特定的预期将进一步提高拟议的方法的性能。 此外，上述方法不限于肺部超声，并且可以容易地外推到其他超声视频，如手腕、肘部或肝脏超声，以及其他成像模态。5. 结论我们已经开发了一种用于肺部超声的强大的超声视频摘要工具，通过优先选择诊断上重要的帧来帮助临床医生进行总结，并将其与机器肺部健康评分叠加，以及突出显示病理相关特征。这将使临床医生更容易和更快地诊断疾病的进展。这也将导致更短的视频，使其适用于POCUS以及远程医疗的存储和传输，这可以说是超声放射学的未来趋势。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢作者感谢印度科学技术部-科学与工程研究委员会（DSTSERB（CVD/2020/000221））为CRG COVID 19提供的资金。作者感谢加拿大计算公司和CDAC-NVIDIA-PARAM SIDDHI AI系统为该项目提供计算资源。 作者衷心感谢专家临床医生团队，Yale Tung Chen博士，Jacob LJaremko 博 士 ， Brian Buchanan 博 士 ， Kiran Vishnu Narayan 博 士 ，Kesavadas C博士和Greeta Mathews博士，尽管在大流行期间处于繁忙时期，但他们在数据收集，专家建议和医疗注释方面做出了最大努力，帮助基准我们的系统性能。说明性实例所提出的算法的工作的说明性视频示例可以在https://youtu.be/Th-XGQWRvpo上找到，标题为Demo for Video Summarization。引用[1] Igor Barjaktarevic，Jon-Émile S. Kenny，David Berlin，Maxime Cannesson，超声在重症监护中的演变：从程序指导到血液动力学监测，J. Ultrasound Med.Off。J.Am.超声医学研究所40（2）（2021）401.[2]放大图片作者：Jennifer Oluku，Attila Stagl，Kamalpreet S. Cheema，Karmen El-Raheb，RichardBeese，床旁超声（PoCUS）在骨科急诊诊断中的作用，Cureus13（1）（2021）e13046。[3]Giovanni Volpicelli ， Luna Gargani ， Stefano Perlini ， Stefano Spinelli ， GretaBarbieri ， Antonella Lanotte ， Gonzalo García Casasola ， Ramon Nogué-Bou ，AlessandroLamorte， Tomas Villén， Lung ultrasound for the early diagnosis ofCOVID-19pneumonia：An international multicenter study，Intensive Care Med.47（4）（2021）444-454.[4]Roshan P Mathews ， Mahesh Raveendranatha Panicker ， Abhilash R Hareen-dranathan，Yale Tung Chen，Jacob L Jaremko，Brian Buchanan，Kiran VishnuNarayan，Greeta Mathews，超声成像中视频摘要的无监督多潜在空间强化学习框架，2021，arXiv预印本arXiv：2109.01309。[5]Roshan P Mathews，Mahesh Raveendranatha Panicker，用于超声成像中视频摘要 的 无 监 督 多 潜 在 空 间 强 化 学 习 框 架 ， 2021 ， GitHub 存 储 库https://github.com/rpm1412/LUS_Video_Summarization。[6]菲利克斯·A Gers，Jürgen Schmidhuber，Fred Cummins，学习忘记：用LSTM进行连续预测，神经计算。12（10）（2000）2451[7]Kaiyang Zhou ， Yu Qiao ， Tao Xiang ， Deep reinforcement learning forunsupervised video summarization with diversity-representativity reward，in：Proceedings of the AAAI Conference on Artificial Intelligence，vol. 32，1，2018.[8]Tianrui Liu ， Qingjie Meng ， Athanasios Vlontzos ， Jeremy Tan ， DanielRueckert，Bernhard Kainz，使用深度强化学习的超声视频摘要，在：医学图像计算和计算机辅助干预国际会议，Springer，2020年，第100页。483-492.[9]作 者 ： Charles R.胡 里 奥·多 恩 约 瑟 夫 ·弗 伦 克 詹 姆斯 ·克 维 达 尔 Woolscroft，Telemedicine and the COVID-19 pandemic，lessons for the future，TelemedicineE Health 26（5）（2020）571-573.[10] Marina Carbone，Marzenzo Ferrari，Michele Marconi，Roberta Piazza，AndreaDelCorso ， Daniele Adami ， Quintilia Lucchesi ， Valeria Pagni ， RaffaellaBerchiolli，一个远程超声平台，以收集专家的第二意见，在不太专业的 医院，更新外科。70（3）（2018）407[11] Christina Herrero，Yhan Colon，Akash Nagapurkar，Pablo Castañeda，护理点超声 减少了 髋关节 发育 不良婴 儿的就 诊时间 和护理 成本 ， 印度J. Orthop。（2021）1[12] 蒂莫西·T. Tran，Maung Hlaing，Martin Krause，床旁超声：低收入和中等收入国家的应用，Curr.麻醉剂。Rep.（2021）1-7.