没有合适的资源?快使用搜索试试~ 我知道了~
COVID-19肺部超声视频分类的深度学习方法
医学信息学解锁25(2021)100687使用COVID-19深度视频分类自动检测肺部超声中的肺炎Salehe Erfanian Ebadia,b,c,Deepa Krishnaswamya,c,Shaha,Seyed EhsanSeyed Bolourib,Dornoosh Zonoobib,Russell Greinerd,Nathaniel Meuser-Herrf,Jacob L.Jaremkoa,b,Jeevesh Kapurb,e,Michelle Nogaa,c,Kumaradevan Punithakumara,c,da加拿大埃德蒙顿阿尔伯塔大学放射诊断成像系bMEDO.ai, 加拿大埃德蒙顿c施维雅虚拟心脏中心,Mazankowski Alberta心脏研究所,加拿大d加拿大埃德蒙顿阿尔伯塔大学计算科学系新加坡国立大学医院f美国纽约州锡拉丘兹上州医科大学A R T I C L E I N F O保留字:COVID-19肺部超声视频分类卷积神经网络A B S T R A C T在COVID-19大流行期间,迫切需要对患者进行快速检测和诊断。肺部超声是一种具有成本效益、可广泛使用的成像方式,可用于诊断COVID-19患者的急性呼吸窘迫综合征。 它可用于发现图像中的重要特征,包括A线、B线、实变和胸腔积液,这些都可为临床医生提供监测和诊断疾病的信息。使用便携式超声换能器,可以很容易地获得肺部超声图像,然而,图像通常质量很差。它们通常需要专家临床医生的解释,这可能是耗时的,并且是高度主观的。 我们提出了一种基于Kinetics-I3 D网络,通过深度学习快速可靠地解释肺部超声图像的方法。我们学习的模型可以对在床旁获得的整个肺部超声扫描进行分类,而不需要使用预处理或逐帧分析。我们将我们的视频分类器与一组专家放射科医生和临床医生提供的地面实况分类注释进行比较,其中包括A线,B线,实变和胸腔积液。我们的分类方法实现了90%的准确度和95%的平均精度得分与使用5倍交叉验证。结果表明,便携式肺部超声图像的自动分析,以协助临床医生在筛选和诊断患者的潜在用途。1. 介绍由严重急性呼吸系统综合征冠状病毒2(SARS-CoV-2)引起的2019冠状病毒病(COVID-19)大流行已感染全球各地的个体,迄今已造成超过300万人死亡(世界卫生组织,2020年)。随着患者数量的增加,快速检查和诊断COVID-19相关肺炎患者的能力使用几种诊断措施,例如,鼻咽拭子,但它可能会在受影响的人中产生许多假阴性[1]。使用的参比标准品是逆转录聚合酶链反应(RT-PCR)的病毒核酸[2]。获取测试结果可能会出现延迟,这与其他问题(如无法访问)一起证明需要快速可靠的诊断替代方法多年来,肺部超声(LUS)成像已被证明是有效的 在紧急护理中筛查病人的各种疾病,[3],并已用于筛查和诊断COVID-19患者[4]。采用超声成像(US)代替传统的计算机断层扫描(CT)或X射线成像有几个优点:(1)与其他成像模式相比,US是一种低成本的替代方案,尤其重要,因为它在负担能力是关键问题的国家可能是有益的(2)US不会使患者暴露于CT成像产生的有害辐射,这尤其成问题,因为患者可能被筛查多次(3)最显著的优点之一是US扫描仪是高度便携的并且换能器易于消毒,从而导致对隔离的受影响患者的有效扫描(4)重要的是,LUS成像可以筛查患者的急性呼吸窘迫综合征(ARDS)[5]。由于肺部通常含有空气,组织或液体的变化及其相应的比率会影响US图像,导致各种伪影[6]。患者*通讯作者:加拿大埃德蒙顿阿尔伯塔大学放射诊断成像系电子邮件地址: deepa@ualberta.ca(D. Krishnaswamy)。https://doi.org/10.1016/j.imu.2021.100687接收日期:2021年6月11日;接收日期:2021年7月28日;接受日期:2021年7月29日2021年8月4日网上发售2352-9148/©2021的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)中找到。可在ScienceDirect上获得目录列表医学信息学期刊首页:www.elsevier.com/locate/imuS. Erfanian Ebadi等人医学信息学解锁25(2021)1006872患有COVID-19的患者可能会出现几种症状,这些症状可能表现为US图像中各种图像伪影的组合。根据急诊床旁肺部超声(BLUE)方案[7],这些异常的范围如下:1. 反射分析(A线):反射发生在换能器和肺表面之间。健康肺部的US图像可能包括A线或水平伪影,当胸膜线以下存在多个混响时会发生[6,8]。肺不同部位A线的存在与否是决定ARDS严重程度的重要因素。2. X线分析(B线):B线是通常从胸膜线开始的长垂直伪影[5,7]。B线通常有一个定义明确的彗星尾巴外观,它覆盖了A线。当肺中存在其他介质(例如,水或血[5]。3. 肺泡实变和/或胸腔积液:肺泡实变是指空气空间(肺泡)充满液体(如水或血液)[7]。胸腔积液在US图像中产生明显的模式[7],并且是由胸膜层之间的过量液体引起的4. 肺滑动:正常情况下,肺在胸膜线处随着患者的呼吸而有节奏地滑动。在异常的情况下,这不会发生,如果有多个A线而没有B线,则可能表明气胸,或者如果只有B线,则可能表明肺炎[3,7]。A线、B线、实变和胸腔积液回声模式的例子如图所示。1.一、这些伪影可能难以在US图像中观察到,使得解释具有挑战性,特别是如果观察者没有经验的话。因此,使用快速,自动化,最重要的是,准确的方法来分析LUS图像至关重要。1.1. 相关工作已经开发了许多技术用于LUS图像和视频中各种特征的分类,其中许多是通过使用视频或基于帧的数据进行深度学习而学习的模型作为输入。已经使用子空间表示的概念开发了一种使用低成本方法的分类方法[9]。 作者建议使用称为调整偏置子空间近似(Saab)网络的多层网络将LUS图像分类为A线、B线和合并。另一组作者提出了一种基于单帧和视频级别分级对COVID-19严重程度进行分类的方法[10]。采用了四个级别的评分系统:(0)如果存在胸膜线并包括A线,(1)如果存在异常,(2)如果存在小或大的实变,以及(3)如果胸膜表面下方存在广泛的高回声区。对于基于帧的分数预测,作者开发了一种称为正则化空间Transformer网络(Reg-RNN)的方法来执行四个类别之一的分类。为了给视频打分,作者使用了一个参数化的聚合层,它结合了每个帧的预测其他研究人员已经开发出了多种涉及B系存在的疾病的技术在一种方法中,作者开发了一种方法来区分与B线存在相关的三种疾病,即流体静力性肺水肿(HPE)、非COVID-19 ARDS和COVID-19 ARDS[11]。作者使用[12]的网络架构对US图像进行逐帧分类。在另一种方法中,作者进行了检测,并将肺炎分为8个临床特征类别:正常受试者、一定数量的B线、胸腔积液和肝硬化深度[13]。多个特征被手动分组到三个类、四个类和全部八个类中。三种不同评 估 了 神 经 网 络 架 构 , 即 VGG-19 [14] , Resnet-101 [15] 和EfficientNet-B5 [16]。已经开发了其他方法,以区分COVID-19、细菌性肺炎、非COVID-19病毒性肺炎患者以及对照[17]。作者汇编了一个详细的数据集,包括受影响患者的单个帧和视频,以进行分类。对于基于帧的分类,采用了多种网络架构,包括VGG-16 [14]和Nas-NET Mobile [18]。对于基于视频的分类,使用VGG-16网络[14]以及Models Genesis [19]。作者还在[10]的独立测试集上评估了他们的方法,以预测严重程度评分为0至3。作者没有使用聚合层[10],而是开发了一种方法,该方法使用置信度估计值并忽略置信度值较低的帧1.2. 我们的贡献该研究的目的是诊断和监测肺部是否存在ARDS和肺炎。我们的提案旨在通过绕过对人类专家的耗时培训的需求来弥合LUS当前诊断程序中的差距,因为US模式难以辨别[20],并且还减少了医务人员诊断患者的时间,如[21]所示。我们提出了一个框架,用于自动检测LUS中存在于肺炎和COVID-19患者中的ARDS特征。我们的贡献可概括如下:1. 我们提出了一种技术,用于分类LUS视频扫描获得的护理点,而不需要任何进一步的处理或需要操作员干预。神经网络可以很容易地用新数据或新类别重新训练,以适应模型满足涉及LUS的特定应用的需求2. 我们的模型在一个由1530个LUS扫描和287,549帧组成的大型数据集上获得了90%的分类准确度和95%的平均精度分数,这些分类表示疾病阶段。此外,我们的模型可以部署在GPU和CPU上,每个视频的分类速度为220毫秒,平均为240帧(每秒1090帧)。3. 我们的模型不需要昂贵、费力和耗时的手动数据注释和标记;这通常是大多数监督式深度学习方法的先决条件,使其适合快速适应和迁移学习到涉及信号时空学习的新任务2. 材料和方法2.1. 用于ARDS特征分类的LUS数据集我们研究的一个主要目标是获得和创建从多个中心收集的LUS的高质量标记数据。我们有300例患者研究的大型数据集,每个标签100项研究(A线、B线和实变和/或胸腔积液)。 每项研究都有3-10个来自肺部不同区域的扫描。然后要求放射科专家标记该数据集,评估与ARDS相关的三个标准:(1)A线伪影的存在,(2)B线伪影的存在,和(3)实变和/或胸腔积液的存在。100例A线、100例B线和100例实变的分类基于ARDS标准,并来自医疗诊断记录。 所得到的标记数据集由475个呈现A线的视频、491个呈现B线的视频和564个呈现实变和/或胸腔积液的视频组成,总共1530个视频。每个视频具有以30 Hz采样的28-449帧,数据集中的帧总数为287,549。平均每个视频有240帧。我们的模型通过5重交叉验证进行了训练和测试,该验证创建了80%(1225个视频)和20%(306视频),分别用于每个折叠。S. Erfanian Ebadi等人医学信息学解锁25(2021)1006873图1.一、 肺部超声图像从左至右:A线、B线、实变和胸腔积液。图二、提出 的双流膨胀3D ConvNet方法用于肺部超声视频的病理分类。2.2. 基于Kinetics-I3 D的我们提出了一个双流膨胀3D ConvNet(I3 D)[22],用于对由LUS设备在床旁获得的视频序列进行分类;参见图2。I3D最初是为了从视频中识别人类动作而开发的。它膨胀过滤器和池内核,之前在ImageNet数据集上训练过的2D ConvNet。原始模型的参数总数为25M [22]。 在这里,我们证明了I3D具有从涉及学习时空信号的生物医学成像任务中进行迁移学习的潜力。LUS是一个很好的候选者,因为诊断是基于患者视频中的单个2D图像中看到的特征以及在每个序列中观察到的时间变化。使用Python编程语言版本3.7和TensorFlow版本1.15进行训练、推理和验证。我们使用整个视频长度来训练我们的网络,因为某些感兴趣的特征(如B线)由于操作员的捕获而只能在单个帧中出现。因此,我们不能再抽样 或者在时间上修剪我们的视频以匹配I3D输入,它接受每个视频64帧。这意味着我们必须重新实现训练和测试管道,以便使用不同帧长度的视频。这对TensorFlow来说是一个挑战,因为它没有提供一种直接的方法来读取批处理,其中批处理中的每个元素都有不同的大小。因此,我们选择使用1的批量进行训练。从LUS获得的视频长度在28-449帧之间,以30 Hz采样。我们手动裁剪视频,扫描区域,然后将视频大小调整为224 × 224像素作为输入 到网络上。I3D有两个网络流,一个接受RGB输入视频,另一个接受从RGB视频中提取的光流场。这两个网络是相同的,通过融合RGB网络的输出和流网络的输出来获得分类结果。虽然I3D最初报告说使用两个流会产生更好的性能,我们也用我们的数据观察到了这一点,但I3D也可以单独使用RGB流,而不会对分类分数造成太大影响。我们使用TV-L1算法提取光流序列[23]。由于US数据本身具有高噪声基底,并且从一帧到下一帧存在不稳定的时间变化,因此我们使用平滑因子为1.15的1D高斯滤波器沿时间通道略微平滑提取的流场。我们发现这个平滑因子在保留时间信息同时减少高频噪声方面是最好的,从而产生具有更容易理解的视觉特征的更好的流场。图3中示出了两个连续帧的原始RGB图像的两个示例和所得到的光流幅值。从光流产生的像素值被剪切到[-20,20]的范围,随后在-1和1之间重新缩放。由于流由两个通道(x和y方向)组成,因此添加了第三个零通道。值1被添加到所有三个通道,然后除以2,导致所有三个通道的值在0和1之间[22]。我们的数据集的很大一部分是通过将探头固定在患者的前胸部、侧胸部和后胸部位置的预定区域上来捕获的。当然,视频中看到的任何时间运动都是由患者的呼吸引起的。 通常,在显示A线的健康扫描的情况下,这些运动变得非常小,导致非常弱的光流场,其传达很少或没有信息,并降低了网络从流中学习的能力。因此,我们将提取的光流场提升了一个数量级。此外,通过我们的数据集,���光流的二次分量使性能提高了一半。这是直观的,因为大多数序列都是在不移动探头的情况下捕获的,因此几乎看不到沿着X分量的运动。视觉上,如果记录到沿X-方向的运动,则A线显示出它们自己。缩小垂直分量有助于模型更有效地学习沿垂直方向的非常细微的运动。然而,我们数据集中的一些视频是用扫描运动捕获的,显示了肺部的多个区域。我们也选择对这些视频我们使用动作识别网络的权重来热启动我们的模型训练,动作识别网络本身是通过训练来热启动的,以识别ImageNet数据库中的1000个对象类别了ImageNetS. Erfanian Ebadi等人医学信息学解锁25(2021)1006874图3.第三章。 两个 示例(a)至(c)和(d)至(f)展示了 两 个 连 续 帧 之 间 的光流幅值:(a)RGB帧n(b)RGB帧n+1(c)流帧n(d)RGB帧n(e)RGB帧n+1(f)流帧n。训练使I3D模型能够学习自然图像中出现的空间特征的丰富表示。利用这些特征与动态动作识别数据集的时间特征,使模型不仅能够学习场景特定的动作,强调场景设置,还能够学习时间动作,强调场景中的变化。这两个属性对于我们的LUS视频分类都是期望的;某些特征是客观的,例如A线、汇合B线或实变的存在,而其他特征是暂时显现的,例如每个呼吸周期出现和消失的B线,或压迫性肺不张,或胸膜滑动或其缺乏。我们通过在各种初始化设置下测试模型来验证这一点,即从头开始训练,从I3D权重训练而不使用热启动,以及从I3D权重训练并使用ImageNet权重进行热启动。我们发现,通过热启动ImageNet训练权重训练的模型表现优于所有其他设置,因此我们只报告这些结果此外,我们的模型当然可以只使用I3 D的RGB流进行训练和验证;如前所述,流场流倾向于捕获用于分类的重要时间信息,这有助于模型实现更好的性能。在视频训练中,我们使用Adam优化器,学习率为1 × 10−4,动量设置为0.9,使用1个NVIDIA RTX 2080 Ti。我们训练了所有的模型3300步。没有使用几何和光度数据增强,因为我们没有观察到任何改善。当独立地应用于3D视频输入的每个帧时,几何增强未能推广学习过程。这表明上下文在一个视频,并且对于网络观察到的所有输入帧,必须严格保持时间一致性。光度增强也几乎没有提高性能,因为我们的数据集或多或少是同质的,因为在捕获过程中的一致性。由于我们使用的批量大小为1,我们还通过从I3D实现中删除批量归一化层来测试我们的模型,但没有发现此设置的改进。我们使用批量归一化层报告我们的结果。直观地说,当使用批量归一化时,模型对扫描期间发生2.3. 处理数据不平衡我们的数据集在显示健康到中度疾病特征的类别方面是不平衡的。合并实变和胸腔积液的严重疾病病例仅比健康类别多约18%。 因此,在这些数据上训练的模型将偏向于丰富类。因此,我们使用焦点损失[24]作为注意力引导机制来训练我们的模型,该机制通过修改标准交叉熵损失来惩罚来自丰富类的容易分类的示例,从而降低分配给分类良好的示例的损失。在交叉熵损失函数中加入一个调制因子,以改善对困难情况的训练,其中超参数引入了n≥0。在(1)中给出了焦点损失的方程,其中p的值是类的估计概率,并且由f∈ [0,1]定义。���L(������������������������������我们还尝试了在训练过程中对稀缺类进行过采样或对丰富类进行欠采样,这两种方法对模型的泛化影响都很小,因为焦点丢失已经足够有效了。在我们的整个实验中使用k= 5的K折交叉验证方法。在讨论部分,我们通过可视化其激活图来展示我们模型的注意力能力。S. Erfanian Ebadi等人医学信息学解锁25(2021)1006875表1结果显示来自肺部超声视频的5重交叉验证分类, 分为A线、B线、胸腔积液/实变。如果患者的LUS与患者的LUS相关联,则其可能意味着患者的肺的一些区域正在从疾病向健康过渡或尚未受到不利影响。 因此,模型功能精确回忆F1分数平均值。精确度获取这些过渡病例的更多数据或修剪视频微平均值扫描A线B线Cons./ Pl.Eff.0.96 0.92 0.94 0.98见图4。在肺部超声视频上评估的多类分类器(具有5倍交叉验证)产生的混淆矩阵。3. 结果我们的方法学习将大型数据集中的视频分类为多个ARDS特征(A线,B线,实变和/或胸腔积液)。该模型还为每个分类结果提供其置信度得分。这些特征存在的概率值可以 可以提供并排序,表明与视频中存在的实际ARDS特征的强相关性,这对于进一步的统计分析或基于统计学的决策制定是有用的。如前所述,我们使用5重交叉验证来训练和测试我们的模型,并且我们确保每个类的样本数量所有的褶皱都是相似的。模型的分类性能如表1所示。该模型能够产生一个分类,8秒长的超声视频,220 ms内有240帧。该模型学习对具有高F1分数的严重疾病病例(实变和/或胸腔积液)进行分类。值得注意的是,5倍交叉验证模型实现了0.90的组合准确度得分和0.90的平衡准确度得分,这表明所有类别之间的整体性能较强。这些模型实现了总体0.95的组合微平均平均精度得分。此外,1530例病例中有1376例被正确分类,在大型数据集上的灵敏度为90%。图图4显示了5重交叉验证模型分类的混淆矩阵。根据这些预测,没有健康病例(A线)与严重病例混淆.事实上,严重的疾病病例可以正确分类的精度为96%,灵敏度为93%。对于健康病例,可以以精确度执行分类。87%,敏感性91%。每个折叠的各个模型的混淆矩阵如图5所示。从这些结果可以看出,所有模型都实现了较低的假阴性率,并且对于健康人与健康人的假阳性率严重病例。尽管如此,仍有改进的余地,因为某些情况下造成的模型混乱。我们认为这是因为我们的数据在捕获质量和设备方面具有很高的可变性。此外,在LUS扫描中通常会看到中间情况,例如,A线和B线一起存在。当患者的肺从健康状态转变为轻度脱气状态时,B线开始出现并最终消除A线。B线也可以在疾病的更晚期阶段与实变一起看到。在合并和A线同时出现或在同一条线上的情况下,这样每次扫描只显示肺部的一部分,而不是扫描显示多个区域。我们选择用这些视频报告我们的结果,包括更好地了解我们模型的功能。图图6显示了每个类的精确度-召回率曲线。平均而言,曲线下面积范围为93%至98%。受试者工作特征曲线和曲线下面积(ROC-AUC)见图10。7 .第一次会议。对于所有类别,我们获得的平均AUC评分范围为91%至96%。4. 讨论4.1. 可视化激活图人类放射学专家往往专注于特定的关键区域以形成诊断。由于我们的模型可以实现很高的分类性能,所以当训练好的模型被呈现一个新的扫描来分类时,可视化网络的权重会发生什么会很有趣。这也将使 我们可以解释分类结果的可靠性。一种简单的可视化技术是显示卷积神经网络在前向传递过程中的激活[25]。 使用这种类型的可视化,激活通常开始看起来相对模糊和密集,但随着训练的进行,激活通常变得更加稀疏和局部化。因此,我们可视化了我们报告分类结果的训练模型的活动。为了可视化我们的网络的激活,我们通过引入卷积转置层来修改I3D网络结构,用于在池化步骤之前对最后一个3D卷积层(I3D中的Mixed_4f层)的激活进行上采样,并丢弃最后一个平均值。年龄池层。所得到的上采样激活具有与视频高度和宽度相同的尺寸,但具有单个通道。图8示出了在给定输入视频的前向传递期间网络的上采样激活。为了便于解释,我们将激活叠加在原始输入图像上。具有高激活的区域显示为更亮的绿色,而包含很少或没有激活的其余区域以洋红色显示从这些可视化中可以看出,我们的分类器学习关注肺部的区域,其中A线,B线,实变,或胸腔积液,同时正确地对这些输入视频进行分类。有了这种见解,可以安全地假设鲁棒分类器自动发现有意义的感兴趣区域(ROI)检测器,代表学习的特征类别[26]。 随着ROI检测器作为学习对视频进行分类的结果而出现,可以利用相同的网络在单个前向传递中执行视频分类和ROI定位,而无需明确教导ROI的概念。 此外,激活可视化表明,网络将注意力集中在图像的正确区域上,以做出分类决策。这种网络注意力在分割任务中是非常需要的,因此可以用于执行这些特征的半监督分割,而不需要用图像对及其对应的分割标签来训练模型。奇怪的是,尽管我们的模型没有提供肺部滑动特征标签,但该模型倾向于将其大量注意力集中在可能存在肺部滑动的区域上,这围绕着胸膜线肺部滑动是放射科医师解释LUS扫描的关键要素,但在其他方面是一个困难的特征来检测和定位计算机视觉模型,各种各样的外表。因此,令人惊喜的是,该模型已经了解到胸膜区域包含一些重要的S. Erfanian Ebadi等人医学信息学解锁25(2021)1006876图五、 我们的 多类分类器在肺部超声视频上 针对每个单独折叠的混淆矩阵。图六、精确度 - 召 回 率 曲 线 与 5 重 交 叉 验 证 。从左到右:图7.第一次会议。受试者工作特征曲线与5倍交叉验证。从左至右:A线、B线和实变和/或胸腔积液分类的ROC曲线帮助它对视频进行分类的信息。直观地,对于模型,胸膜线的任何不规则性或缺乏胸膜滑动是肺异常在图8的顶行中,我们显示了标记为 作为我们专家的一线存在。可以看出,包含胸膜线及其沿扫描的混响伪影的区域高度激活网络,而其余区域倾向于激活网络。被忽视类似地,对于图2的第二行和第三行,8,我们显示了三个例子的视频与B线的存在,实变和/或胸腔积液的存在,分别。对于B线类别,模型被包含B线和胸膜线的区域高度激活;相反,对于实变和/或胸膜灌注类别,模型往往对实变(空气支气管造影或胸膜下实变)或所见压迫性肺不张特征直接引起的伪影更敏感 胸腔积液4.2. 今后工作我们展示了I3D视频分类器在大型视频数据集上LUS视频分类中的能力。然而,对于某些视频,我们的模型未能产生正确的分类。 我们认为这是由于我们的数据在捕获质量和设备方面具有很高的可变性。此外,在LUS扫描中通常会看到中间情况,例如A线和B线一起存在。未来工作中需要探索的一个有趣领域是处理这些介于两者之间的情况。我们无法做到这一点,因为在我们的数据集中,中间和过渡病例很少,因此,不会提供统计学显著性结果。解决这个问题的一个有趣的方法可能是为每个类别训练专家二进制分类器,然后通过基于数学的分析或由网络提供的决策置信度驱动的引导聚合将其决策与集成建模相结合。必须指出的是,我们的模型是作为一个决定提出的,S. Erfanian Ebadi等人医学信息学解锁25(2021)1006877见图8。分类网络激活图的可视化。从上一行到下一行:三个示例视频及其各自的A线、B线和实变和/或胸腔积液的激活图。对于每个帧,突出显示的激活通过将其覆盖在帧上来显示。高激活区域显示为更亮的绿色。(For对本图图例中所指颜色的解释,读者可参考本文的网络版这是一个支持系统,绝不是为了取代已经到位的用于检测COVID-19肺炎的协议和流程。因此,我们的模型和基于药物学的分析相结合,将使决策过程在临床环境中更加可靠。与任何有监督的方法一样,我们的模型是数据饥渴的,因此更多的数据收集工作可以帮助显着改善我们的方法的结果。更重要的是,确保有足够的样本用于边缘情况,这是罕见的,但对于 要学习的模型将帮助模型学习更好地泛化我们的模型也有潜力在肺部超声扫描检测和分割功能。作为练习,我们在隐藏空间的不同阶段对视频分类器的激活图进行了上采样和可视化,发现该模型正确地聚焦于显示ARDS特征的帧区域,而没有任何注意力引导机制。这意味着我们模型的隐藏层可以发现语义上有意义的概念;例如,它可以发现视频中的哪个视觉特征使该视频具有B线标签。这为快速半监督分割提供了巨大的潜力,这不需要昂贵的手动逐帧标记,而最先进的分割方法确实需要。在以前的文献中,已经表明对象检测器可以从训练ConvNets中出现以执行场景分类[26]。随着对象检测器作为学习对场景进行分类的结果而出现,同一个网络可以在单个前向传递中执行场景分类和对象定位,而无需明确教导对象的概念。我们相信,扩展我们的视频分类器的任务,同时视频对象分类和分割是一个有趣的课题,为未来的研究。5. 结论在这篇手稿中,我们提出了一种新的技术,用于对在床旁获得的LUS视频进行分类,该技术基于双流膨胀3D ConvNet(I3D),最初是为从视频中识别人类动作而开发的。本文中提出的方法可用于使用AI快速可靠地解释LUS,这需要最少的标记或数据预处理工作,使其适合医院使用和快速部署。我们的技术可以有效地对LUS扫描中看到的主要影像学特征进行分类,如A线、B线、实变和胸腔积液,这些特征揭示了肺部受感染影响的程度。LUS扫描的解释基于对在护理点获得的整个LUS扫描(视频)进行分类,而不需要逐帧分析或劳动密集型数据标记和预处理,这通常是许多基于AI的技术的先决条件。 我们使用迁移学习来训练我们的视频分类器,方法是从在最初训练的Kinetics-I3 D上训练的网络中温启动训练。 在ImageNet数据集上。I3D网络具有用于RGB视频和光流场输入的两个单独的流,它们被融合在一起以提供分类决策。 光流流有助于保留视频中某些重要的时间信息,从而提高模型的分类性能我们将我们的结果与放射科专家提供的地面实况评估进行了比较。我们的研究结果表明,该方法在LUS扫描的主要成像特征之间进行分类的有效性,准确度为90%,平衡准确度为90%,平均精度为95%,具有5倍交叉验证模型。还提供了进一步的统计分析,以证实拟议方法的有效性。我们的模型可以在220毫秒内提供给定超声扫描的准确分类,该超声扫描为8秒长,具有240帧,因为我们的系统通过单个前向传递到网络中来处理整个扫描,而不是传统上使用的逐帧分析,该逐帧分析是耗时的并且可以提供不太可靠的结果,仅仅是因为帧之间的时间相关性丢失。我们的方法的一个局限性是缺乏患者信息,因为收到的数据是匿名的。关于患者的随访信息也不可用。 未来的研究将确保更多的信息是现成的,包括患者的特点和入选标准。我们通过可视化网络激活来解释模型的内部工作原理。激活表明,在给定视频的前向传递过程中,网络正确地聚焦于图像中包含对诊断重要的视觉特征的区域。 虽然我们没有利用任何注意力引导机制,但我们的网络已经学会了将注意力集中在与人类相同的区域S. Erfanian Ebadi等人医学信息学解锁25(2021)1006878放射科医生会。我们相信,便携式超声成像的自动AI分析可以帮助对患有流感样或呼吸困难症状的急诊患者进行分类,确定谁需要住院,并立即识别需要ICU入院的患者。我们设想,我们的方法可以作为一种必要的筛查工具,以分配稀缺的医院资源,并帮助在COVID-19大流行中挽救生命。竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作致谢这项工作得到了Mitacs Accelerate,NSERC Alliance和CIFAR AICOVID-19 Catalyst Grants的支持作者要感谢Ma- sood Dehghan在准备这份手稿时提供的宝贵帮助引用[1]放大图片作者:Woloshi S,Patel N. SARS-CoV-2感染的假阴性测试-挑战和影响 新英格兰医学杂志2020;383(6):e38。[2]Kuzan T,Altıntoprak K,Mr. H,Ergül U,Özdemir N,Bulut Mea. 首次入院时实验室确诊和临床诊断的COVID-19患者的临床、实验室和胸部CT表现的比较。诊断干预放射学2021;27(3):336-43。[3]Volpicelli G,Elpeciary M,Blaivas M,Lichelman D,Mathis G,KirkpatrickA,Melniker L,Gargani L,Noble V,Via G,Dean A. 国际循证医学对床旁肺部超声检查的建议。重症监护医学2012;38(4):577-91。[4]Smith M,Hayward S,Innes S,Miller A. COVID-19患者的床旁肺部超声-叙述性综述。麻醉2020;75(8):1096-104。[5]Soldati G,Smargiassi A,Inchingolo R,Buonsenso D,Perrone T,BrigantiDF,Perlini S,Torri E,Mariani A,Mossolani EE,et al. Proposal for theinternationalstandardization of the use of lung ultrasound for patients withCOVID-19:Asimple,quantitative,reproducible method. J Ultrasound Med2020.[6]Soldati G,Smargiassi A,Inchingolo R,Buonsenso D,Perrone T,BrigantiDF,Perlini S,Torri E,Mariani A,Mossolani EE,et al. Is there a role forlungultrasound during the COVID-19 pandemic? J Ultrasound Med 2020.[7]Lichandra DA,Meziere GA.肺部超声在急性呼吸衰竭诊断中的相关性*:BLUE方案胸部2008;134(1):117[8]Carrer L,Donini E,Marinelli D,Zanetti M,Mento F,Torri E,Smargiassi A,Inchingolo R,Soldati G,Demi L,Bovolo F.从肺部超声数据中自动提取胸膜线和COVID-19评 分。 IEEE TransUltrason FerroelectrFreq Control2020;67( 11) :2207-17.[9]Hou D, Hou R , HouJ. Interpretable saab subspace network for COVID-19lungultrasound screening.在2020年第11届IEEE年度普适计算,电子&移动通信会议(UEMCON)。2020年,p. 393-8[10] [1] Roy S, Menapace W , Oei S, Luijten B, Fini E , Saltori C , Huijben I,Chennake-shava N,Mento F,Sentelli A,Peschiera E.深度学习用于床旁肺部超声中COVID-19标志物的分类和定位。IEEE TransMed Imaging2020;39(8):2676-87。[11] [10]杨文,杨文,杨文.卷积神经网络的开发,以区分肺部超声上出现类似病理性B线的病因:深度学习研究。BMJ Open 2021;11(3):e045120.[12] 肖莱湾Xception:Deep learning with dependently separable convolutions,In:Proceedings-30thIEEEConferenceonComputerVisionandPatternRecognition,CVPR 2017,2017:.[13] 张军,程春,陈旭,吴春,张明,薛勇,姜军,崔春。 从肺部超声图像中检测和分类肺炎。2020年第五届 国际通信、图像和信号处理会议(CCISP)2020年,p. 294-8[14] Simonyan K,Zisserman A.用于大规模图像识别的极深卷积网络。2014年,arXiv预印本arXiv:1409.1556。[15] He K,Zhang X,Ren S,SunJ. Deep residual learning for image recognition,In:ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2016; p. 770-778[16] Tan M,Le Q.重新思考卷积神经网络的模型缩放。参加:国际机器学习会议。2019年,第6105-14[17] BornJ,Wiedemann N,Cossio M, Buhre C, Brändle G,Leidermann K,Aujayeb A,Moor M,Rieck B,Borgwardt K.利用可解释的超声图像分析加速肺部病变的检测。应用科学2021;11(2):672[18] Zoph B,Vasudevan V,ShlensJ, Le Q.学习可扩展图像识别的可转移架构,在:IEEE计算机视觉和模式识别会议论文集,2018年; p。8697-8710。[19] 周Z,Sodha V,Siddiquee M,Feng R,Tajbakhsh N,Gotway M,LiangJ. 模型起源:3d医学图像分析的通用自学模型。参加:医学图像计算和计算机辅助干预国际会议。2019年,第384-93.[20] Ng M-Y,Lee EY,YangJ,Yang F,Li X,Wang H,Lui MM-s,Lo CS-Y,Leung B , Khong P-L , et al. Imaging profile of the COVID-19 infection :radiologic findingsand literature review. 放 射 心 胸 成 像 2020;2 ( 1 ) :e200034。[21] Shan F,Gao Y,WangJ, Shi W,Shi N,Han M,Xue Z,Shi Y.使用深度学习对CT 图 像 中 的 COVID-19肺 部 感 染 进 行 量 化 。2020年 , arXiv 预 印 本 arXiv :2003.04655。[22] CarreiraJ, Zisserman A.你说的是行动识别吗一个新的模型和动力学数据集,在:IEEE计算机视觉和模式识别会议论文集,2017年; p。6299-6308[23] 作者:J. H.一种基于对偶性的实时tv-l1光纤传输方法 流在:联合模式识别研讨会.2007年,p. 214比23[24] Lin T-Y , Goyal P , Girshick R , He K , Dollár P. Focal loss for dense objectdetection, In: Proceedings of the IEEE International Conference on
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- GO婚礼设计创业计划:技术驱动的婚庆服务
- 微信行业发展现状及未来发展趋势分析
- 信息技术在教育中的融合与应用策略
- 微信小程序设计规范:友好、清晰的用户体验指南
- 联鼎医疗:三级甲等医院全面容灾备份方案设计
- 构建数据指标体系:电商、社区、金融APP案例分析
- 信息技术:六年级学生制作多媒体配乐古诗教程
- 六年级学生PowerPoint音乐动画实战:制作配乐古诗演示
- 信息技术教学设计:特点与策略
- Word中制作课程表:信息技术教学设计
- Word教学:制作课程表,掌握表格基础知识
- 信息技术教研活动年度总结与成果
- 香格里拉旅游网设计解读:机遇与挑战并存
- 助理电子商务师模拟试题:设计与技术详解
- 计算机网络技术专业教学资源库建设与深圳IT产业结合
- 微信小程序开发:网络与媒体API详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功