OneFall-GAN：ADL中的自动跌倒检测模型

工程科学与技术，国际期刊35（2022）101227完整文章OneFall-GAN：一个应用于跌倒检测的Yves M.Galvãoa， Pablo Barrosb，Letícia Portela a，Roberta Andrade de Araújo Fagundesa，布鲁诺J.T.费尔南德斯aaEscola Politécnica de Pernambucob协作技术认知架构（CONTACT）单位阿提奇莱因福奥文章历史记录：收到2021年2022年6月19日修订2022年7月24日接受在线预订2022年8月10日关键词：OneFall-GAN跌倒检测异常检测Mask R-CNN AnoGanGANomalyEGBADGANA B S T R A C T老年人最常见的健康风险之一是跌倒事件，为了降低死亡风险因此，提出了自动跌倒检测系统来缓解跌倒问题，其中大多数依赖于图像检测。然而，从一系列图像中识别跌倒是具有挑战性的，因为存在于日常生活（ADL）的一些活动中的上下文信息与跌倒事件相似，并且识别模型必须处理非常高级别的信息。此外，公开可用的数据集通常是不平衡的，只有跌倒事件的合成数据。因此，不需要显式标签来训练模型的方法是可取的。由于跌倒是罕见的事件，一个可能的解决方案是使用一类方法，生成对抗网络（GAN）在这种情况下已经提出了竞争性结果。本文提出了OneFall-GAN，一种仅使用ADL进行训练的单类GAN，可以将跌倒识别为学习表示的异常。我们使用RGB相机捕获的数据训练神经网络，并通过预训练的Mask R-CNN进行预处理，该Mask R-CNN可以分割和二值化场景中的人。因此，我们的模型具有在训练阶段使用的鲁棒的时间信息，并且一旦经过训练，该模型就专门用于对ADL事件进行分类。因此，当出现跌倒事件时，能够将其分类为异常。使用这种方法，我们将二元分类问题转化为一类方法。我们的实验结果表明，我们的OneFall-GAN框架是仅使用视觉数据进行跌倒分类作为异常检测任务的有竞争力的替代方案，特别是因为与当前最先进的方法相比，它实现了最佳性能，在PRECIS HAR上达到99.02%的准确率，0.97精度，1.0召回率，在UP Fall上达到98.75%的准确率，0.87精度，0.99召回率©2022 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍跌倒是与健康风险相关的最重要的活动之一，对老年人，特别是独居的老年人来说，跌倒是一个重大的风险据估计，超过65岁的人中有三分之一每年都会摔倒[1-除此之外，治疗跌倒造成的伤害费用很高仅在2013年，据估计，美国与跌倒损伤治疗相关的费用约为340亿美元[4，5]。有不同类型的伤害造成的下跌。根据美国一家创伤医院的登记，*通讯作者。电 子 邮 件地 址 ：ymg@ecomp.poli.br（ Y.M.Galvão ） ，lcpo@ecomp.poli.br（L.Portela），pablo. iit.it（P.Barros ），roberta. upe.br（R.A.de Araújo Fagundes），bjtf@ecomp.poli.br（B.J.T. Fernandes）。中老年人因跌倒而遭受中度至重度伤害[6]。此外，跌倒还可能与其他严重损伤相关，例如，脱水、内出血或死亡，因为患者可以长时间躺在地板上[7，2]。另一个重要的统计数据表明，报道的跌倒速度越快，死亡的可能性就越小。因此，检测和快速报告跌倒的自动系统至关重要[7，2]。正确识别跌倒是一项艰巨的任务，主要是对于需要明确标记的方法，因为公开可用的数据集通常是不平衡的，有几个ADL但只有几个跌倒事件，并且它们通常都是由演员模拟的合成数据[8，9]。此外，有许多日常生活活动（ADL）类似于跌倒事件，在室内环境中，其他感官信息可能会阻碍正确识别[10]。由于跌倒是很少发生的事件，因此对循环不平衡数据集的可能解决方案是将其视为异常。因此，一类方法似乎是可取的，生成对抗https://doi.org/10.1016/j.jestch.2022.1012272215-0986/©2022 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchY.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012272网络（GAN）在这方面已经取得了令人兴奋的结果[11使用GAN，模型可以识别跌倒，而不会在训练阶段暴露于跌倒，因此，它不会受到标签分布的影响在异常检测问题中使用GAN并不是一个新奇的问题[15]，并且有不同的实现，例如AnoGan[16]，GANomaly[17]和Efficient gan-basedAnomaly[18]。然而，GAN是一个专门针对跌倒检测问题的未充分探索的领域，主要是在使用图像的问题中。正因为如此，只有少数论文使用GAN的这些变体用于此目的，使该主题的研究成为令人兴奋的领域[19，20]。本文提出了OneFall-GAN，这是一种基于GAN架构的新框架，仅使用ADL进行训练，并且可以将跌倒识别为学习表示上的异常。我们使用RGB相机捕获的数据训练神经网络，并通过预训练的Mask R-CNN进行预处理。我们探讨了与跌倒问题相关的GAN使用中存在的差距。因此，我们的论文证明了在跌倒检测问题上使用GAN是可能的，仅使用ADL图像用于此目的。我们的自定义Mask R-CNN算法类似于Mobsite等人提出的算法。[21]。然而，除了二值化和分割一个人，从场景中排除所有其他上下文信息，我们还计算了所有帧的平均值，获得了它所执行的动作的时间信息。因此，我们的模型在训练阶段使用了鲁棒的时间信息，一旦训练好，判别器就专门用于分类ADL事件。因此，当出现跌倒事件时，能够将其分类为异常。使用这种方法，我们正在把一个二元分类问题变成一个一类的方法。我们使用两个不同的数据集和三种类型的实验：使用单个数据集进行训练和评估的分割实验它包括分离90%的数据来训练模型，10%来测试它。第二个是联合数据集实验，我们将两个数据集结合起来，以增加模型训练的样本数量。最后一个是交叉数据集评估，包括在一个数据集上训练，并使用另一个数据集进行评估，每个模型总共有五个不同的实验。为了比较我们获得的结果，我们决定使用三种不同类型的基于异常的GAN来研究我们提出的框架：AnoGan[16]，GANomaly[17]和EGBAD[18]。除了比较哪种模型获得最佳结果外，还特别注意评估时间，以确定模型是否可应用于实时监控系统。在结果中，可以看到，与所有其他模型相比，我们提出的框架通常具有最佳的准确性和较低的评估时间，在一个数据集中达到了最先进的水平。本文分为六个主要部分。在第2节中，我们展示了相关的工作，接下来在第3节中，我们详细描述了我们的框架。第4节介绍了实验设置、使用的数据集和实验类型。第5节给出了所得结果，最后，第6节给出了本工作2. 相关作品有许多与跌倒检测相关的工作[22最常见的方法是使用从可穿戴传感器[25-虽然这种方法呈现了最先进的结果，但它无法推广，因为公开可用的数据集往往是不平衡的，并且只有合成的跌倒事件。此外，基于可穿戴传感器的解决方案无法提供可靠性，因为老年人经常忘记使用这些设备[32]。使用摄像头监控环境解决了使用可穿戴传感器然而，它也给正确识别跌倒带来了其他困难，例如光线变化、环境中的物体在文献中探索了不同类型的卷积神经网络（CNN）以避免这些问题。有些人试图避免使用时间数据的上下文环境信息，也没有预处理阶段来提取特征[33，34]。的工作提出了一个新的方法。[21]使用Mask R-CNN[35]在三个选定的帧上提取人的轮廓，视频，除了CNN之外还使用长短期存储器（LSTM）中的输出信息来识别是否发生跌倒。Galvão等人提出了另一种方法。[36]，作者使用来自两个不同来源（加速度计和图像）的刺激来创建多模态模型。虽然结果表明假阳性事件的数量有所减少，但所提出的模型使用标记数据，并且如前所述，它们通常依赖于显式标签信息，并且通常无法实现鲁棒的泛化模型。如前所述，另一种识别跌倒的有趣方法是将其视为异常。在这方面，有各种相关的作品[26，19，37，38]。一个例子是Galvão等人提出的[39]，其中作者建议在预处理阶段使用OpenPose和ST-GCN的模型，以及仅使用ADL训练的Autoencoder模型。使用这种方法，当视频是ADL时，可以以最小的误差重建视频。相比之下，当动作是跌倒时，则会出现更大的误差。这项工作显示了所有三个测试数据集 的 最 新 结 果 然 而 ， 这 种 方 法 依 赖 于 OpenPose 的 商 业 许 可[40Carletti等人[37]提出了另一种模型，该模型在基于智能手机的系统中使用异常检测方法来检测跌倒，其准确度高于95%。然而，它使用可穿戴传感器，因此无法提供可靠性。最后，GAN在跌倒检测问题中的应用仍在探索中。在Nho等人[19]中，作者提出了UI-GAN，这是一种基于Skip-GANomaly模型[44]的异常检测GAN，它使用可穿戴传感器的数据来识别跌倒。与文献中已有的GAN算法相比，该算法具有最好的性能.在本文中，我们探讨了使用基于异常的GAN模型应用于跌倒检测。然而，与Nho等人不同。工作[19]，我们使用来自RGB相机的数据的框架。3. 方法在本节中，我们描述了我们提出的框架和文献中提出的其他基于异常的GAN3.1. OneFall-GAN我们的框架分为两个主要阶段：预处理和训练，在接下来的部分中描述。图1说明了这些流程。每个阶段描述如下。Fig. 1. 我们提出的框架的两个主要阶段。Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012273-一二七：五我3.1.1. 预处理在第一阶段，我们使用 Matterport实现的 Mask R-CNN 网络[45]，使用CoCo数据集进行预训练[46]对视频每帧中的人进行分段和二值化。Coco数据集包含80个不同的类（包括人），分布在164，062个样本中。Matterport实现使用这些样本如下：82，783用于训练，40，504用于测试，40，775用于验证。这些信息可以在表1中看到。作者将所有图像的大小调整为1024 x 1024像素，以训练Mask R-CNN。为了保持长宽比，作者在高度和宽度不同的Mask R-CNN扩展了更快的R-CNN，包括预测的这一过程包括两个不同的阶段。首先，区域建议网络（RPN）扫描输入图像以识别可能包含对象的RoI，固定锚点以引导特征图获得实例对象信息，例如，尺寸和边界框。在第二阶段，再次扫描映射区域，模型生成掩码、边界框和识别的Mask R-CNN的默认输出仅在目标主体上应用覆盖掩码。在我们提出的框架中，我们调整输出以在所有图像背景中生成黑色，并将白色应用于主题。因此，生成二进制图像。接下来，我们总结并计算所有图像的平均值，每个视频仅生成一个图像，使用等式（一）.Mask R-CNN的完整流程可以在图2中看到，在图3中，可以看到与我们提出的输出相比的标准输出。XImi输出1/4 吨OUT表示一个人行动的时间信息。Imi是图像，T是帧的总数。为了确定连续视频中T的有效值，我们使用最大视频大小的长度。该结果的示例可以在图4中看到。最后，将每个数据值在1和1之间归一化为等式：（二）、表1图三. (a)原始图像。(b)Mask R-CNN的默认输出。(c)Mask R-CNN的输出。Coco数据集上按阶段分布的样本数量。X计算值为1/4Xi-127：5Xð2ÞCoCo数据集由方程式计算的X表示归一化数据，并且Xi是培训82,783当前数据。此步骤完成预处理阶段。有关详细测试40,504关于Mask R-CNN实现的详细信息，我们鼓励验证总计：40,775164,062其他作者可以查看原始论文[35]和Matterport实现[45]。图二、1.一、CNN提取图像的特征图;2.RPN使用CNN使用二元分类器生成多个RoI，并将非最大抑制应用于得分最高的对象3.第三章。扭曲要素用于完全连接的图层，并贯穿两个不同的网络。使用softmax和回归网络（4）来预测边界框（5）的对象分类网络;6.最后，扭曲的特征也被用来生成使用两个CNN的掩模，Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012274b¼ð Þ见图4。 （a）平均结果的ADL总和示例。(b)一个平均数的下降的例子。3.1.2. 培训在训练阶段，我们仅使用默认GAN架构中的ADL数据来训练模型以生成ADL动作。在图5中，可以看到标准GAN实现的示例。该架构由两个主要组成部分，发电机和鉴别器。第一种方法使用z潜在信息将此信息映射到新的相似图像，以获得真实数据。后者试图对数据集的数据和生成器生成的数据进行分类。由于识别器知道哪些图像是真实的，它将生成器的图像分类为假图像，以生成更精确的图像。生成器的权重基于图像的分类进行调整，并且在每个时期之后，生成器在生成类似图像方面更加专业化。因此，在训练阶段结束时，我们有一个可以生成ADL事件图像样本的生成器和一个能够识别真实信息（ADL）和虚假信息的（fall）.最后，在评估阶段，我们使用训练好的神经网络对ADL和跌倒进行分类。因此，我们将二元分类问题转化为一类问题。OneFall-GAN框架的完整流程可以在图中看到。 六、图五、默认GAN实现的示例生成器使用潜在空间信息将该信息映射到新图像。然后，识别器试图识别哪些图像是真实的，哪些是假的。根据其结果，更新了控制器和发生器。见图6。1.首先，RGB相机捕获数据; 2.对图像的框架集进行分组; 3.然后，使用CocoDataset预训练的Mask R-CNN对图像进行分割和二值化; 4.计算图像的平均值之和; 5.将数据在-1和1之间归一化;6.根据实验类型划分数据在训练阶段期间，训练传感器和发生器; 8.该方法将生成的数据和真实数据分类为真实数据或虚假数据;9. 评估阶段使用先前训练的神经网络将数据分类为ADL（真实）或跌倒（假）。3.2. 基于异常的GAN基于异常的GAN试图将潜在的空间信息映射到非异常样本。当出现异常图像时，该模型试图恢复其潜在的空间信息，并将其与查询图像进行比较。因此，使用图像之间的差异来计算异常点的视觉表示。本文探讨了以下GANAnoGAN：AnoGAN模型使用标准GAN架构来学习从潜在空间表示z到真实样本X G z。因此，它可以学习生成训练样本的表示，并且当出现异常图像时，模型可以突出图像之间的差异。然而，尽管这个过程提供了一种在异常检测问题中使用GAN的方法，但它在评估阶段的测试时间性能很差。此外，异常评分不容易解释。图7呈现了AnoGan的表示。EGBAD：EGBAD使用了另一种GAN的概念，称为BiGAN[47]。然而，它适用于异常检测问题。EGBAD使用具有生成器G的编码器E来在训练阶段期间将输入样本映射到潜在表示Z。因此，编码器还可以将x个样本映射到潜在信息，使得在评估时恢复潜在表示是不昂贵的。正因为如此，该模型在与AnoGAN模型比较时具有优势。在图8中，可以看到EGBAD的表示。GANomaly：GANomaly是基于Ano-GAN、BiGAN和EGBAD模型的概念创建的。在该网络中，生成器学习将原始样本编码到潜在空间z并解码以生成新样本。此外，自动编码器被训练以在其潜在表示中编码所生成的图像。因此，这种方法提供了损失函数的三种不同表示：上下文，对抗和编码器。该模型的一个优点是它不依赖于训练阶段的随机噪声，因为生成器充当自动编码器。在图9中示出了GANomaly模型的表示。见图7。Anogan网络的一种表示。其中x表示样本图像，x0表示生成的图像。 Gz代表生成元，而D是。最后，z是潜在空间表示。Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012275见图8。EGBAD网络的表示。其中x表示样本图像，x0表示生成的图像。 Ex表示潜在表示的编码器，Gz表示生成器。最后，D表示解码器，z是潜在空间表示，z0是解码器潜在空间表示。见图9。GANomaly网络的一种表示。其中x表示样本图像，x0表示生成的图像。 GE 是生成器编码器，GD 就是解码器最后，Ex0表示潜在表示自动编码器，z是潜在空间表示。与我们提出的模型相反，基于异常的GAN需要一个阈值来定义事件是否是异常。然而，在OneFall-GAN中，经过训练后，我们计算训练数据的异常接下来，我们评估测试数据，如果计算出的异常分数高于预定义的阈值，则检测到异常。本文中使用的基于异常的GAN模型的一般流程可以在图中看到。 10个。4. 实验装置本节描述我们的参数化、模型的架构、实验类型和使用的数据集。4.1. 模型架构在4.2节中描述的参数化步骤中，我们分析了不同的拓扑和架构。在PRECIS HAR、UP-Fall、联合和交叉验证实验上的OneFall-GAN的最佳架构如图所示。 十一岁见图10。1.首先，RGB相机捕获数据; 2.对图像的框架集进行分组; 3.然后，使用CocoDataset预训练的Mask R-CNN对图像进行分割和二值化; 4.计算图像的平均值之和; 5.将数据在-1和1之间归一化; 6.根据实验类型划分数据;7. 在训练阶段，训练; 8。该方法将生成的数据和真实数据分类为真实数据或虚假数据;9. 评估阶段需要计算来自训练集的平均数据以定义阈值; 10.最后，我们计算测试数据集的异常分数;11.如果计算的异常分数大于阈值，则事件是异常。如果不是，则该动作是ADL。见图11。我们提出的OneFall-GAN模型的架构。Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012276表2每种类型的每个实验参数的值值5%用于训练模型，5%用于调整模型。在训练阶段不使用跌倒数据因此，所有的跌倒都被用于测试阶段，并与其他数据集的数据相结合历元5-100批量8第2-10层阈值（恒定）1阈值（类型）训练集4.2. 参数化为了定义模型的最佳架构，我们使用了各种不同的参数：epoch数、批量大小、中间层数和异常检测模型的阈值。实验值参数和每个参数和模型的最佳结果分别见表2和表3可以看出，所有基于异常的GAN模型都使用计算得分的平均值作为阈值。除了联合实验中的模型EGBAD之外，每个实验的常数值c相似根据实验，分析批次大小值也呈现类似的值，与所用数据集的大小成比例。4.3. 类型的实验我们决定以三种不同的方式评估我们的框架：单数据集验证，联合数据集验证和交叉数据集验证。在所有方法中，我们在训练阶段只使用ADL动作。下面可以看到对每一个的描述(1) 单数据集验证：在第一种方法中，我们对每个数据集采用百分比分割验证。因此，我们将数据分为两组。训练集由90%的数据组成，测试集使用剩余的ADL数据和所有跌倒数据。(2) 联合数据集验证：在这种验证技术中，我们组合了所有使用的数据集。然后，我们使用与单个数据集验证相同的百分比分割技术。组合两个数据集提供了进一步的评估机会，因为模型在训练期间暴露于更多的ADL动作，并且在评估阶段暴露于各种跌倒事件。(3) 交叉数据集验证：我们在这种分割技术中使用来自一个数据集的数据，并使用不同的数据集进行测试。因此，数据集包含不同类型的图像，并且可以测试模型的泛化能力。我们使用95%的数据集4.4. 数据集我 们 选 择 了 两 个 数 据 集 来 验 证 我 们 的 框 架 ： UP- Fall[9] 和PRECIS HAR[8]。我们选择这些数据集是因为它们有各种各样的ADL活动，其中一些与跌倒相似这两个数据集在非连续视频中呈现跌倒或ADL的个体活动为了保证我们的实验可以应用于现实世界的应用程序中，我们决定使用基于数据集最扩展视频的帧数的T因此，在连续视频中，框架可以基于该数量的帧来分析预处理图像。这个流程可以在图中看到。 12个。一些动作被排除在训练数据之外，因为在预处理阶段之后，获得的输出不包含动作的表示。它主要发生在表示一个人快速走到视频场景外的动作中。此外，我们重复最后的预处理图像的跌倒事件，以模拟一个人躺在地板上很长一段时间。数据集描述如下：(1) PRECIS HAR：PRECIS HAR是一个人类动作识别数据集，包含RGB视频和3D相机上记录的深度捕获。它有16个类，每个类有50个片段，每个主题一个。 在本文中，我们在预处理阶段仅使用RGB视频。所选操作的列表见表4。见图12。 在连续视频上演示选定的帧。表3每个实验获得的最佳参数。历元批量阈值恒定OneFall-GAN（PRECIS HAR）2016––OneFall-GAN（上升-下降）1816––OneFall-GAN（联合）2032––OneFall-GAN（十字架）2032––AnoGan（PRECIS HAR）2016是说1.05AnoGan（上升-下降）3016是说1.05AnoGan（关节）2532是说1.05AnoGan（十字架）2532是说1.05EGBAD（PRECIS HAR）2016是说1.05EGBAD（上升-下降）3016是说1.05EGBAD（联合）2032是说1.5EGBAD（交叉）2032是说1.5Ganomaly（PRECIS HAR）564是说1GANomaly（上升-下降）2016是说1GANomaly（关节）1016是说1Ganomaly（交叉）1016是说1Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012277表4PRECIS HAR数据集上显示的操作类型ADL下降站起来从床上坐下来坐着不动读写振作起来走路晕倒扔纸用瓶子喝用马克杯手在身体视频包含不同的ADL和跌倒事件，所有这些都是由RGB摄像机记录的。视频的长度是可变的，包含场景中的一个人，并在执行动作时结束。对于连续视频，必须定义固定数量的最大帧进行分析。在本文中，我们决定使用最扩展视频的数量作为最大值参考。因此，每个使用的视频只生成一个图像进行分析，我们提出的框架。在预处理阶段之后，生成了534个数据，尽管每个视频只包含一个人，但有些视频在RGB流中包含小的遮挡和不同的照明条件。每种环境噪声的详细情况如下：光照条件：由于场景是在白天拍摄的，因此它们的光照条件不同。例如，某些场景具有苍白的灯光，而另一些场景具有日光照明。摄像机遮挡：某些场景有小的遮挡，例如外部动作或不受控制的环境因素的存在。所有这些都是通过鼠标在屏幕上导航的锚来模拟的。没有脚本或方向：参与者没有收到任何关于如何执行特定场景的方向。因此，由不同的人执行的相同场景生成完全不同的数据。可变视频长度：如前所述，所有视频都具有可变长度。(2) UP-Fall：该人类动作识别数据集专门针对跌倒检测。它使用摄像机和传感器，由17名受试者执行三次的11个动作组成，共计561个视频。如表5所示，其中5个动作是ADL，其余5个动作是跌倒。表5UP-FALL数据集上显示的操作类型。ADL下降用手向前摔倒站立向后跌倒坐着向后倒捡起一个物体跳落坐在空椅子照明条件：与PRECIS HAR相似，这些场景被记录了一整天。因此，它们具有不同的光照条件。此外，有些场景是在关闭环境光线的情况下录制的多人：与PRECIS HAR不同，此数据集在某些场景中包含多个人。可变视频长度：如前所述，所有视频都具有可变长度。每个数据集的样本总数和相应的实验类型见表6。每个数据集的数据分布如图所示。 13岁4.5. 评价为了评估我们的实验，我们选择了以下指标：准确度（3），F1评分（4），精确度（5），灵敏度（6），特异性（7），AUC（ROC曲线下面积）和评估时间。由于异常检测问题中存在不平衡的数据，高准确度不一定代表好的结果。因此，我们决定使用F1比较我们的结果图13岁每个数据集的t-SNE表示表6每个数据集和实验类型的样本总数ADL秋天火车测试总上升-下降568128511（ADL）57（ADL）+ 128（跌倒）696PRECIS HAR255279229（ADL）26（ADL）+279（Fall）534联合823407740（ADL）83（ADL）+407（Fall）1230●●●●●●●表7根据实验和模型获得的所有结果。PRECIS HAROneFall-GANEGBADGANOMaly阿诺甘精度百分之九十九点零二百分之九十一点三五87.03%73.43%F1得分0.980.840.760.65精度0.970.720.660.86特异性0.980.880.860.89灵敏度1.01.00.900.53AUC评估时间0.99228.04毫秒0.861668.94毫秒0.81648.58毫秒0.535575.34毫秒上升-下降OneFall-GANEGBADGANOMaly阿诺甘精度百分之九十八点七五百分之九十点零九83.54%20.36%F1得分0.920.690.440.18精度0.870.860.660.94特异性0.980.980.960.84灵敏度0.990.640.370.10AUC评估时间0.93235.84毫秒0.882826.52毫秒0.75688.78毫秒0.733379.95毫秒联合OneFall-GANEGBADGANOMaly阿诺甘精度百分之九十八点三三百分之九十三点六九百分之九十二点一六32.91%F1得分0.950.780.700.31精度0.910.670.540.88特异性0.980.910.940.89灵敏度0.990.940.990.19灵敏度评价时间0.95247.73毫秒0.77793.68毫秒0.834534.62毫秒0.548952.3毫秒交叉-向上跌倒VS精确跌倒OneFall-GANEGBADGANOMaly阿诺甘精度79.38%18.64%79.56%79.37%F1得分0.840.00.860.88精度0.740.00.810.97特异性0.520.180.510.0灵敏度0.990.10.930.81AUC0.870.500.760.48评估时间278毫秒893.12毫秒4931.30毫秒10022.31毫秒CROSS-PRECIS HAR vs UP FALLOneFall-GANEGBADGANOMaly阿诺甘精度百分之八十点三五53.72%79.23%47.47%F1得分0.740.040.740.64精度0.590.030.700.99特异性0.790.770.770.0灵敏度0.990.860.860.47AUC0.790.510.780.49评估时间301毫秒902.29毫秒5155.12毫秒10205.09毫秒Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012278Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）1012279¼¼¼¼¼ ×得分此外，我们特别关注评估时间，因为我们的目标是开发一个在检测到跌倒后快速响应的模型。准确度TPF12精密度×灵敏度精密传感器精密TP公司简介灵敏度TPTP专属性TNTNð3Þð4Þð5Þð6Þð7Þ图14.基于每种实验类型和模型的f1评分的箱形图结果。基于异常的GAN模型呈现出高方差，与我们提出的OneFall-GAN模型不同图15. 每个模型和实验类型的f1得分结果。图16.每个交叉验证模型和实验类型的f1得分结果。TP是真阳性事件，TN是真阴性，FP是假阳性，FN是假阴性。有时候，训练的生成器并不能很好地泛化，这直接影响了模型因此，我们将每个实验进行了30次，只分离出最好的10个结果。使用这种方法，我们保证结果是统计相关的，并且与OneFall-GAN模型相比，不会惩罚基于异常的因此，本文中给出的值是这十个实验的平均值5. 结果和讨论本节介绍了在评价第4.3节中解释的每种类型的实验后获得的结果。因此，表7给出了10个评价实验的平均值，图14显示了我们所有实验的箱形图，图15显示了所有实验的平均值。 15和图 16概述了每种模型和实验类型每次运行获得的F1分数。根据箱形图结果，可以看出基于异常的GAN模型在实验中呈现高方差。 另一方面，我们提出的OneFall-GAN框架显示出较小的方差，类似于AnoGan模型。我们还在表8中总结了每个实验中每个模型的最佳单个结果分析所得结果，我们可以看到，我们提出的模型提出了最好的结果在所有的实验。此外，它还提出了最短的时间在评估阶段。对一方面，AnoGan模型给出了最差的结果，这可能是因为分析计算出的异常分数具有挑战性。另一方面，GANomaly和EGBAD模型在PRECISHAR、UP-Fall和JOINT实验中表现出较高的F1分数。此外，与OneFall-GAN框架相比，EGBAD在评估阶段的时间也相似最后，只看每个模型的最佳结果，基于异常的GAN呈现出类似的结果，主要是在UP-Fall实验中，当它们获得与OneFall-GAN相同的分数时。在图17中，我们可以看到所有获得的结果的视觉表示。对于一般的交叉数据集实验，OneFall-GAN也呈现出最好的结果。此外，GANomaly也给出了类似的结果，在UP Fall上达到了79.56%的准确度，而在PRECIS HAR和79.23%的PRECIS HAR与上升下降。然而，我们的模型表现出更好的评估时间。其他模型不存在达到特异性或精密度值等于0.0的相关结果。因此，我们得出结论，只有我们的模型和GANomaly可以概括这个问题。混淆矩阵在图18、图19、图20、图21中分别可以看到OneFall-GAN、EBGAD、GANomaly和AnoGan的特征。Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）10122710表8每个实验中每个模型的最佳运行PRECIS HAROneFall-GANEGBADGANOMaly阿诺甘精度百分百百分之九十一点三五88.64%91.89%F1得分1.00.840.790.87精度1.00.720.680.89特异性1.0000灵敏度1.01.00.930.87AUC1.00.860.830.91上升-下降OneFall-GANEGBADGANOMaly阿诺甘精度百分之九十九点零一百分之九十九点零一百分之九十五点四68.19%F1得分0.940.940.680.33精度0.880.880.580.92特异性0000灵敏度1.01.00.830.20AUC0.940.940.780.79联合OneFall-GANEGBADGANOMaly阿诺甘精度百分之九十八点五七百分之九十三点二六百分之九十五点五一36.12%F1得分0.960.750.860.31精度0.920.600.780.83特异性0.00.00.00.0灵敏度1.01.00.940.19灵敏度0.960.800.870.55交叉OneFall-GANEGBADGANOMaly阿诺甘精度百分之九十六点四百分之二十点九七91.52%81.60%F1得分0.970.00.940.89精度0.960.00.961.0特异性0.840.190.820.0灵敏度1.01.00.930.81AUC0.980.520.820.50CROSSOneFall-GANEGBADGANOMaly阿诺甘精度86.32%67.04%86.89%47.75%F1得分0.830.470.860.64精度0.710.310.871.0特异性0.790.610.880.0灵敏度1.01.00.870.47AUC0.860.650.860.50图17.任何数据集中每个模型获得的所有结果的可视化表示。最后，为了将我们的结果与当前的最新技术水平进行比较，我们使用了其他将跌倒视为异常的图像，结果见表9。6. 结论跌倒检测是活动识别背景下的重要研究领域，主要是在应用于监测老年人时，因为传统监测方法的成本昂贵，并且如果跌倒被快速报告，则死亡或严重伤害的风险然而，由于不平衡数据集的性质，创建正确检测跌倒的鲁棒解决方案是复杂的。因此，异常检测技术的使用是该领域中的另一本文探讨了将GANs应用于跌倒检测的使用。我们提出了一个新颖的框架，它使用一个人执行的动作的时间信息，并且只使用Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）10122711图十八岁OneFall-GAN实验的混淆矩阵图十九岁EGBAD实验的混淆矩阵图20. GANomaly实验的混淆矩阵。图21. AnoGan实验的混淆矩阵。ADL动作，能够正确识别跌倒事件我们使用两个不同的数据集在三种类型的实验中评估我们的框架，将其与文献中存在的其他三个基于异常的GAN进行比较。结果表明，我们的OneFall-GAN框架是一个很好的替代解决方案，适用于一类问题，Y.M. Galvão，Letícia Portela，P. Barros等人工程科学与技术，国际期刊35（2022）10122712表9我们最好的结果和当前最先进的技术之间的比较。PRECIS HAR精度精度特异性灵敏度我们的模型百分之九十九点零二0.970.981.0Galvão等人的模型[39]第三十九章百分之九十八点五九0.960.990.92Popescu等人的模型[48]94.38%–––上升-下降精度精度特异性灵敏度我们的模型百分之九十八点七五0.870.980.99Galvão等人的模型[39]第三十九章百分之九十八点六二0.900.990.92Martínez-Villaseñor等人的模型[9]百分之九十五点九三0.740.660.69不需要异常的视觉信息，在所有实验中呈现最佳结果。此外，我们的框架具有优势，因为它不需要预定义的阈值来对ADL和跌倒进行分类。它还提供了在评估阶段确定跌倒的最短时间寻找唯一最好的运行获得的结果，OneFall-GAN仍然是目前最好的结果。因此，可以得出结论，GAN模型可以应用于检测跌倒，而无需先前使用这些事件进行训练。我们鼓励研究人员将我们提出的框架或基于GAN的解决方案应用于跌倒检测问题，以在这个尚未开发的领域发现更多令人兴奋的结果。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认作者要感谢编辑和匿名审稿人提供了有见地的建议和意见，以提高 研 究 论 文 的 质 量 这 项 研 究 的 部 分 资 金 来 自 Coordenação dePessoal deNível Superior -巴西（CAPES）-金融代码001，以及巴西机构FACEPE和CNPq。引用[1] J. Pynoos，文学士Steinman，A.Q. Nguyen，环境评估和修改作为老年人跌倒预防策略，临床老年医学26（4）（2010）633-644。[2] S. Chaudhuri，H. Thompson，G. Demiris，跌倒检测设备及其在老年人中的使用：系统综述，J. Geriatric Phys. Therapy（2001）37（4）（2014）178。[