SoftwareX 7（2018）341原始软件出版物睡眠监测器：使用3D相机数据监测和分类评分卧位的工具Martin Maseka， Chou Peng Lama，Cameron Tranthim-Fryera，Bas Jansenb，凯文浸信会baEdith Cowan University，270 Joondalup Drive，Joondalup，Western Australia，Australiab西澳大利亚州政府社区部残疾人服务处，澳大利亚西澳大利亚州东珀斯皇家街189号。ar t i cl e i nf o文章历史记录：收到2018年7月5日收到修订版2018年10月2日接受2018年10月3日关键词：卧位体位自动分析a b st ra ct我们提出了一个软件包，用于分析身体的位置时，他们躺在床上或睡觉该软件被设计为与廉价的传感器（如Microsoft Kinect）接口，因此适合在受试者自己的家中进行监测，而不是在专门的睡眠实验室进行监测。该系统是不变的床上用品和环境照明水平单次夜间会议的分析时间不到5分钟，比文献中报道的30-60分钟的分析时间有了显著的改善版权所有©2018作者.由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本1.0此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_83法律代码许可证MIT许可证（MIT）代码版本控制系统使用Git软件代码语言使用C#编译要求，操作环境依赖性对于日志程序：Windows 8 64位或更高版本，Visual Studio 2015和MicrosoftKinect 2 SDK。分析程序：Visual Studio 2015如果可用，链接到开发人员文档/手册https://github.com/EdithCowan/sleepMonitor/tree/master/manual问题支持电子邮件m. ecu.edu.au软件元数据当前软件版本1.0此版本可执行文件的永久链接https://github.com/EdithCowan/sleepMonitor/tree/master/dist法律软件许可证MIT许可证（MIT）计算平台/操作系统记录器：Microsoft Windows- 64位Windows 8或更高版本。对于分析程序：Microsoft Windows 7或更高版本。安装要求&依赖项对于记录器：Microsoft Kinect V2和Microsoft驱动程序。如果有用户手册链接-如果正式出版，在参考文献列表https://github.com/EdithCowan/sleepMonitor/tree/master/manual问题支持电子邮件m. ecu.edu.au∗通讯作者。电子邮件地址： ecu.edu.au（M. Masek）。https://doi.org/10.1016/j.softx.2018.10.0011. 介绍我们的软件开发的动机是需要一个简单而快速的系统来捕捉身体卧位2352-7110/©2018作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx342M. Masek等人/SoftwareX 7（2018）341以便回答一些与健康有关的问题。人在床上的躺姿和这些姿势的持续时间与各种医疗状况有关例如，当仰卧（仰卧）时，睡眠呼吸暂停更有可能出现[1]。另一方面，俯卧（俯卧）与癫痫[2]和婴儿猝死综合征[3]的意外猝死有关长时间保持同一姿势会增加发生压疮的风险，这对行动不便的人来说是一个严重的问题，指南建议至少每两小时改变一次姿势[4]。卧位与其他健康状况之间的联系也被假定，研究人员试图发现卧位与肩痛[5]，大脑功能和发育[6]以及睡眠质量[7]之间的联系24小时身体姿势管理的概念是职业治疗中的一个关键概念，以防止身体畸形[8]，然而，一个研究空白是缺乏夜间定位设备的证据[9]。2. 问题和背景研究卧位影响的障碍是基于临床的监测的侵入性、不便性和费用。多导睡眠图通常是通过让受试者在睡眠诊所参加多个夜晚来获取的，其中使用各种附接的传感器在每个晚上对受试者进行监测。这给受试者的正常环境带来了许多差异在文献中或作为商业产品发现了用于监测卧位的几种基于家庭的解决方案。其中许多依赖于连接到身体的传感器，由于其侵入性，可 能 会 影 响 睡 眠 或 针 对 特 定 目 的 。 例 如 ， NightBalance（NightBalance B.V.，海牙，荷兰）是一种安装在躯干上的设备，其目标是通过在佩戴者处于仰卧位时振动来预防睡眠呼吸暂停。它还跟踪并提供睡眠姿势持续时间的图表，然而，所跟踪的姿势的可配置性是有限的，并且身体卧位的视觉验证不作为输出的一部分提供。侵入性最小的监测系统依赖于摄像机和图像解释，而不是物理连接到受试者身体上的传感器。其中一些提供全自动记录和分析[11，12]。然而，完全自动化的系统存在许多缺点。首先，自动算法很容易受到可能由毯子引起的遮挡的影响。更重要的是，他们需要接受培训，适应手头的任务。对于要与不同的卧位分类协议一起重复使用的特定方法，将必须重新训练算法这是一项重要的任务，因为通常需要大量的训练例如，在[12]中，作者使用了来自78名受试者的数据，记录了六个月的时间。因此，目前的全自动方法不提供一个可以通过半自动化方法创建更通用的卧位分析工具，其中基于计算机的数据处理用于支持人类专家，而不是取代他们，但是在该领域几乎没有发表的工作这种系统的一个例子是由Cary等人开发[13]为探讨睡眠卧位与早晨脊柱症状的关系他们开发了一个协议，利用两个红外摄像机加上一个商业的，面向安全的，数字录像机。一个摄像头提供连续记录，而另一个则由运动触发。文章没有具体说明毯子是否存在于尽管在图中示出了某种类型的覆盖物，但是记录仍然是不完整的。使用来自运动检测摄像机的记录，随后手动分类为四种姿势据报道需要30分钟，而使用连续摄像机记录时需要60分钟。依赖于商业运动检测硬件的系统的一个限制是这些系统提供的有限的灵活性和报告，因为它们通常被设计为检测而不是分类运动，导致必须花费大量的时间来手动分类所得到的数据。在本文中，我们描述了一个定制开发的程序设计的廉价，不引人注目的监测和分析躺在自己的床上的受试者的位置。我们的系统 被 设 计 为 使 用 深 度 相 机 传 感 器 ， 诸 如 Microsoft Kinect（ Microsoft Corporation ， Seattle WA ） 、 Intel® RealSense™（ Intel Corporation ， Santa Clara CA ） 或 Orbbec Astra（Orbbec 3D Technology InternationalInc.Troy MI）。在我们的评估中，我们使用了微软Kinect相机版本2传感器，利用红外和深度图像，使在完全黑暗的环境中记录成为可能。虽然Kinect的发布主要是作为微软Xbox平台上游戏的输入控制器，但它也发现了许多非游戏应用程序。现有文献表明这种传感器适合于以高精度检测运动，例如Silverstein等人[14]发现Kinect版本2相机可用于跟踪呼吸运动，而不依赖于现有的商业硬件。当对象被覆盖物遮挡时，除了红外图像之外还使用深度在检测移动方面提供了更高的灵敏度当物体在覆盖物下移动时，红外图像中的像素强度显示出最小的变化，因为它们取决于覆盖物的光学性质。然而，在深度图像中，像素强度对应于与相机的距离，很容易观察到变化，报告的精度低于2 mm [15]。系统的分析组件允许分析人员设置运动阈值，然后自动将夜晚划分为在特定位置度过的段。然后，分析师能够手动调整分段，将分段分类为特定姿势并添加注释。分析系统产生一份报告，其中统计了计算出的各种躺卧姿势的持续时间。出现在本文所含图中的人类受试者及其数据已用于生成图表，他们已书面同意将该材料纳入本文。3. 软件框架3.1. 软件构架整个系统有两个部分，作为单独的可执行程序提供，用于监视和分析。监测组件程序连接到Microsoft Kinect V2摄像头，并记录受试者监控程序旨在最小化交互，并生成捕获图像的文件夹。分析程序允许对捕获的图像进行交互式分类，以确定受试者在每个位置花费的时间长度。该软件分为这两个程序，因为通常被监视的人不会进行分析，而是研究人员或助手将在与现场收集数据的计算机不同的计算机上使用分析程序来处理日志程序的多次运行分离监测和分析程序的另一个优点是使分析程序独立于所使用的监测硬件监测程序负责与监测硬件（Kinect或其他）接口并以适合分析软件的格式生成数据因此，只要为新传感器编写了一个版本的日志程序，分析程序就可以用于其他传感器产生的数据，而M. Masek等人/SoftwareX 7（2018）341343Fig. 1. 分析软件的界面，在底部显示时间轴和交互式运动图。图表上的蓝线表示移动水平，绿色垂直线对应于正在显示的当前图像，红色水平线表示用于将会话分割为不同位置的阈值3.2. 软件功能3.2.1. 监控程序监控程序有一个界面，显示摄像机的当前视图，为了最大限度地简化以避免用户错误，包含一个按钮来启动记录。设置过程包括将摄像机安装在一个安全的支架上，以便能够很好地观察床。监测程序手册中提供了监测设置的详细信息和说明监控软件每隔7秒保存一次彩色、红外和深度摄像头的图像。确定该间隔是为了在最小化所需存储空间的同时实现平衡，同时仍然能够提供对发生的运动的洞察对于每小时的监控时间，大约需要250MB的存储空间为方便起见，软件会为每个录音创建一个新文件夹。在这三种类型的图像中，只有红外和深度图像在灯光关闭时可用。我们仍然存储彩色图像以验证房间中实际有多少光线。Kinect提供了一个红外光源，允许-使所述红外图像在黑暗环境中被捕获。深度相机产生图像，其中每个像素的亮度表示该对象到相机的距离，更靠近相机的对象看起来更亮。每个屏幕截图的文件都遵循定义的命名约定，然后在加载数据时由位置分析程序解释。文件名格式为：KinectScreenshot-[MODALITY]-[DATE TIME STAMP]。[图像格式]，其中[模态]是ei-颜色、深度或红外线，[日期时间戳]的格式为yyyymmdd-hh-mm-ss，[图像格式]为jpg或png。3.2.2. 位置分析程序分析程序将在监测会话期间由监测组件软件捕获的图像的文件夹作为其输入分析软件允许将图像序列视为具有可变速度的视频，并提供时间轴，指示在监测会话中的每个点处发生的移动量分析软件的屏幕截图如图所示。1.一、移动指示图是从深度相机图像序列构造的通过首先获取两个捕获图像之间的像素强度的绝对差来导出特定X坐标时间实例处的点的y坐标，一个捕获图像在该特定时间实例处，另一个捕获图像来自先前实例。这些绝对像素差被求和以产生该时间实例的原始移动值一旦产生了整个监测会话的原始运动值，就对其进行处理以供显示。该处理涉及移动值的系列，以使中值为0，然后在0和系列标准差的四倍为了便于显示，这些值随后被缩放到0到100的范围对于没有变动的时期，变动指示图显示接近零的值。在诸如睡眠或长时间卧床休息的情况下，其中受试者通常不移动，位置的任何变化在运动图中显示为明显的峰值，并且用于将分析师的注意力吸引峰的高度对应于移动量。分析师可以通过移动“当前时间”指示器来检查沿时间轴的点水平红色阈值线可以定位为分割图形。此外，可以手动添加更多的段边界，或删除现有的段边界每个部分可以由分析师进行分类。由于实际使用的分类编码方案将因所研究的假设而异，软件提供了一组16个数字类别例如，在监测在睡眠期间依赖外部支持的人的对于标准的卧位分类，（1）仰卧，（2）俯卧，(3)可以使用左和（4）右（或这些的任何其它数字编码）。为了对一个特定的段进行分类，分析员选择段中的任何位置，然后选择他们希望分配给它的类号344M. Masek等人/SoftwareX 7（2018）341图二. 分析软件自动生成的报告摘要。该报告提供了每个分段的详细信息以及每个体位的汇总统计数据，包括整个监测会话所花费的总持续时间、该体位所花费的总会话时间的百分比以及该体位发生的分段数量。位置0指示尚未分类的片段，并且这里的编码方案是（1）仰卧，（2）俯卧，（3）左侧躺，（4）右侧躺。一旦身体位置段被分配了类别，就会以逗号分隔值（csv）格式生成一份总结监测会话的报告。图2显示了该报告的摘录。这表明，在左上角，总监测时间为6小时17分11秒，在此期间拍摄了2754组图像样本。接下来是监测会话的细分，每个体位段一行。这些行中的每一行均列出了开始序列的图像编号、分析员分配的位置分类器编号、片段的持续时间以及片段开始的时间（以一天中的时间和从监测会话开始的时间表示）。对于图2中给出的示例，受试者在位置3处开始会话（段1）并且在该位置处停留59.4分钟。监控会话细分下面是一组职位的汇总数据。对于该示例，这表明受试者在位置3（左侧躺）花费了52.8%的夜晚，在位置4（右侧躺）花费了37.2%的夜晚，并且在位置1（仰卧）花费了10%的夜晚。每个位置的总持续时间以分钟为单位，以及受试者处于每个位置的片段数量4. 执行情况和实证结果该软件是在Microsoft下用C#开发的。Net框架使用MicrosoftKinect V2 SDK。分析软件检测运动的能力是使用各种床上用品类型来测试的，这些床上用品类型被用来覆盖受试者：连体衣、轻毯子和重毯子。三种类型的覆盖物（a-c）的运动图摘录如图所示。3（a-c）.每个图上的姿势是身体位置段的指示，其中受试者处于四个位置（俯卧、仰卧、左侧、右侧）之一。从这些曲线图中明显的尖峰可以看出，即使在较重的毯子下也能检测到主要的身体运动。为了调查使用软件对分析时间的影响，在受试者睡觉的情况过夜监测计算机硬件由华硕N3530笔记本电脑组成，具有4 GBRAM，500 GB硬盘，运行Microsoft Windows 8.1。使用软件对这些监测会话中的每一个分析到四个基本躺姿（仰卧、俯卧、左侧、右侧）进行计时。该计时方案因此，分析所需的时间包括：使用分析软件导航到并打开监测会话目录的时间。读入捕获图像和生成运动图的时间进行分析的时间，将会话分段并为每个段指定一个类号。这包括设置阈值，执行自动分割，然后插入和删除分割边界，使得仅保留与卧位变化相对应的边界• 是时候保存报告了。四个位置监测会话的分析数据如表1所示。四次会议中的每一次都在四到五分钟的时间内进行了分析这比[13]中描述的系统所报告的时间要短得多，[13]中列出的分析时间为60分钟，用于分析原始视频片段，当使用运动检测触发记录时为30分钟。5. 说明性示例为了给出峰高如何对应于移动量的指示，图4示出了对应于移动量的两个相邻图像。位置变化会导致主峰，例如用于划分图3中的会话的那些。为了比较，图5示出了轻微的移动，其示例导致在图3的曲线图中发现的不太显著的峰。···M. Masek等人/SoftwareX 7（2018）341345图三. 从使用不同床上衣物的会话中提取运动图，括号中指示身体位置分段ID（1）俯卧，（2）仰卧，（3）左侧躺和（4）右侧躺）。图对应于（a）连体衣、（b）浅色毯子和（c）较重的毯子。表1四个位置监控会话的分析数据。会话ID会话长度覆盖式数量分析时间(HH：MM：SS）段(MM：SS）1（20151105-11-58-35）时间06：47：28厚毯子12四点三十六分(25mm）2（20151108-01-14-50）时间05：54：38厚毯子7四点二十七分(25mm）电话：+86-21 - 5555555传真：+86-21 - 55555555时间07：27：30薄毯8四点三十二分（2毫米）20151110-12-26-24（第四期）时间06：17：11薄毯1104时21分（2毫米）图四、 对应于主要头寸变动的变动量。受试者从左侧卧位变为仰卧位。6. 影响自2015年以来，该软件一直在西澳大利亚州政府机构残疾人服务处积极使用，其目的之一在那里，它被用来分析有运动限制的客户的睡眠姿势模式该分析提供了对物理睡眠支持系统的有效性的深入了解，并用于调查关于诸如身体疼痛之类的疾病来源的7. 结论和今后的工作身体卧位的分析可以在许多应用中具有洞察力然而，当前获得和分析数据的手段要么是昂贵的、不方便的，要么是针对单个特定应用而调整的我们的软件提供了一个开源的解决方案，最大限度地减少了对受试者的侵扰，并可用于区分可配置的身体躺姿数量。该软件帮助分析人员在监测过程中识别变化，使他们能够快速分析、解释和报告数据。该软件是通用的，为分析员提供16个数字类标签与大多数现有的解决方案不同，该系统能够在各种床上衣物完整的情况下检测躺姿的346M. Masek等人/SoftwareX 7（2018）341图五. 微小的移动所对应的变化量。受试者移动手臂并转动头部。山中贼易对于典型的四级卧位分类，可以在五分钟内分析6未来的工作可能包括为更大范围的相机技术提供支持，以及帮助回答与引言中强调的医疗条件相关的特定研究问题，例如肩痛，睡眠质量和大脑发育。尽管该软件是专门针对睡眠期间的卧位开发的，但它也可以应用于其他需要对场景变化进行分类评分的领域这些可以包括对个体的行为模式的分析，例如，以监测在从手术中恢复后恢复移动性时的活动其他应用可以是对物理空间的监控，例如可以识别不同活动水平的购物中心和停车场可能需要对程序进行一些修改以适应这些其他应用程序。利益申报作者报告无利益冲突引用[1]卡特赖特路睡眠姿势对睡眠呼吸暂停严重程度的影响。Sleep1984;7（2）：110-4.[2]LiebenthalJA，Wu S，Rose S，Ebersole JS，Tao JX.癫痫患者俯卧位与猝死的关系。神经病学2015;84（7）：703[3]Fleming PJ，Gilbert R，Azaz Y，Berry PJ，Rudd PT，Stewart A，et al. 婴儿猝死综合征中床上用品和睡姿的相互作用：一项基于人群的病例对照研究英国医学杂志1990;301（6743）：85[4]Lyder CH.压疮预防和管理。Jama2003;289（2）：223-6。[5]Zenian J.睡眠姿势与肩痛Med Hypotheses 2010;74（4）：639 - 43.[6]D'Souza JM ， D'Souza DH. 睡 眠 姿 势 和 大 脑 功 能 ： 有 联 系 吗 ？ MedHypotheses2010;75（4）：408.[7]杨伟杰，杨伟杰.青年人睡眠姿势与主观睡眠质量的关系Sleep 1983;6（1）：52[8]放 大 图 片 作 者 ： John S. 24 小 时 体 位 管 理 。 国 际 职 业 治 疗 干 预 手 册 。Switzerland：Springer; 2015，p. 189-203.[9]李伟杰，李伟杰，李伟杰.智力残疾和严重运动功能受损患者的姿势护理J ApplRes Intell Disabil 2016;31：11http://dx.doi.org/10.1111/jar.12325网站。[10]MeterskyML，Castriotta RJ.多导睡眠描记术对睡眠体位的影响：对体位性阻塞性睡眠呼吸暂停诊断的可能意义。 Responses1996;63（5）：283-7.[11]LeeJ，Hong M，Ryu S.使用kinect传感器的睡眠监测系统 Int J DistribSensorNetw 2015;11（10）. 875371.[12]Grimm T，Martinez M，Benz A，Stiefeldinger R. 使用床对齐地图的深度相机的睡眠位置分类。在：模式识别（ICPR），2016第23届国际会议2016年12月4日. IEEE; 2016，p.319比24[13]Gary D，Collinson R，Sterling M，Briffa K.使用红外线摄影机在习惯环境中检查睡眠姿势与早晨脊柱症状之间的关系J Sleep Disord：Treatment Care2016;5（2）. 得双曲正切值. doi.org/10.4172/2325-9639.1000173网站。[14]放大图片作者：John E.使用Microsoft Kinect v2传感器进行呼吸运动跟踪的比较分析。J Appl Clin Med Phys 2018;19（3）：193[15]Pöhlmann ST，Harkness EF，Taylor CJ，Astley SM.用于医疗成像的Kinect 3D传 感 器 的 评 估 。 J Med Biol Eng 2016;36 （ 6 ） ： 857-70. 得 双 曲 正 切 值 .doi.org/10.1007/s40846-016-0184-2网站。
