智能手机生物节律中断的交互式可视化分析框架ARGUS

视觉信息学5（2021）39ARGUS：智能手机检测到的生物行为节律中断的交互式视觉分析Hamid MansoorBohan，Walter Gerych，Abdulaziz Alajaji，LukeBuquicchio，Kavin Bohrasekaran，Emmanuel Agu，Elke Rundensteiner美国伍斯特理工学院ar t i cl e i nf o文章历史记录：收到2021年2021年6月2日收到修订版，2021年2021年7月14日在线提供保留字：交互式可视化分析昼夜节律智能手机感应数据a b st ra ct人类生物行为节律（HBRs），如睡眠-觉醒周期（昼夜节律），以及睡眠和身体活动的规律性程度具有重要的健康影响。智能手机等无处不在的设备由于人类行为是复杂的，智能手机数据是大量的，有许多渠道（传感器类型），它可以是具有挑战性的，以作出有意义的观察，检测不健康的HBR偏差，最重要的是查明中断的原因之前的工作主要利用了机器和深度学习方法等计算并且对HBR模式或原因提出了一些可操作的见解。协助分析人员发现和理解的HBR模式，中断和原因，我们提出了ARGUS，一个交互式的可视化分析框架。作为ARGUS的基础，我们设计了一个直观的节律偏差评分（RDS），它分析用户的智能手机传感器数据，提取潜在的24小时节律，并量化其不规则程度。然后，使用一个使很容易识别出HBRs规律性的破坏。ARGUS还通过链接覆盖有客观传感器信息（如地理位置和手机状态（屏幕锁定、充电））以及用户提供或智能手机推断的地面实况信息的多个可视化窗格，促进了对HBR更深入的见解和原因的理解。ARGUS中的这一系列可视化叠加使分析师能够更全面地了解HBRs、行为模式和偏离规律的情况。ARGUS的设计是由目标和任务分析研究指导的，该研究涉及精通HBR和智能手机传感的专家为了证明其实用性和通用性，使用ARGUS探索了两个不同的数据集，我们的用例和设计在专家和非专家用户的版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍美国的医疗保健系统资源不足，患者在预约之外几乎得不到护理。患者的评估通常不频繁，通常间隔数月，并且通常导致晚期诊断，使其病情恶化。新兴的研究正在探索使用传感器丰富的智能手机的可能性，这些智能手机拥有超过80%的美国人口1*通讯作者。电子邮件地址：hmansoor@wpi.edu（H.Mansoor），wgerych@wpi.edu（W.Gerych），asalajaji@wpi.edu（A. Alajaji），ljbuquicchio@wpi.edu（L. Buquicchio），kchandrasekaran@wpi.edu（K.emmanuel@wpi.edu（E. Agu），rundenst@wpi.edu（E.Rundensteiner）。1https://www.pewresearch.org/internet/fact-sheet/mobile/。https://doi.org/10.1016/j.visinf.2021.07.001以被动地检测各种疾病并收集健康信息和其它上下文信息。疾病如抑郁症（ Wang et al. ，2014; Gerych 等人， 2019 ）和流感（Madanet al. ，2011）可以通过使用从智能手机收集的传感器数据并将机器学习模型应用于它们来检测。这种新的范例被称为智能 手 机 健 康 感 测 或 智 能 手 机 疾 病 表 型 （ Onnela 和 Rauch ，2016），可以用于评估智能手机用户的重要健康相关习惯人类是有习惯的生物。人体含有许多小的“生物钟”，它们控制各种生物过程并调节“昼夜节律”（“Circa”表示大约，“diem”表示一天）或“生物行为节律”（Kreitzman和Foster，2011 ; Abdullah等人，2012）。，2017; Roenneberg，2012; Matthews et al. ，2016年）。这些节律通常反映人类生物过程的24小时周期，例如睡眠-觉醒周期、激素变化和血压变化。2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfH. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）3940人类生物行为节律（HBRs）的中断可能会产生重大的医学后果，如心理健康恶化、肥胖和心脏病（Vetter，2020; Roenneberg et al. ，2012）。睡眠和身体活动的规律性也是特别重要的健康指标，它们的偏差与严重疾病如精神疾病有关（Walker等人，2020），并且在不同年龄和不同性别中很常见（Ohayon et al. ，2002;Gaultney，2010）。Roenneberg等人（2012）进行了一项大规模研究，发现高达70%的的人患有睡眠周期的偏差。持续监测HBRs以发现偏离正常状态的情况，可以及时采取干预措施并改善整体健康状况。然而，捕获和挖掘人类行为数据以发现重要模式是具有挑战性的，特别是在现实世界中。智能手机是唯一适合捕捉这些数据，因为它们无处不在，并配备了多个传感器，如加速度计，陀螺仪，环境光和GPS，可以捕捉数据，以提供有关一个人的行为节奏的重要线索例如，人们在睡觉的时候不与手机互动是一种常见 这种缺乏互动的情况可以被智能手机捕捉到，并提供了一个有用的衡量标准，衡量人们睡眠的多少（Abdullah et al. ，2014年）。检测、监控和挖掘这些模式的能力可以使智能手机成为人类行为的代理。人类行为的智能手机感测已经被用于可靠地检测重要的行为变化（Wanget al. ，2018年），并监测受试者的健康和健康，包括心理健康（拉比等人，，2011）和学习成绩和压力情况（Wang et al. ，2014年）。虽然智能手机可以快速收集非常丰富的人类行为数据，但随着参与者数量、参与持续时间和分析的传感器流数量的增加，发现有意义的模式并理解这些数据的难度变得更加困难。先前的工作已经在很大程度上利用了计算方法，例如机器和深度学习方法（Vaizman et al. ，2018 a，b），这些通常是不可解释的，并且对HBR模式或原因提出了一些可操作的见解交互式可视化分析（IVA）是分析人员理解大型多元数据的强大方法。在这项工作中，我们专注于利用IVA，使人类行为分析师能够使用自主收集的智能手机行为数据发现和监控HBR中的中断，旨在生成可操作的见解。我们感兴趣的不仅是提供一种识别HBR中断的方法，而且同样重要的是解释这些中断。我们介绍ARGUS，一个可视化的分析框架来表示多流，异构数据使用直观的视觉隐喻，使分析师能够轻松地理解数据。ARGUS是为心理学、普适计算和数据科学等领域的各种分析师而设计和实现的用于昼夜节律的现有视觉分析框架在检测节律的偏差方面是有效的 ， 但 不 是 交 互 式 的 ， 并 且 缺 乏 生 成 可 解 释 的 见 解 的 能 力（Geissmann等人，2019; Fischer et al. ，2016年）。针对人类行为中断的现有交互式视觉分析通常集中于人类行为的特定特征（Puet al. ，2011; Senaratne et al. ，2017），例如移动性，但是不能集成智能手机收集的人类行为的多通道（传感器类型和数据流）。相比之下，我们的方法利用交互式分析来提供链接的可视化窗格，该窗格利用多个通道来使行为专家能够发现从智能手机传感器数据推断的HBR的偏差并对其进行解释。我们开发了一个直观的节奏偏差评分，然后我们使用自定义的基于被称为z的视觉隐喻（Cao et al. 、2018年）。智能手机收集的数据也在几个链接的窗格中可视化，这些窗格突出显示传感器流和某些提取特征同时出现的频率。例如，锁定的智能手机屏幕结合感测到的低光和安静条件可以指示用户睡眠良好的夜晚。总的来说，我们的贡献是：1. 一种新的直观的HBR它捕捉HBR中断，可以可视化，有效，快速，可靠的分析。2. ARGUSIVA平台，其使用一个隐喻来可视化我们的新RDS，同时还链接了其他将节奏性评分置于上下文的非语言窗格。总的来说，ARGUS捕捉到了用户的HBRs的一幅可解释的画面。ARGUS不仅可视化了行为节律的偏差，还为分析师提供了轻松发现这些偏差的潜在解释Argus集成了对人群水平HBR荟萃分析的IVA支持、对重大HBR中断的轻松识别、个体参与者HBR RDS的跨渠道探索和情境化以及相应原始传感器值的可视化。3. 专家主导的目标和任务分析，以阐明分析师在智能手机健康感测和行为节律检测领域面临的挑战，以及减轻这些挑战的可视化目标和任务4. 对ARGUS进行全面评估，使用专家反馈来确定HBR中断分析的可行用例，以及非专家评估来确定我们的视觉隐喻的可理解性和我们工具的整体易用性5. 行为研究领域的专家通过两个真实世界的数据集对精心设计的用例进行了深入的演练，展示了我们的方法，并证明了其在发现、可视化和解释HBR中断方面的有效性。本文是一个简短的文件（曼苏尔等人。，2020a），在Eurovis2020（Eurovis，2020）上展出，并在其赛道上获得荣誉奖。本文在我们最初提交的几个关键方面进行了发展和扩展：我们提供了关于生物行为节律、其健康后果和用于确定我们的新颖节律偏差评分的过程的更清晰和更详细的背景理论信息。此外，我们还提供了更多关于设计选择背后的基本原理和所使用的隐喻的细节，包括替代设计。我们还提供了一个更深入的审查现存的文献上的主题智能手机感知数据的交互式视觉分析。最后，我们报告的结果与非专家的评估（除了与专家的评估），以确定我们的视觉隐喻的有效性和易用性的ARGUS。2. 相关工作2.1. 使用智能手机捕捉人类行为IVA是理解人类行为数据的强大方法（见表1）。在野外，长时间连续收集和分析人类数据具有挑战性。智能手机感测（其中来自智能手机的传感器的数据被连续地收集和分析以推断其所有者的行为）最近已经作为人类行为分析的廉价且可扩展的方法出现。智能手机传感已被有效地用于推断抑郁水平（Saeb et al. 、H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）39412016），社交焦虑水平（Boukhechba et al. ，2018 b;拉希德等人，2020），学生的成绩点（Wang et al. ，2014）和智能手机所有者的当前背景/情况（Vaizman et al. ，2018 a）。Abdullah等人（2014，2017）甚至成功地使用了一个人的智能手机屏幕被锁定的时间段2.2. 可视化人类行为模式昼夜节律是指一个人的睡眠-觉醒周期和日常活动的周期性/规律性，这对健康有重要影响（Vetter，2020 ; Walker et al. ，2020年）。因此，监测这些节律并在必要时进行干预至关重要。智能手机可以证明在这方面非常有用，因为它们无处不在，需要低干预。 已经有很多研究兴趣使用应用于智能手机感测数据的计算模型来捕获这样的行为模式（Yanet al. ，2020年）。人类行为数据的可视化可以改善该研究领域的最新技术水平，因为它们对于发现、情境化和理解昼夜节律的中断是有用的。Fischer等（2016）试图使用腕戴式活动计传感器的数据结合他们的睡眠日志来可视化轮班工人的“昼夜节律失调”。他们设计了一种直观的方法，称为他们引入了“岛屿”和“煎饼”的概念，以指代密度图的某些区域，以发现睡眠数据的变化。Geissmann et al.（2019）创建了他们的框架还实现了直观的数据可视化，以呈现有关动物的昼夜节律信息。然而，与我们的工作不同的是，这些框架并没有可视化和链接多个智能手机信息流，以产生交互式分析，增强意义和可解释性。2.3. 交互式视觉分析（IVA）检测异常人类行为偏离正常的人类行为可能表明健康问题（Vetter，2020）。数据可视化可以成为识别异常人类行为并使偏离正常状态更清晰的有效方法，从而实现及时干预。例如，检测恶意行为，如传播未经证实的谣言（Resnick et al. ，0000），犯下财务欺诈（van denElzen et al. ，2013）或诈骗人（Koven et al. ，2018年）。Cao等人（2015年）创建了TargetVue，这是一种直观的工具，用于检测社交媒体上的异常行为和检测机器人。他们引入了z-brake的概念，这是一种直观的视觉隐喻，在Cao等人的后续工作中进一步扩展。（2018）突出了与正常行为的偏差。这些先前的IVA工作对于检测人类行为和神经节律（通过智能手机收集）的变化特别相关，因为它们显示了新颖的交互式视觉解决方案如何使分析师能够快速生成见解并在数字人类数据中找到有用的模式我们的工作通过利用IVA来破坏对健康有直接影响的野生人类行为，从而具体来说，我们使用IVA来发现自然24小时行为周期中的中断。2.4. 基于传感器的健康数据用于健康分析的典型IVA工具侧重于利用明确为健康监测目的收集的数据，如电子健康记录（EHR）记录（Abdullah，2020;Malik等人，2015; Plaisant et al. ，2003; Meyer et al. ，2013）或健康感测小工具，如Fitbits（Heng et al. ，2018; Liang et al. ，2016）、一氧化碳传感器（Polack Jr et al. ，2018）和头戴式传感器（Garcia Caballero et al. ，2019）。Polack等人（2017）发表了一篇立场文章，其中他们概述了使用交互式视觉分析通过智能手表和智能手机等可穿戴设备推进被动和机会性健康监测的几个机遇和挑战。由于智能手机是最普遍拥有的带有传感器的设备，因此我们的工作通过更多地关注智能手机感应数据来扩展。使用智能手机进行健康感测可能具有挑战性，因为它们不是专门为健康监测任务而设计的。IVA可以通过呈现从智能手机收集的数据来弥合这一差距，以提供额外的情境化，无论是在修复数据质量方面（Mansoor et al. ，2019a，b）或给予分析师利用其人类直觉并将语义标签应用于匿名数据的能力（Mansoor et al. ，2020b）。其他作品使用了直观的隐喻，如日历隐喻（Gupta et al. ，2017）来呈现日常活动水平和创新的交互技术，如日常重复事件之间的可重复的每日时间线（Zhang et al. ，2018），例如糖尿病患者的膳食。这些作品显示了应用IVA来增强对这些数据的分析的实用性，这些数据通常依赖于可靠的数据标签和清晰的语义上下文，这两者通常不适用于野外收集的数据。2.5. 从个人数字设备收集的数据的交互式视觉分析移动电话的广泛普及创造了许多机会来收集关于人类行为的丰富数据集，例如他们的移动模式和社会互动（ Calabrese et al. ，2015;Cuttone，2017）。IVA可以用于挖掘这些数据，情境化和解释人类行为。Pu等人（2011年）利用IVA将平行坐标图等已建立的可视化技术与直观的新颖技术（如“基于Voronoi图”的数据可视化）相结合，以分析三个用户的移动模式。 Senaratne等人（2017）使用IVA方法，使用被动收集的移动电话数据集分析人类运动的空间和时间相似性。他们采用了用户移动的矩阵可视化。这些先前的作品说明了IVA在探索和理解人类运动（一个非常重要的方面）方面的有用性人的一生，其变化，模式和中断。IVA技术可以进一步增强新的字形和视觉隐喻，是有用的表示复杂的移动电话数据。Shen和Ma（2008）创建了一个IVA工具，它实现了“行为环”，一个放射状的隐喻来代表个体和群体行为的复杂性。他们的工具通过语义过滤实现了直观的可视化数据挖掘，以促进对手机收集的“社会-空间-时间”数据的有效分析。这种方法说明了实用程序的紧凑的视觉隐喻和IVA理解复杂的电话数据。与我们的方法不同，这些方法不包含周期和节奏及其中断的概念。具体而言，我们促进人际/组间分析，以确定感兴趣的用户，然后进行更详细的分析。3. 目标和任务分析：交互式视觉分析，以监测生物行为节律鉴于此领域包含多种多样的异构数据集，通常会从中提取许多特征，交互式可视化分析（IVA）可以帮助理解H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）39422017; Senaratne et al. ，2017年）2019年表1交互式可视化分析（IVA）用于人类行为分析。IVA主题行为类型可视化IVA作品和方面可视化IVA技术欺诈信息（Resnick et al. ，0000）桑基图，时间线异常行为金融欺诈，诈骗（van den Elzenet al. ，2013年）圆弦图、时间轴机器人和电子邮件（Cao et al. ，2015）交互式字形，时间线机器人（曹等. ，2018）互动字形个人数字设备数据可疑的在线互动滥用管理员权限（Nguyen等人，2020年，2018年）社交圈朋友网络，电话，短信（Shen和Ma，2008）城市流动模式（Cuttone，智能手机检测的移动性（Puetal. ，2011年）语义链接节点链接图、时间线矩阵表示法和图Voronoi图，图检测到的 活动Fitbit活动（Gupta et al. ，2018a，b）交互式字形，时间线患者住院和药物治疗（Malik etal. ，2015; Plaisant et al. （2003年）交互式时间线，离散事件叠加健康分析肾脏问题（Abdullah，2020）吸烟复发（Polack Jr et al. ，2018）节点链接图，交互式时间轴室内运动（Payandeh和Chiu，节点链接图、圆形直方图智能家居（Le et al. ，2014）流图显示，圆弦图睡眠质量和数量（Choe et al. ，2015）直方图，表情符号质量和数量（Liang et al. ，2016年）直方图、气泡图用药错误（Kakar et al. ，2019 b）树形图，交互式时间线药物-药物相互作用（Kakaret al. ，2019年a）力导向布局这些数据以及识别和监控行为模式有偏差的人。我们与一位生物行为节律方面的专家进行了目标和任务分析，该专家在分析使用无处不在的传感设备收集的人类行为方面也很有经验。这位专家特别感兴趣的是与睡眠行为有关的节律，以及某些事件如何破坏睡眠模式。例如，由于无法控制的外部因素造成的压力积累可能会导致睡眠不足，这可能会对健康产生影响。我们讨论了智能手机如何收集指示模式中断和中断的数据。她的一些观点包括将智能手机数据概念化为信息渠道，这可能会提供有关一个人的上下文信息的重要线索通道的示例是智能手机的状态，包括屏幕锁定、电池充电、正在使用的应用程序为了得出一个人在日常生活中的节奏，在这些通道中找到节奏，中断和中断可能是有用的鉴于人类行为是复杂的，用于进行行为推断的智能手机渠道可能会变得过于庞大，IVA可以用于理解这些信息渠道并考虑到这些通道中的相关性可能是有意义的，（专家建议，在没有声音和屏幕被锁定的情况下消除黑暗可能是检测睡眠的有用方法不同渠道之间的这种有意义的联系和相互关系很难用非视觉统计数据来显示。IVA可以通过直观地叠加和关联复杂的通道数据以增加其可解释性，从而有力地增强分析师这位专家提出了两个广泛的目标，作为分析智能手机收集的人类行为数据的人：• G1：发现行为节奏的整体水平：以及发生– 综合一个整体的数字测量或分数，以捕捉和量化一个人• G2：解释和情境化诱因：导致多个通道偏离正常节律的因素：– 智能手机收集的数据的多个通道可以提供对人的行为的多方面的看法。这位专家想要不同渠道的几个链接视图，例如一个人的地理位置或他们智能手机交互的强度，这可能解释他们模式中断和断裂的原因。这样的多视图上下文还可以使得能够消除行为模式中的有害中断（例如，整夜不睡（抑郁的迹象））与良性模式中断（例如，旅行度假的人）的歧义。我们还讨论了分析师希望能够执行以实现上述目标的特定任务鉴于我们对该领域数据的集体知识，我们设计了以下任务来实现所述目标。• T1，总体水平荟萃分析：快速概述研究中所有参与者行为模式的节律性水平，以快速找到具有最多和最少节律的参与者• T2，异常HBR识别：快速识别出行为节奏明显中断的参与者。• T3，跨通道HBR探索：检查和情境化跨多个“通道”的个体参与者的节奏水平。例如，可视化物理活动与地理位置中断。社交媒体和通信电子健康记录H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）3943图1.一、 检测心律偏差，然后使用ARGUS进行可视化的工作流程。• T4，HBR语境化：突出可能与节奏有关的语境因素，如星期几，或工作日与周末。• T5，原始传感器值向下钻取：可视化传感器读数的值，这可能包含关于一个人在HBR中断时做了什么的重要线索。例如，他们花在与智能手机屏幕互动上的时间现有的工作表明，智能手机渠道，如电话状态测量是生物行为趋势的指示，对一个人的健康有重大影响等人，2017年）。Abdullah等人（2014）能够通过智能手机屏幕是否锁定的数据来预测研究参与者的睡眠习惯。其他工作已经使用来自智能手机的环境光传感器数据来检测睡眠的发生（Min et al. ，2014; Chen etal. ，2013）。这些通道4. Argus为了实现上述目标和任务，我们研究并开发了ARGUS，一个交互式多窗格可视化工具。由于ARGUS将处理的数据是高度多变量和异质性的，我们采用了Keim等人提出的“视觉分析咒语”。（2008），其中指出：在这里，我们描述了我们的节奏去重复评分，用于量化HBR的规律性水平，以及我们创建的可视化和我们选择背后的理由。4.1. 节律偏差评分我们现在阐述我们的小说节奏偏差分数，我们合成了一个单一的分数，以基于从智能手机传感器收集的数据来量化一个人的昼夜节律的规律性程度。然后，ARGUS的可视化窗格将该分数与上下文信息一起可视化。我们的节律性偏差评分是基于我们将“通道”定义为二进制变量序列，可以表示智能手机推断或自我标记/自我报告的行为指标，例如身体活动（用户行走，坐着等的时间实例）。或客观的传感器读数，例如智能手机是否被锁定，连接连接到无线网络或充电。为了量化通道行为的变化，我们必须首先定义发生率，即通道为正实例的时间长度（即，受试者在一定时间尺度上行走）图3显示了1个通道（睡眠）的Lomb-Scargle周期图示例周期图的峰值出现在第1天，表明该用户在24小时周期的睡眠习惯中相对周期性。为了使用由于我们有兴趣研究用户的昼夜节律，这是一个24小时的周期，我们选择1天作为计算该值的时间尺度。我们将发生率定义为通道为正的一天的比例。分母是实例的总数，其中包括正数（1）和负数（0）。例如，这将表示在黑暗中花费的时间比例，或用于执行某些报告的活动的时间比例。我们还可以定义平均发生率，以代表用户的通常行为。H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）39442图二. ARGUS：一个多窗格可视化框架，用于发现和解释生物行为节律的偏差。A.眼睛的眼睛该视图提供了所有参与者的生物行为节律的水平和中断的快速概述。阿耳戈斯的大眼睛。用户可以选择一只眼睛放大，并获得更清晰的节奏变化。较浅的颜色代表周末，其余的是工作日。C：共现视图。概述渠道价值如何一致地共同出现，以使分析师能够解释频繁共同出现的渠道缺乏共同出现的行为。D：持续时间视图。概要一个频道在一天中有多少正值。E：可解释性视图。可视化和链接多个渠道以获得更好的理解关于节奏中断的原因我们现在可以定义给定通道的昼夜节律这个定义是基于Wang et al.'的定义的昼夜节律（王等。，2018年），尽管我们的不同之处在于，我们使用虽然这个定义看起来很迟钝，但它有一个直观的基础。昼夜节律只是周期图在与24小时相关的频率周围的一个小区域的积分除以在更大范围的值上取得的类似积分。直觉上，如果周期图的几乎所有功率都集中在24小时标记处（也就是说，它们的节律几乎完全由24小时周期描述），那么这个值应该接近1。否则，该比率变为0（指示用户不是有节奏地开启 给定信道的24小时周期我们遵循惯例通道节律中断仅仅是由该通道的昼夜节律加权的特定通道的行为的变化（即，该通道的正实例的持续时间的变化我们之所以用昼夜节律来衡量生物钟的变化，是因为我们只想确定行为中有意义的中断。例如，假设通道Ci的行为不同于给定日期的平均值然而，如果用户对于该频道不是有节奏的，则平均行为是无意义的。通过用该通道的昼夜节律对行为的变化进行加权，非节律通道中的偏差将仅导致小的通道中断分数。此外，我们希望在比单一渠道更大的规模上量化用户行为的中断因此，我们定义了渠道类别。由Wang et al. （2018），并将1设置为1 的h，而T2为12 h。在昼夜节律定义中，D对应于1天的长度平均发生率定义中的Dj是长度为D的某个特定日期，平均发生率定义中的D是所有日期的集合在定义了昼夜节律之后，我们现在定义昼夜节律中的偏差。出于我们的目的，我们将渠道分为三类：客观传感器，地理位置和活动。表2中给出了关于每个类别中的通道的更多细节。H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）3945最后，我们现在可以定义节奏偏差，我们用来识别行为发生重大变化的个人的指标。接下来，我们将讨论我们的IVA框架研究节奏偏差和通道节奏偏差。4.2. ARGUS之眼图中所示的窗格。1A，包含ARGUS的眼睛（EA）。每个图将一个人的平均节律偏差（RD）分数绘制顺时针方向。我们平均每天的RDS，所选通道类别的所有通道（可由分析员选择），并将其编码为黑色圆圈-总体RDS越高，圆圈直径越小。紫色线中的正（向外）偏差代表与在所选通道中检测到的节律，而负（向内）偏差表示节律中断。偏差的强度由从黑色圆圈向内的距离编码即，紫线越朝向中心，偏差水平（T2）越高。每个EA的左上角是用户ID和参与天数。EA显示了所有参与日的节律偏差，每个用户一个圆圈。该算法基于Cao等人开发的Z-Boundary。（2018）有效地可视化偏离规范。他们的分析表明，与传统的线条字形相比，使用z字形时，在辨别偏差方面有了显著的改进。这特别适用于该问题，因为ARGUS试图强调的正是偏离图2A给分析师一个快速的概述一般用户（G1，T1）和他们可能想要进一步探索的任何感兴趣的用户（T2）的生物行为节律性水平。z-axis家族实现了线性和星形（圆形或径向）隐喻。 我们决定使用径向反射镜，因为曹等人的用户研究结果。（2018年）同样的工作确定，在效率和用户舒适度方面，研究参与者更喜欢放射状的隐喻而不是线性的隐喻。径向和线性隐喻在读取准确性方面具有可比性结果，并且两种字形都优于传统字形。我们优先考虑用户舒适度，这一点很重要，因为ARGUS的目标是健康专家，他们可能不是数据可视化方面的专家点击任何EA将在AR- GUS（MEA）窗格中放大它。 2 B）。下面的圆具有最大可能的圆圈分为几个部分，每个部分代表一天的参与。这些日子按顺时针方向排列，以便连续的日子彼此相邻。ARGUS也可以处理不连续的数据收集日。这是一个重要的考虑因素，因为在某些情况下，研究参与者可能会关闭手机上的数据收集颜色较浅的部分是周末，而灰色的部分是工作日（G2，T4）。用户将通过图三. 特定用户的睡眠数据的Lomb-Scargle周期图的图。X轴表示时间尺度（以天为单位），并且y轴表示在对应于时间尺度的频率下评估的Lomb-Scargle周期图的值。我们在周期图中看到接近1天的峰值，表明该用户在24小时的基础上睡眠习惯相对周期性RD分数，并可以选择多个天，通过点击部门（选择一天改变其颜色），以查看他们在更详细的渠道持续时间视图（图。 2 D）和可解释性视图（图2E）。多天视图非常有用，因为前一天的事件可能对当天（G2）产生影响用户还可以通过点击图1顶部的“所选频道类别”栏，选择要在EA和MEA中可视化的频道类别。2A（G2，T3）。三个通道类别的平均节律评分可用于可视化。2个数据集的特定通道见表2。“传感器”和“地理位置”通道在两个数据集上是相似的，因为它们是由手机被动感知的两个数据集之间的“活动"通道不同。对于学生生活（Wang et al. ，2014年），步行等活动或者仍然是由手机通过设备上检测和分类算法预测的，而Study1b数据集（我们在本地收集的数据集）中的活动是由研究参与者自我标记的，即被动收集的传感器用用户提供的活动标签进行注释4.3. 持续时间视图持续时间视图（DV）（图） 2 D）显示了参与者数据中每天通道出现的总“持续时间"。持续时间是指每天频道“打开”的时间量例如，电话插入或存在于特定地理位置集群中的持续时间，或者标记/自我报告智能手机上发生的某些活动的持续时间，例如睡眠几个小时。 包含“持续时间视图”的面板可滚动，并且以条形图的形式分别显示当前每个通道（跨不同通道类别）的持续时间每个竖条代表参与的一天，竖条的高度代表通道每天的总持续时间。每个通道的水平线是平均持续时间的视觉指示器它遵循与MEA中的饼布局相同的着色方案。在该示例中，在图2D中，用户的电话在一天中被锁定的时间通常超过他们的电话正在充电的时间。这是为了帮助分析师解释节奏中断，通过提供不同水平的通道中断（G2，T2，T5）的总持续时间H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）3946表22个数据集的数据通道描述。数据集之间的差异之一是活动在StudentLife中推断，而它们是用户提供的在研究1B中。此外，Study1b包含了更丰富的活动。数据集通道推断/感知/自-报告从文献中收集探头的频率心律检测文献活动仍然聚集1分钟抑郁症（Madan et al. ，2011年;Huang等人（2018），王（推断）行 走 跑 步未知间隔3分钟Walker等人，2020年），久坐行为（Kerr et al. ，2016年）等人 （2018）和Matthewset al. （2016年）学生生活手机锁定随时随地疲劳（Mohr等人，2017年）Huang等人（2018），王传感器手机充电手机在黑暗中检测到间隔>1 h睡眠周期（Saeb et al. ，2017;Abdullah et al. ，2014，2017;Wanget al. ，2014; Chen et al. ，2013）浓度（Mohr et al. ，2017;Dingler et al. ，2017年）等人 （2018）和Matthewset al. （2016年）会话收集1，间隔3分钟（如果检测到，则继续收集）压力、抑郁和情感状态（Wang etal. ，2014年）地理定位GPS坐标每10分钟抑郁症（Saeb et al. ，2016年），社交焦虑（Boukhechba et al. ，2018年a）电话放在桌子上，面朝下楼梯-下楼睡觉楼梯-Saeb等人 （2016），Canzianand Musolesi（2015）Boukhechba et al.（2018年a），Rashid等人 （2020），Xuet al. （2019年）研究1b活动（标记）传感器电话在袋电话在口袋打字步行电话一桌，面朝上练习手机在手坐跑步浴室慢跑锻炼站立手机锁定充电传感器数据采集时间为20 s，1分钟研究受试者使用的间隔和标签每一分钟久坐行为（Kerr et al. ，2016年），睡眠（Ciman和Wac，2019;Wang等人，，2014年）疲劳（Mohr等人，2017）精神障碍，如精神分裂症（Ben-Zeev et al. ，2017; Buck etal. ，2019年）睡眠周期（Abdullah et al. ，2017，2014; Chen et al. ，2013）浓度（Mohr et al. ，2017; Dingler etal. ，2017年）Huang等人 （2018），Wanget al. （2018）和Matthewset al. （2016年）Huang等人 （2018），Wanget al. （2018）和Matthewset al. （2016年）WiFi连接传染病（Madan et al. ，2011年）地理定位GPS坐标抑郁症（Saeb et al. ，2016; Xuetal. ，2019年），社会焦虑（Boukhechba et al. ，2018年a）Saeb等人 （2016）和Canzian和Musolesi（2015）（Boukhechba etal. ，2018a; Rashid et al. ，2020; Xu et al. ，2019年）4.4. 同现观某些通道之间的共现率也是研究人员感兴趣的，因为共现的中断可能表明或解释行为节律的中断。 点击一个用户的EA显示同现视图（图。2C）。这种观点 有一个列表的所有频道可供选择的用户。单击在频道栏上以有序格式显示（从左到右，底部）最常见的共同出现的通道酒吧，是与所选频道同时“打开”的频道。例如，在黑暗中通常与手机同时充电相吻合。 条中的灰色填充与共现的频率成比例。例如，对于这个人来说，手机被锁定的时间即，在该人被他们的电话检测为“静止”、处于“黑暗”和处于“沉默”的同时发生。这意味着让分析师进一步理解节奏中断的原因，因为在有趣的事件中，大多数共同出现的通道中（G2，T5）。若要链接同时出现的通道的出现，将鼠标悬停在通常同时出现的条上会突出显示选定通道的持续时间，并在“解释性”视图中将鼠标悬停在该通道上。下面举例说明了这种情况是如何发生的图 四、4.5. 可解释性观可解释性视图（EV）（图）2E）旨在提供所收集数据的更精细的日水平视图，以帮助分析人员找出受试者节律变化的潜在原因（G2，T5）。这些线显示电话数据可用的通道数据的变化。线的高度表示通道每小时的平均通道值。第一张图显示了平均值-整个收集期间的年龄通道值。之后的每一个图都代表MEA中选择的特定日期。例如，在4月14日（图2E），手机从晚上一直充电到早上。由于这是在一个水平的时间轴上针对一个共同的规模布局，随着时间的变化很容易注意到。线上的彩色条表示持续时间H. Mansoor，W.Gerych，A.Alajaji等人视觉信息学5（2021）3947见图4。 在同现视图中，用户可以选择A中的频道以查看其最常见的同现频道条（如B所示），从左到右排序，从上到下的共现频率。B中的垂直灰色填充条与A的共现频率成比例。盘旋在任何B中的条以浅蓝色突出显示在A中选择的通道的持续时间，而悬停在条可解释性视图中的持续时间（浅绿色覆盖）是2个通道同时出现的时间图五. 将鼠标悬停在一天的扇区上会出现一个工具提示，显示人类可读的日期和任何其他与日期相关的信息（如果提供的话）。分析师可以清楚地看到节奏的中断和睡眠时间和质量的减少，导致一天有两个最后期限。他们在同一个地理集群中的时间。我们在案例研究中使用的两个数据集都包含了参与者全天的地理位置（只要可用）。我们运行了一种称为DBSCAN的聚类算法（Ester et al. （1996年）为参与者找到地理集群。行为节律，包括在不同地点的存在模式，由于时间表和社会要求的差异等几个因素而在人群中存在差异（Vetter，2020; Saeb等人，2019）。，2016年）。此外，即使对于在诸如相同机构的学生或相同工作地点的雇员的