"智能手机生物节律中断的交互式可视化分析框架ARGUS"

183 浏览量更新于2025-01-16 收藏 1.79MB PDF 举报

视觉信息学

（

2021

）

ARGUS：智能手机检测到的生物行为节律中断的

交互式视觉分析

Hamid Mansoor

Bohan

，Walter Gerych，Abdulaziz Alajaji，Luke

Buquicchio，Kavin Bohrasekaran，Emmanuel Agu，Elke Rundensteiner

美国伍斯特理工学院

r t

i c

e i n

文章历史记录：

收到2021年

2021年6月2日收到修订版，2021年

2021年7月14日在线提供

保留字：

交互式可视化分析昼夜节

律智能手机感应数据

a b s

t r

a c

人类生物行为节律（

HBRs

），如睡眠

觉醒周期（

昼夜节律

），以及睡眠和身体活动的规律性程度具有

重要的健康影响。智能手机等无处不在的设备由于人类行为是复杂的，智能手机数据是大量的，有许多

渠道（传感器类型），它可以是具有挑战性的，以作出有意义的观察，检测不健康的

HBR

偏差，最重要

的是查明中断的原因之前的工作主要利用了机器和深度学习方法等计算并且对

HBR

模式或原因提出

了一些可操作的见解。协助分析人员发现和理解的

HBR

模式，中断和原因，我们提出

了

ARGUS

，一

个交互式的可视化分析框架。作为

ARGUS

的基础，我们设计了一个直观的节律偏差评分（

RDS

），它分

析用户的智能手机传感器数据，提取潜在的

小时节律，并量化其不规则程度。然后，使用一个使

很容易识别出

HBRs

规律性的破坏。

ARGUS

还通过链接覆盖有客观传感器信息（如地理位置和手机状态

（屏幕锁定、充电））以及用户提供或智能手机推断的地面实况信息的多个可视化窗格，促进了对

HBR

更深入的见解和原因的理解。

ARGUS

中的这一系列可视化叠加使分析师能够更全面地了解

HBRs

、行为

模式和偏离规律的情况。

ARGUS

的设计是由目标和任务分析研究指导的，该研究涉及精通

HBR

和智能

手机传感的专家为了证明其实用性和通用性，使用

ARGUS

探索了两个不同的数据集，我们的用例和设计

在专家和非专家用户的

出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章

（http://creativecommons.org/licenses/by-nc-

nd/4.0/）。

介绍

美国的医疗保健系统资源不足，患者在预约之外几乎得不到护

理。患者的评估通常不频繁，通常间隔数月，并且通常导致晚期

诊断，使其病情恶化。新兴的研究正在探索使用传感器丰富的智

能手机的可能性，这些智能手机拥有超过80%的美国人口

通讯作者。

电子邮件地址：

hmansoor@wpi.edu（H.Mansoor），wgerych@wpi.edu

（W.Gerych），asalajaji@wpi.edu（A. Alajaji），ljbuquicchio@wpi.edu

（L. Buquicchio），kchandrasekaran@wpi.edu

（K.emmanuel@wpi.edu（E. Agu），rundenst@wpi.edu（E.

Rundensteiner）。

https://www.pewresearch.org/internet/fact-sheet/mobile/。

https://doi.org/10.1016/j.visinf.2021.07.001

以被动地检测各种疾病并收集健康信息和其它上下文信息。疾病

如抑郁症（ Wang et al. ， 2014; Gerych 等人， 2019 ）和流感

（Madanet al. ，2011）可以通过使用从智能手机收集的传感器数

据并将机器学习模型应用于它们来检测。这种新的范例被称为

智

能手机健康感测或智能手机疾病表型

（

Onnela

和

Rauch

，

2016），可以用于评估智能手机用户的重要健康相关习惯

人类是有习惯的生物。人体含有许多小的

“

生物钟

”

，它们控制各

种生物过程并调节

“

昼夜节律

”

（

“Circa”

表示大约，

“diem”

表示一

天）或

“

生物行为节律

”

（

Kreitzman

和

Foster

，

2011 ; Abdullah

等

人，

2012

）。，

2017; Roenneberg

，

2012; Matthews et al.

，

2016

年）。这些节律通常反映人类生物过程的

小时周期，例如睡眠

觉

醒周期、激素变化和血压变化。

（http://creativecommons.org/licenses/by-nc-nd/4.0/）。

可在ScienceDirect上获得目录列表

视觉信息学

期刊主页：www.elsevier.com/locate/visinf

H. Mansoor

，

W.Gerych

，

A.Alajaji

等人

视觉信息学

（

2021

）

人类生物行为节律（

HBRs

）的中断可能会产生重大的医学后果，如

心理健康恶化、肥胖和心脏病（

Vetter

，

2020; Roenneberg et al.

，

2012

）。睡眠和身体活动的规律性也是特别重要的健康指标，它们

的偏差与严重疾病如精神疾病有关（

Walker

等人，

2020

），并且

在不同年龄和不同性别中很常见（

Ohayon et al.

，

2002;Gaultney

，

2010

）。

Roenneberg

等人（

2012

）进行了一项大规模研究，发现高

达

70%

的的人患有睡眠周期的偏差。

持续监测

HBRs

以发现偏离正常状态的情况，可以及时采取干

预措施并改善整体健康状况。然而，捕获和挖掘人类行为数据以

发现重要模式是具有挑战性的，特别是在现实世界中。智能手机

是唯一适合捕捉这些数据，因为它们无处不在，并配备了多个传

感器，如加速度计，陀螺仪，环境光和GPS，可以捕捉数据，以

提供有关一个人的行为节奏的重要线索例如，人们在睡觉的时候

不与手机互动是一种常见这种缺乏互动的情况可以被智能手机捕

捉到，并提供了一个有用的衡量标准，衡量人们睡眠的多少

（Abdullah et al. ，2014年）。检测、监控和挖掘这些模式的能

力可以使智能手机成为人类行为的

代理

。人类行为的智能手机感

测已经被用于可靠地检测重要的行为变化（Wanget al. ，2018

年），并监测受试者的健康和健康，包括心理健康（拉比等

人，，

2011

）和学习成绩和压力情况（

Wang et al.

，

2014

年）。

虽然智能手机可以快速收集非常丰富的人类行为数据，但随着

参与者数量、参与持续时间和分析的传感器流数量的增加，发现

有意义的模式并理解这些数据的难度变得更加困难。先前的工作

已经在很大程度上利用了计算方法，例如机器和深度学习方法

（Vaizman et al. ，2018 a，b），这些通常是不可解释的，并且

对

HBR

模式或原因提出了一些可操作的见解交互式可视化分析

（

IVA

）是分析人员理解大型多元数据的强大方法。在这项工作

中，我们专注于利用IVA，使人类行为分析师能够使用自主收集

的智能手机行为数据发现和监控HBR中的中断，旨在生成可操作

的见解。我们感兴趣的不仅是提供一种识别HBR中断的方法，而

且同样重要的是

解释

这些中断。我们介绍ARGUS，一个可视化的

分析框架来表示多流，异构数据使用直观的视觉隐喻，使分析师

能够轻松地理解数据。ARGUS是为心理学、普适计算和数据科学

等领域的各种分析师而设计和实现的

用于昼夜节律的现有视觉分析框架在检测节律的偏差方面是有效

的，但不是交互式的，并且缺乏生成可解释的见解的能力

（

Geissmann

等人，

2019; Fischer et al.

，

2016

年）。针对人类行

为中断的现有交互式视觉分析通常集中于人类行为的特定特征（

et al.

，

2011; Senaratne et al.

，

2017

），例如移动性，但是不能集成

智能手机收集的人类行为的多通道（传感器类型和数据流）。相比

之下，我们的方法利用

交互式分析

来提供链接的可视化窗格，该窗

格利用多个通道来使行为专家能够发现从智能手机传感器数据推断

的

HBR

的偏差

并

对其进行解释。我们开发了一个直观的节奏偏差评

分，然后我们使用自定义的基于被称为

的视觉隐喻（

Cao et al.

、

2018年）。智能手机收集的数据也在几个链接的窗格中可视化，

这些窗格突出显示传感器流和某些提取特征

同时出现

的频率。例

如，锁定的智能手机屏幕结合感测到的低光和安静条件可以指示

用户睡眠良好的夜晚。

总的来说，我们的贡献是：

一种新的直观的

HBR

它捕捉

HBR

中断，可以可视化，有效，

快速，可靠的分析。

ARGUS

IVA 平台，其使用一个隐喻来可视化我们的新

RDS，同时还链接了其他将节奏性评分置于上下文的非语

言窗格。总的来说，ARGUS捕捉到了用户的HBRs的一幅

可解释的画面。ARGUS不仅可视化了行为节律的偏差，还

为分析师提供了轻松发现这些偏差的潜在

解释

Argus集成了

对人群水平HBR荟萃分析的IVA支持、对重大HBR中断的

轻松识别、个体参与者HBR RDS的跨渠道探索和情境化以

及相应原始传感器值的可视化。

专家主导的目标和任务分析，以阐明分析师在智能手机健康感

测和行为节律检测领域面临的挑战，以及减轻这些挑战的可视

化目标和任务

对

ARGUS

进行全面评估，使用专家反馈来确定

HBR

中断分析

的可行用例，以及非专家评估来确定我们的视觉隐喻的可理解

性和我们工具的整体易用性

行为研究领域的专家通过两个真实世界的数据集对精心设

计的用例进行了深入的演练，展示了我们的方法，并证明

了其在发现、可视化和解释

HBR

中断方面的有效性。

本文是一个简短的文件（曼苏尔等人。，

2020a

），在

Eurovis

2020

（

Eurovis

，

2020

）上展出，并在其赛道上获得荣誉奖。本文

在我们最初提交的几个关键方面进行了发展和扩展：我们提供了

关于生物行为节律、其健康后果和用于确定我们的新颖节律偏差

评分的过程的更清晰和更详细的背景理论信息。此外，我们还提

供了更多关于设计选择背后的基本原理和所使用的隐喻的细节，

包括替代设计。我们还提供了一个更深入的审查现存的文献上的

主题智能手机感知数据的交互式视觉分析。最后，我们报告的结

果与非专家的评估（除了与专家的评估），以确定我们的视觉隐

喻的有效性和易用性的

ARGUS

。

相关工作

2.1.

使用智能手机捕捉人类行为

IVA是理解人类行为数据的强大方法（见表1）。

在野外，

长

时间连续收集和分析人类数据具有挑战性。智能手机感测（其中

来自智能手机的传感器的数据被连续地收集和分析以推断其所有

者的行为）最近已经作为人类行为分析的廉价且可扩展的方法出

现。智能手机传感已被有效地用于推断抑郁水平（

Saeb et al.

、

H. Mansoor

，

W.Gerych

，

A.Alajaji

等人

视觉信息学

（

2021

）

2016），社交焦虑水平（Boukhechba et al. ，2018 b;拉希德等

人，

2020

），学生的成绩点（

Wang et al.

，

2014

）和智能手机所

有者的当前背景/情况（Vaizman et al. ，2018 a）。Abdullah等

人（

2014

，

2017

）甚至成功地使用了一个人的智能手机屏幕被锁

定的时间段

2.2.

可视化人类行为模式

昼夜节律是指一个人的睡眠-觉醒周期和日常活动的周期性/规

律性，这对健康有重要影响（

Vetter

，

2020 ; Walker et al.

，

2020

年）。因此，监测这些节律并在必要时进行干预至关重要。智能

手机可以证明在这方面非常有用，因为它们无处不在，需要低干

预。已经有很多研究兴趣使用应用于智能手机感测数据的计算模

型来捕获这样的行为模式（

Yanet al.

，

2020

年）。人类行为数据

的可视化可以改善该研究领域的最新技术水平，因为它们对于发

现、情境化和理解昼夜节律的中断是有用的。Fischer等（2016）

试图使用腕戴式活动计传感器的数据结合他们的睡眠日志来可视

化轮班工人的

“

昼夜节律失调

”

。他们设计了一种直观的方法，称

为他们引入了

“

岛屿

”

和

“

煎饼

”

的概念，以指代密度图的某些区

域，以发现睡眠数据的变化。

Geissmann et al.

（

2019

）创建了他

们的框架还实现了直观的数据可视化，以呈现有关动物的昼夜节

律信息。

然而，与我们的工作不同的是，这些框架并没有可视化和链接

多个智能手机信息流，以产生交互式分析，增强

意义和可解释

性

。

2.3.

交互式视觉分析（

IVA

）检测异常人类行为

偏离正常的人类行为可能表明健康问题（Vetter，2020）。数

据可视化可以成为识别异常人类行为并使偏离正常状态更清晰的

有效方法，从而实现及时干预。例如，检测恶意行为，如传播未

经证实的谣言（

Resnick et al.

，

0000

），犯下财务欺诈（

van den

Elzen et al.

，

2013

）或诈骗人（

Koven et al.

，

2018

年）。

Cao

等

人（

2015

年）创建了

TargetVue

，这是一种直观的工具，用于检

测社交媒体上的异常行为和检测机器人。他们引入了

z-brake

的概

念，这是一种直观的视觉隐喻，在

Cao

等人的后续工作中进一步

扩展。（

2018

）突出了与正常行为的偏差。这些先前的

IVA

工作

对于检测人类行为和神经节律（通过智能手机收集）的变化特别

相关，因为它们显示了新颖的交互式视觉解决方案如何使分析师

能够快速生成见解并在数字人类数据中找到有用的模式我们的工

作通过利用IVA来破坏对健康有直接影响的

野生

人类行为，从而

具体来说，我们使用IVA来发现自然24小时行为周期中的中断。

2.4.

基于传感器的健康数据

用于健康分析的典型

IVA

工具侧重于利用明确为健康监测目的

收集的数据，如电子健康记录（

EHR

）记录（

Abdullah

，

2020;

Malik等人，2015; Plaisant et al. ，2003; Meyer et al. ，2013）或

健康感测小工具，如Fitbits（Heng et al. ，2018; Liang et al. ，

2016）、一氧化碳传感器（Polack Jr et al. ，2018）和头戴式传感

器（Garcia Caballero et al. ，2019）。Polack等人（2017）发表

了一篇立场文章，其中他们概述了使用交互式视觉分析通过智能

手表和智能手机等可穿戴设备推进被动和机会性健康监测的几个

机遇和挑战。由于智能手机是最普遍拥有的带有传感器的设备，

因此我们的工作通过更多地关注智能手机感应数据来扩展。使用

智能手机进行健康感测可能具有挑战性，因为它们不是专门为健

康监测任务而设计的。

IVA

可以通过呈现从智能手机收集的数据

来弥合这一差距，以提供额外的情境化，无论是在修复数据质量

方面（Mansoor et al. ，2019a，b）或给予分析师利用其人类直觉

并将语义标签应用于匿名数据的能力（Mansoor et al. ，2020

b）。其他作品使用了直观的隐喻，如日历隐喻（Gupta et al. ，

2017）来呈现日常活动水平和创新的交互技术，如日常重复事件

之间的可重复的每日时间线（

Zhang et al.

，

2018

），例如糖尿病

患者的膳食。这些作品显示了应用

IVA

来增强对这些数据的分析

的实用性，这些数据通常依赖于可靠的数据标签和清晰的语义上

下文，这两者通常不适用于野外收集的数据。

2.5.

从个人数字设备收集的数据的交互式视觉分析

移动电话的广泛普及创造了许多机会来收集关于人类行为的丰富

数据集，例如他们的移动模式和社会互动（

Calabrese et al.

，

2015;Cuttone

，

2017

）。

IVA

可以用于挖掘这些数据，情境化和解释

人类行为。

等人（

2011

年）利用

IVA

将平行坐标图等已建立的可

视化技术与直观的新颖技术（如

“

基于

Voronoi

图

”

的数据可视化）相

结合，以分析三个用户的移动模式。

Senaratne

等人（

2017

）使用

IVA

方法，使用被动收集的移动电话数据集分析人类运动的空间和时

间相似性。他们采用了用户移动的矩阵可视化。这些先前的作品说明

了

IVA

在探索和理解人类运动（一个非常重要的方面）方面的有用性

人的一生，其变化，模式和中断。

IVA

技术可以进一步增强新的字形和视觉隐喻，是有用的表示复

杂的移动电话数据。

Shen

和

（

2008

）创建了一个

IVA

工具，它实

现了

“

行为环

”

，一个放射状的隐喻来代表个体和群体行为的复杂性。

他们的工具通过语义过滤实现了直观的可视化数据挖掘，以促进对手

机收集的

“

社会

空间

时间

”

数据的有效分析。这种方法说明了实用程

序的紧凑的视觉隐喻和

IVA

理解复杂的电话数据。

与我们的方法不同，这些方法不包含

周期

和

节奏

及其中断的概

念。具体而言，我们促进人际

组间分析，以确定感兴趣的用户，

然后进行更详细的分析。

目标和任务分析：交互式视觉分析，以监测生物行为节律

鉴于此领域包含多种多样的异构数据集，通常会从中提取许多

特征，交互式可视化分析（

IVA

）可以帮助理解

剩余14页未读，继续阅读

cpongm

粉丝: 6

"智能手机生物节律中断的交互式可视化分析框架ARGUS"

基于智能手机的心电系统的研究

手机上显示生物节律（源代码）

Argus流量监视软件（Linux下）

argus-gephi-connector:Argus 与 Gephi 集成在一起以获得基础设施的实时可视化

argus-analysis:用于分析来自 Argus iOS 应用程序的计步器数据的脚本

ARGUS:ARGUS是易于使用的网页抓取工具。 该程序基于Scrapy Python框架，并且能够对各种不同的网站进行爬网。 在网站上，ARGUS能够执行诸如抓取文本或收集网站之间的超链接之类的任务。 看

argus-task

poj 2051 Argus

argus_api:Argus系统api服务器

argus:适用于 Argus-TV 的 iOS 客户端

最新资源

ARGUS:ARGUS是易于使用的网页抓取工具。该程序基于Scrapy Python框架，并且能够对各种不同的网站进行爬网。在网站上，ARGUS能够执行诸如抓取文本或收集网站之间的超链接之类的任务。看