视觉信息学4（2020）35Human–Computer Interaction Lab (HCIL) in Seoul NationalGuHyun Hana，Jaemin Job，Han Joo Chaec，Jinwook Seoa，a大韩民国首尔国立大学计算机科学与工程系b大韩民国成均馆大学计算机学院cROKIT Healthcare，大韩ar t i cl e i nf o文章历史记录：2020年10月23日网上发售保留字：信息可视化分析渐进式可视化用于可视化MR和AR的a b st ra ct本文介绍了2009年在韩国首尔国立大学成立的人机交互实验室（HCIL）。本文首先概述了10年来的创立、成就和合作历程。然后，我们描绘了我们目前的研究方向相关的信息可视化。最后，我们介绍了我们的设施和设备，以充分支持研究。©2020作者（S）。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 概述Jinwook Seo教授于2009年在首尔国立大学计算机科学与工程系建立了人机实验室（HCIL）。在他的指导下，HCIL成员在十多年来为人机交互（HCI）和信息可视化（InfoVis）领域做出了巨大的贡献。10名博士和14名硕士已获得学位，目前实验室有15名研究生（见图）。①的人。HCIL校友一直活跃于学术界（包括哈佛大学、马里兰大学、韩国空军学院、崇实大学和成均馆大学）和工业界（包括三星电子、Kakao和LG电子）。1.1. 成就我 们 的 会 员 为 国 际 会 议 （ 例 如 ， IEEE VIS ， ACM CHI&UIST）和期刊（例如，IEEE Transactions on Visualization andComputer Graphics，Computer Graphics Forum）以及国内研究界。我们在可视化和人机交互领域的主要会议和期刊上发表了一百多篇论文。此外，我们也有义务振兴学术界。徐教授一直是自2009年以来一直担任IEEE可视化图形技术委员会（VGTC）的成员。他组织了2012年IEEE太平洋可视化研讨会（PacificVis），并担任IEEE会议主席*通讯作者。电子邮件地址：jseo@snu.ac.kr（J. Seo）.网址：http://hcil.snu.ac.kr/www.example.com Seo）。https://doi.org/10.1016/j.visinf.2020.10.002PacificVis 2017.我们的成员成功地支持了组织和举办这些专题讨论会的整个过程。Seo教授自2017年以来一直担任IEEE PacificVis指导委员会成员。 他还担任了PacificVis 2019年和2020年的纸椅。他参加了2014 - 2015年CHI会议的技术计划委员会，并担任可视化和UX可用性小组委员会的副主席。最后，我们一直致力于通过开设HCI和InfoVis课程，为首尔国立大学的本科生和研究生提供高质量在这些课程中，我们为学生提供了参与各种研究项目的机会，包括定量和定性研究方法，使用D3.js设计信息可视化系统，以及新模式的应用（例如，使用Arduino或Leap Motion控制器的原型）。1.2. 协作HCIL的研究人员与来自国际和国内研究团体（包括MicrosoftResearch，儿童研究所，首尔国立大学盆唐医院和ChunLab）和公司（包括三星电子和LG电子）的各种合作伙伴合作。我们的合作项目跨越多个领域（例如，韩国历史、放射学、工业工程、基因组学、交通工程、艺术与设计、体育）。与我们的研究伙伴的积极合作使我们能够进行转化工程研究，通过解决现实世界的问题对各个领域产生实质性和实际的影响。2468- 502 X/©2020作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfG. Han，J.Jo，H. J.Chae等人视觉信息学4（2020）3536Fig. 1. HCIL的成员2. 研究方向图二. HCIL的设计研究。长时间的计算。HCIL的研究方向还包括渐进式可视化系统的研究，本文介绍了HCIL可视化研究的主要研究方向：（1）交互式可视化分析系统的设计，（2）机器学习技术的应用，（3）人机交互可视化系统的设计。(3)探索用于混合和增强现实的沉浸式交互技术。2.1. 设计和开发交互式可视化系统HCIL的主要研究主题之一是设计和开发交互式可视化系统，以帮助人们理解现实生活中的大型复杂数据并与之交互。我们通过与实践者的紧密合作进行了许多有趣因此，我们设计并实现了许多创新的可视化系统，这些系统改善了各个领域的真实世界实践，例如安全性（Yoo et al. ，2020，2018）（图2a），放射学（Song et al. ，2013，2016）（图2b）、生物信息学（L'Yi etal. ，2015，2017; Jung et al. ，2015）（图2c）和制造（Jo etal. ，2014）（Fig. 2d）。可视化研究人员一直寻求保持可视化系统的延迟尽可能短，以使系统响应性和吸引力。然而，随着数据的规模以前所未有的速度增长，传统的可视化系统在可视化大规模数据时显得力不从心一个新兴的解决方案是渐进式可视化分析（PVA），这是一种新颖的可视化分析范式，旨在向中间用户提供响应性和中间反馈作为通过分布式计算技术加速的可视化系统（Jo et al. ，2017a，2019）（Fig. 3）。我们也有兴趣扩大信息可视化的范围，例如，新的设备和不同的用户群。例如，Jo等人为新手设计了具有直观的笔和触摸交互的可视化创建界面（Jo等人，，2015，2017 b）（Fig. 4a），L'Yi等人研究了新手散点图建议的视觉表现（L'Yi等人，，2019）（图4b）。为新类型的数据设计有效的可视化习惯用法也是我们突出的研究方向之一，以前的工作包括多类密度图的声明性渲染模型（Jo et al. ，2018）和不规则测量的时间序列数据的多尺度可视化（Cho et al. ，2014年）。2.2. 通过机器学习技术最近，HCIL成员利用最先进的机器学习（ML）技术发起了一系列有趣的可视化研究项目。这些项目的主题包括(1)提出了用于无监督机器学习方法的新的渐进算法（Jo et al. ，2020; Ko等人，2020年），（2）设计人在回路系统的图表分类和数据提取图表图像（荣格等人。，2017;Kim等人，2019年），以及（3）通过数据驱动的方法获得信息可视化的分解和可解释的表示（Jo和Seo，2019年）。G. Han，J.Jo，H. J.Chae等人视觉信息学4（2020）3537图三. HCIL的渐进式可视化分析系统见图4。 扩大信息可视化的范围。图五、无 监督ML技术的渐进算法。见图6。 利用ML技术的人在回路可视化系统。尽管在性能上有优势，但无监督机器学习方法所需的长延迟计算一直是其在交互式视觉分析中使用的障碍。为了克服这一限制，已经提出了渐进式计算范例，以将算法操作限制在用户交互的延迟内。2018年，Jo等人提出了PANENE（Jo et al. ，2020）（渐进式近似 k-NEAREST 邻居），用于常规 k-NN 算法的渐进式算法（图5a）。在2020年，Ko等人提出了另一种渐进式UMAP算法（均匀流形近似），称为渐进式UMAP（Ko et al. ，2020年）（图5b）。我们在野外遇到的大多数图表都是图像，它们的底层数据无法直接获得。从图表图像中提取数据将有助于进行进一步的数据分析和改进图表设计以获得更好的感知。为了解决这个问题，Jung等人建议使用ChartSense（Jung et al. ，2017年），一个半自动和交互式图表数据提取系统，在2017年（图。6a）。ChartSense基于卷积神经网络（CNN）模型，可以将图像分类为特定类型的图表（例如，条形图）并从中提取数据。用户可以补充并利用ChartSense中设计的交互方法改进数据提取在2019年，Kim等人提出了一种新型的半自动系统，可以加速图表图像标注过程，称为Autotator（Kim等人。，2019年）（图。6 b）。虽然构建带注释的图表数据集对于其他数据驱动的可视化研究可能很有价值，但大部分注释任务是重复和繁琐的。基于深度学习模型，作者为注释者提供了数据驱动的建议这些建议可以改进，因为G. Han，J.Jo，H. J.Chae等人视觉信息学4（2020）3538见图7。 HCIL的MR和AR项目。见图8。HCIL的研究环境注释结果的增长使得Autotator可以有效地解决注释过程中繁琐重复的瓶颈。机器学习方法可以为可视化研究者理解信息可视化的基本表征提供有价值的视角。在2019年，Jo等人提出了一种数据驱动的方法，以获得散点图的二元数据分布的解纠缠和可解释的表示（Jo和Seo，2019）。作者首先从网上收集表格数据集，并建立了散点图图像的训练数据集。然后，他们训练了一个最先进的变分自动编码器，以获得经训练的散点图图像的低维表示。作者最后将衍生 的 特 征 与 人 为 的 散 点 图 代 表 性 分 数 进 行 了 比 较 ， 例 如scagnostics。他们建立了一个简单的模型，可以从数据驱动的解纠缠中获得的特征来预测人为的感知得分。他们发现预测的感知分数和人类注释的分数之间有很高的相关性。2.3. 混合和增强现实当今的混合和增强现实（MR和AR）技术将虚拟内容紧密地集成到物理对象和环境中，并通过先进的计算机视觉技术（例如空间配准、对象跟踪和手势识别）提供无缝交互。虽然先前的体验在某种程度上是被动的，因为虚拟内容根据提供关于场景的附加信息的真实世界环境简单地对准，但是MR/AR体验已经扩展到非常复杂的上下文，其中各种物理和虚拟对象彼此混合并且现在是HCIL积极参与研究项目，以改善体验在这种复杂的环境中，通过（1）提供新颖的输入和操纵技术（Chae et al. ，2018，2016）（Fig. 7a）和（2）集成交互和可视化深入与物理对象（公园等。，2016; Chae等人，2020年）（图7b）。在输入和操作技术方面，我们感兴趣的是以有效和安全的方式远程控制物理和虚拟对象。例如，Chae et al. （2018）提出了一种基于墙的空间操纵技术，使用户能够通过动态挤压周围空间来有效地选择和移动远处的物体。此外，Chae et al. （2016）展示了保护功能，可帮助用户在使用基于手腕旋转的界面配置连接设备时避免意外输入。为了将交互和可视化与物理对象深入集成，我们的研究重点是定制和自主。例如，Park et al. Chae等人（2016年）介绍了一种在现场各种连接设备之间定义事件规则的方法，Chae等人（2020年）提出了ARphy，这是一种允许用户通过将数字照片与物理对象进行上下文连接来创建个人照片集的界面。3. 研究环境目前，HCIL有两个实验室：（1）在首尔国立大学的主要实验室（图。（2）韩国国立大学-三星合作研发中心的可用性测试实验室&（图8a）。8 b）。主实验室于2009年开放，为HCIL的每个成员提供独立的设计和开发环境。它具有用于大数据分析和深度学习模型训练的基础架构。由于与三星电子的长期合作，我们还开设了可用性测试实验室，以加强对AR/VR研究以及定量和定性用户研究的支持。它配备了混合现实设备和仪器，以收集用户的生物反馈（图1）。 9，例如，眼球运动、脑电图（EEG）、皮肤电活动（EDA））。G. Han，J.Jo，H. J.Chae等人视觉信息学4（2020）3539见图9。HCIL中的生物反馈跟踪器（眼动跟踪器和EEG跟踪器）和VR/MR设备竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了韩国国家研究基金会（NRF）的部分支持，该基金由韩国政府（MSIT）资助NRF-2019R1A2C2089062）。引用Chae，H.J.，张，Y.，金，M.，Park，G.，徐杰2020. ARphy：在AR中使用物理对象管理照片集。在：2020 CHI会议的扩展摘要在 计算系统中的人为因素。pp. 1-7号。Chae，H.J.，黄宗羲即，崔，Y.，Kim，Y.，Koh，K.，徐杰2016.防止在使用手腕旋转进行设备配置时意外输入。在：第29届用户界面软件和技术年度研讨会论文集。205-206Chae，H.J.，黄宗羲即，徐杰2018.增强现实中有效放置远处物体的基于墙的空间操作技术。在：第31届年度ACM用户界面软件和技术研讨会论文集，pp。45比52赵，M.，金，B.，裴，H.- J.，徐杰2014. Stroscope：不规则测量时间序列数据的多尺度可视化。IEEE Trans. Vis. Comput. Graph. 20（5），808-821。乔，J.，嗯，杰，帕克，J.，金，B.，徐杰2014. Livestock：交互式可视化一个庞大的生产计划。IEEE Trans. Vis. Comput. Graph. 20（12），2329-2338。乔，J.，金，W.，尤，S.，金，B.，徐杰2017年a。SwiftTuna：大规模多维数据的响应式和增量式可视化探索。2017年IEEE太平洋可视化研讨会（PacificVis）。IEEE，第131-140。乔，J.，李，B.，徐杰2015. WordlePlus：通过自然交互和动画扩展wordle的 使 用 。IEEE计算Graph. Appl. 35（6），20乔，J.，L'Yi，S.，李，B.，徐杰2017年b月。TouchPivot：混合WIMP后WIMP界面，用于平板设备上的数据探索。在：2017年CHI计算机系统人为因素会议论文集，pp。2660-2671。乔，J.，L'Yi，S.，李，B.，徐杰2019. ProReveal：具有安全保障的渐进式可视化分析。IEEE Trans.目视Comput. Graphics-遗漏广西快乐乔，J.，徐杰2019.散点图中数据分布的非纠缠表示。在：2019年IEEE可视化会议（VIS）。pp. 136-140。乔，J.，徐杰Fekete，J.，2020. PANENE：一种用于索引和查询近似k近邻的渐进算法。IEEE Trans. Vis. Comput. Graphics26（2），1347-1360.乔，J.，Vernier，F.，Dragicevic，P.，Fekete，J. D、2018.多类密度图的声明式绘制模型。IEEE Trans. Vis. Comput. Graph. 25（1），470-480。Jung，D.，金，B.，Freishtat，R.J.，Giri，M.，霍夫曼，E.，徐杰2015. miRTarVis：一种用于microRNA-mRNA表达谱数据的交互式可视化分析工具。于：BMCProceedings，Vol.9.第九条。^Springer，p.S2.Jung，D.，金，W.，宋，H.，黄宗羲即，李，B.，金，B.，徐杰2017. ChartSense：从图表图像中提取交互式数据。2017 CHI Conference on Human Factors inComputing Systems会议论文集。在：CHI '17，计算机械协会，纽约，纽约，美国，pp. 6706-6717. http://dx.doi.org/10.1145/3025453.3025957网站。金，J.，乔，J.，徐杰2019. Autotator：用于加速图表图像注释过程的半自动方法。2019年ACM交互式表面和空间国际会议论文集。在：国际空间站'19，计算机械协会，纽约，纽约州，美国，页。315-318.http://dx.doi.org/10.1145/3343055.3360741网站。高，H.- K.，乔，J.， 徐杰 2020. 渐进一致流形逼近与投影。在：Kerren，A.，加思，C.，Marai，G.E.（编），EuroVis 2020- 短论文。欧洲制图协会，http://dx.doi.org/10.2312/evs。20201061。L'Yi，S.，张，Y.，Shin，D.，徐杰2019.通过散点图构建任务理解可视化推荐中的表示方法。在：计算机图形论坛，第38卷。Wiley Online Library，pp. 201 -211L'Yi，S.，Jung，D.，哦，M.，金，B.，Freishtat，R.J.，Giri，M.，霍夫曼，E.，徐杰2017. miRTarVis+：基于Web的交互式可视化分析工具，用于Microrna目标预测。方法124，78-88。L'Yi，S.，Ko，B.，Shin，D.，Cho，Y.J.，李，J.，金，B.，徐杰2015年。XCluSim：A可视化分析工具，用于交互式比较生物信息学数据的多个聚类结果。BMCBioinform.16（S11）、S5.帕克，H.，Koh，K.，崔，Y.，Chae，H.J.，黄，J.，徐杰2016.使用增强现实耳机在智能环境中的设备之间定义规则。在：第二届城市空间物联网国际会议论文集，pp。18比21宋，H.，李，J.，Kim，T.J.，李启雄金，B.，徐杰2016. GazeDx：交互式视觉分析框 架， 用 于与 体 积医 学 图像 进行 比 较凝 视 分析。 IEEE Trans. 目 视Comput.Graph. 23（1），311宋，H.，Yun，J.，金，B.，徐杰2013. GazeVis：用于连续横截面医学图像的交互式3D凝视可视化。IEEE Trans. Vis. Comput. Graph. 20（5），726-739。尤，S.，乔，J.，金，B.，徐杰2018. LongLine：用于大规模审计日志的可视化分析系统。目视告知。2（1），82尤，S.，乔，J.，金，B.，徐杰2020.·可视化分析工具：用于入侵检测和防御系统的可视化分析工具。IEEE Access.
