虚拟现实智能硬件：数字孪生和延展实境协作的推动力

虚拟现实智能硬件• 文章·2022年12月第4卷第6期：48710.1016/j.vrih.2022.06.004通过延展实境协作增强数字孪生子的能力Lorenzo STACCHIO1，Alessia ANGELI 2，古斯塔沃马尔菲亚 3*1. 意大利博洛尼亚大学生活质量研究系2. 意大利博洛尼亚大学计算机科学与工程系3. 意大利博洛尼亚大学艺术系接收日期：2022年3月12日;修订日期：2022年5月5日;接受日期：2022年6月12日翻译后摘要：背景人工智能，大数据分析和物联网的进步铺平了道路的出现和使用的数字双胞胎（DT）的技术，“双胞胎”的物理实体的生活在不同的与此同时，工业和消费电子产品中延展实境（XR）的出现提供了新的范例，可以很好地用于可视化和与DT交互。XR技术可以支持人与人之间的互动，以进行培训和远程援助，并可以将DT转变为协作智能工具。方法我们在这里提出了人类协作智能授权的数字孪生框架（HCLINT-DT），该框架集成了人类注释（例如，文本和声音），以允许创建一个所有在一个地方的资源，以保存这样的知识。该框架可以应用于许多领域，支持用户学习如何执行未知过程或探索他人的过去经验。结果这样一个框架的评估涉及到实现DT支持人类注释，反映在物理世界（增强现实）和虚拟世界（虚拟现实）。结论接口设计评估的结果证实了开发HCLINT-DT为基础的应用程序的兴趣。最后，我们评估了如何将所提出的框架转化为制造环境。关键词：数字孪生;延展实境;人类协作智能由博洛尼亚大学Alma Attrezzature 2017年资助，AQUEE S.p.a.，Golinelli基金会和Elettrotecnica Imolese S.U.R.L.引文：Lorenzo STACCHIO，Alessia ANGELI，Gustavo MARFIA.通过延展实境协作为数字孪生子赋能。虚拟现实智能硬件，2022，4（6）：4871介绍人工智能（AI）、大数据分析（BDA）和物联网（IoT）的进步为数字孪生（DT）在许多领域的出现和使用铺平了道路，包括制造业、航空航天、医疗保健和医学[1]。DT是模拟、模仿、镜像或“孪生”物理实体的生命的计算机模型与仿真模型不同，DT连接到支持双向关系的物理对应物，接收实时数据以监控其运行状态，控制其流程和功能，并返回诊断和故障分析等见解。由于这些特性，DT被应用于不同的领域，*通讯作者 ，gustavo. unibo.it2096-5796/©版权所有2022北京中科学报出版有限公司有限公司、出版社：Elsevier B.V.我代表科爱通信有限公司公司 这是CC BY-NC-ND许可下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。488虚拟现实智能硬件12月（2022）卷。4条第6医疗保健[2，3]。Tao等人探索了DT车间的新概念，讨论了四个关键组件，包括物理车间、虚拟车间、车间服务系统和车间DT数据[4]。他们的目标是找到一个融合的制造物理和虚拟世界，实现智能互联，互动，控制和管理。随着Metaverse生态系统的出现和应用程序的增加，延展实境（XR）范式可能会增加这种讨论的深度[5]。特别是，最近的工作已经探索了DT和虚拟现实（VR）模型在几个不同应用领域的组合的有效性[6增强现实（AR）技术也已经被很好地用于可视化DT，从而帮助用户进行日常活动[9值得注意的是，大多数此类作品都专注于人和物体的DT然而，更有限数量的作品集中在人机交互（HMI）在这样的模型中的作用。HMI专注于寻找自然的方式来沟通，合作，以及人与机器之间的互动。在这一领域，值得一提的是Josifovska等人的工作。[12]他引入了一个DT授权的多模式UI框架，以使辅助系统适应不同的环境条件和人类工作者。在这样的提议中，人类的DT服务于以系统和细粒度的方式对特定人类能力、特性和偏好进行建模的目的。相反，Ma et al.探索了在HMI的产品生命周期中采用DT，包括其设计，制造和服务[13]。然而，尽管在自动化、传感和自动化学习方面取得了进展，但今天人们普遍认为据我们所知，这些工作都没有考虑利用XR和DT技术的潜力，将任何系统的主要组件，即人类在参与特定活动时创建和塑造的协作智能，交付到HMI中。因此，这项工作的重点是从协作智能（CLINT）的角度考虑工人与物理对象和虚拟模型交互的动态。CLINT对科学界来说并不新奇，根据具体的观点，已经提供了许多不同的定义[14为了定义我们的建议，我们从[18]介绍的CLINT的定义开始：它涉及不同团队成员的广泛合作来解决问题。它可以为设计更好的解决方案提供比任何单个成员更多的信息，同时提供不间断的实时学习机会。此外，这种合作有可能将不同的贡献（不同的成员为解决问题提供不同的信息/知识，技能和经验）整合到一个平台中，以产生成功解决问题的创造性解决方案。基于这些考虑，在这项工作中，我们考虑了在DT中嵌入人类协作智能（HCLINT）经验的问题。为了解决这个问题，我们提出了一个CLINT授权的基于DT的HMIs框架，其中流程的DT可以集成人类注释（例如，文本和语音注释），称为HCLINT-DT。这个框架的作用不仅是支持信息的探索，而且还允许创建一个所有在一个地方的资源来保存人类知识。这种结构的灵活性取决于如何收集、保留和访问人工注释。为了简化这样的操作XR范例，诸如用于DT注释的VR接口和用于物理注释的AR（即，注释在物理世界中执行的对象和动作）。这样一个框架支持这种信息的交叉存取。换句话说，在物理对象上工作的那些人可以从从与DT一起工作的那些人接收的反馈和建议中受益，反之亦然。一个额外的功能包括可视化的过程历史的一个特定的步骤，使用声音或视觉标记，作为一个复苏的触发器。489Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力可以考虑涉及物理对象及其DT的任何场景来执行HCLINT-DT框架的评估，其中注释被交叉提供、存储和访问。这种类型的场景是非常普遍的，因为它跨越从工业到商业到私人环境。我们执行的评估考虑了一个特定的用例：通过家庭相册照片的注释进行内存保存。以前的作品已经尝试了基于HoloLens 2的界面和深度学习（DL）范式，以便轻松注释和编目图片，以恢复探索家庭过去的现象这些工作相当于HCLINT框架的第一步：注释。我们通过开发由专辑的网络物理对应物形成的DT，以及主题和主题本身所做的注释来扩展这些作品值得注意的是，这个用例与其他设置共享共同的特征。例如，在制造业中，工人通常通过学习或访问他人分享的经验来学习如何执行未知的过程[21]。将注释锚定到物理对象或其孪生体的机会可以促进后者。但这并不是唯一的积极方面影响员工参与的因素是，根据马林等人。[22]：赋权（与雇员分享权力并提高其自主程度）、培训（发展员工的共同能力并更好地了解他们所参与的进程）、沟通和薪酬。为了评估像HCLINT-DT这样的框架是否可以在生产环境中对任何这些因素做出贡献，我们还对一家从事建筑电气系统业务的中小型企业进行了现场观察分析。这份手稿的组织如下：在第2节中，我们修改了与第3节中介绍的框架相关的工作。在第4节中提供了一个可能的实例，其中我们提供了一个实际用例，并在第5节中进行了验证。第6节提出了一个可能的适应框架，以具体的工业案例，通过现场观察研究。最后，第7节预测了VR界面的未来工作，第8节提供了对该框架的实用性和价值的见解，以及未来可能的工作方向。2相关作品DTs越来越多地被应用于研究和工业[2，3，6有趣的是，在这种情况下，延展实境（XR）范式正在逐步发挥核心作用，这是一个将虚拟，增强和混合现实（VR，AR和MR）组合在一起的总括术语由于XR，可以操纵DT，直接影响物理世界，反之亦然[6在[23]中可以找到此类空间的指南，其中作者重点审查了AR/MR远程协作对体力任务的贡献。在他们为这一领域勾画的未来研究问题中，他们提到了多模式交互、混合界面和基于工业AR的远程协作，还引用了DT。在下文中，我们将专注于与我们最接近的研究，使用XR范式来维持和维持协作智能的增长和共享在[24]中，作者提出了VirCA，即虚拟协作竞技场，通过采用可共享和完全可定制的3D虚拟工作空间作为中心思想来实现复杂的愿景。他们的目标是使用户，不一定位于同一地点，合作创造的想法，然后设计和实施他们在一个共享的虚拟空间。相反，[25]的作者专注于提供一种外科远程监护工具，其中使用AR模拟透明显示器将注释直接叠加到手术野上。在他们的系统中，当受训者显示器移动时，注释粘在手术野上，手术野变形或被遮挡。最后，在[26]中提出了一种现场技术人员-制造商远程维护工具该系统可以490虚拟现实智能硬件12月（2022）卷。4条第6记录最终用户报告的故障，并使用AR显示器提供专家建议的维护措施。关于这些贡献，我们在这里集中讨论人类如何帮助他人，采用人类协作情报（HCLINT）方法，将中心角色分配给DT。HCLINT可以帮助人类支持其他人的活动。正如Chen et al. HCLINT涉及不同团队成员的广泛协作，以解决问题，同时提供不间断的实时学习机会。遵循这一思路，我们还采用了一种众所周知的人类普遍采用的知识转移策略：异步、持久的注释。然而，我们在这一过程中又向前迈进了一步：在我们的贡献中，我们支持提供和共享由文本、语音或视频组成的人类注释，利用XR（在我们的案例中是AR + VR）范式来调整物理和虚拟世界。这相当于一种独特的方式，使人类相互学习，提高效率。事实上，通过AR和VR模式提供的注释的无缝利用可以使那些与物理对象交互的人能够从那些利用其孪生兄弟的人那里获得反馈，反之亦然。因此，与本节中引用的作品相比，我们是唯一一个旨在设计HCLINT模块的人，通过注释赋予DT，同时通过XR范式与物理和虚拟空间此外，我们在这里追求以用户为中心的方法，通过提供采用两种不同策略的评估，一种使用技术接受模型（TAM）结构，另一种在制造工厂内进行短期观察研究[27，28]。在下文中，我们描述了我们如何建议通过XR范例来支持这样的协作环境3HCLINT-DT框架：利用人类协作智能为数字双胞胎在本节中，我们描述了旨在利用人类协作智能（HCLINT）来增强五维数字孪生（DT）模型的框架[4]，如图1所示。为清楚起见，表1中报告了第3节和第4节中使用的主要缩略语以及相应的数字孪生模型。在这项工作中采用的五维DT模型建立在框架之上活动服务体系物理环境活动DigitalTwin数据虚拟环境数字孪生模块注释模块人类协作智能图 1HCLINT-DT框架的主要组成部分。注释数据注释驱动491Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力表 1缩略语表及其全文说明缩写全名缩写全名ADTD活动数字孪生数据HCLINT人类协作智能ASSYST活动服务体系是注释模块PE物理环境XR延展实境VE虚拟环境AR增强现实DT数字孪生VR虚拟现实在[4]中提出的，包括以下组件：（a）物理环境（PE），包括一系列实体，如人，机器和文档;（b）虚拟环境（VE），包括在多个维度上构建的模型ASSYST相当于一个集成的服务模块，它封装了数据分析，模型，算法等功能，分解成子服务，并将它们组合起来形成组合服务，以满足PE和VE的特定需求。最后，（d）活动数字孪生数据（ADTD）包括PE，VE和ASSYST数据，它们的聚合，以及现有的建模方法，优化和授权PE和VE。ADTD中的数据与所有其他模块进行实时通信，以消除可能的信息孤岛，从而提供全面、同步和一致的视觉。Annotation Module. 注释模块（AM）作为五维DT模块的伴侣出现。AM作为一个即插即用模块，利用HCLINT和XR范例。在实践中，与PE或VE交互的每个用户可以读取或产生注释。这种注释可以源自AR和VR。在第一种情况下，佩戴AR头戴式显示器（例如，Hololens）可以：（a）个性化那些在VE中也拥有网络物理对应物的真实世界对象，以及（b）提供注释，同时产生多媒体内容（例如，文本、视觉和声音数据）。ADTD和ASSYST模块处理并复制这些注释，使它们可用于VE中的相应元素。VR设置提供了直接在VE中提供注释的可能性，利用VR头戴式显示器。VR中共享的更新由ADTD和ASSYST模块处理，以将此类注释导出到AR。所提出的AM对于DT的特定类型（对象、人或过程）是不可知的为了直观地描述AM的操作机制，以及它如何与参考DT模型交互，我们引入了新的图2。如图所示，AM在插入注释（或不插入注释）之前、期间和之后三个阶段中工作在此图中，蓝色、紫色、黄色和绿色块分别代表PE、VE、ASSYST和AR/VR界面它们的操作和交互由ADTD支持在读取或生成注释之前，系统识别用户观看的对象。为此，根据用户决定使用的界面（AR与VR），从PE或VE获取用户视图的快照。在AR的情况下，快照是从相机拍摄的简单照片或视频，而在VR中，它包括位于视锥中的一组对象此时，调用对象识别服务在AR的情况下，这种模块采用一个或多个基于深度学习的对象检测器来识别已知对象及其空间坐标。相反，对于VR，识别在于检查与所考虑的对象集相关联的元数据。一旦识别出用户视图中的对象，ASSYST模块就会检索相关的注释（如果存在）。同时，在用户的视图中识别的对象被突出显示，以建议哪些是活动的，以进行可能的交互。最后，当用户与其中一个交互时，界面上会覆盖一个菜单，提供现有注释的列表。现在，给定的用户可以决定提供一个新的注释或可视化现有的注释之一（注释可能很多）。在第一种情况下，用户根据注释的类型（文本与声乐）。在第二种情况下，ASSYST模块存储新的注释和标识492虚拟现实智能硬件12月（2022）卷。4条第6用户视图用户视图注释检索没有用户交互？没有Overlay菜单wit h实际注释注释前是的用户是否提供新注释？是的更新实际注释注释商店系统注释期间用户是否复制注释？是的化身是的没有如何注释关闭注释？注释后/无注释是的显示人头像注释AR/VR接口活动服务系统虚拟环境物理环境覆盖识别标志对象识别服务图2 HCLINT-DT机制工作流程：AM和DT模型之间的交互493Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力的作者。最后，可以提供或转载进一步的说明当用户决定再现实际注释时，它可以简单地可视化文本项或选择更自然的方式来获取内部信息。为此，用户可以直接从共享注释的人的化身在此步骤之后，该过程将从头开始循环。4数字孪生实验：HCLINT-DT家庭照片应用案例在本节中，我们将为HCLINT-DT模块提供一个实际的用例：家庭相册注释过程的DT。 家庭相册提供了一个不可重复的机会，以恢复有关社会事件，感情，亲戚，朋友，特殊事件等旧的记忆。[29]第10段。在整个20世纪，人们打印照片并将其收集在家庭相册中。尽管数码摄影和社交媒体的传播，人们仍然回顾并发现他们家庭的过去，经常分享大声思考的想法和记忆，这些想法和记忆通常在他们交换的谈话中幸存下来[19，20，30]。数字技术可以提供可行的方式来保留记忆，注释，并以一种简单而有意义的方式恢复这些元素。应用HCLINT-DT框架，可以实验其存储和提供相关注释的能力。通常，当一张照片放在相册中时，会在其背面写上一些注释。那些随后浏览这些图片的人将能够通过这些注释发现图片所描绘的内容。这相当于HCLINT的一个典型例子，信息是协同发生。因此，我们设计了家庭相册的DT，应用HCLINT-DT模块，实现了一个双面AR和VR应用程序，用于注释共享。4.1AR界面AR界面采用了以前研究中开发的模型[19，20]，其中开发了一个系统用于家庭相册照片的数字化和编目，利用HoloLens2[31]作为可穿戴设备，实现界面的AR范例，以及对家庭相册照片进行编目的深度学习模型。特别是，我们微调了一个著名的对象检测器，即YOLOv 5[32]，以识别给定用户视图中然后，使用[33]中提供的IMAGO模型，即IMAGO-DATING和IMAGO SOCIO-HISTORICAL，根据社会历史标签对这些图片进行这些模型分别提供了模拟家庭相册照片的日期和社会历史背景的预测。我们决定扩展在此类工作中引入的AR系统，将YOLOv5作为图片检测器，并添加一个模块来识别ADTD中已经存在的图片[34]。以这种方式，可以识别包括在相册的DT的数据库中的图片并检索相关联的注释。因此，所有模型都作为第3节中定义的ASSYST模块的一部分运行增强现实界面包括三个模块：图片检测和匹配，注释检索和交互菜单。首先，AR界面捕获用户视图以个性化任何家庭相册照片。在这一点上，预先训练的YOLOv5对象检测器预测场景中不同图片的边界框坐标，并相应地裁剪它们图3以图形方式报告了该程序然后将裁剪后的图片传递给图像匹配算法，以检查它们是否带有任何注释。如果是这种情况，则检索它们的注释为此，我们采用SIFT[35]算法进行特征匹配。否则，用户可能是第一个注释它们的人。工作流如图4所示在任何情况下，一旦识别和检索步骤完成，用户就可以恢复先前用户在所考虑的照片上所做的注释（如果存在的话）。494虚拟现实智能硬件12月（2022）卷。4条第6匹配的特征数：203匹配的特征数：528注释的集合图像ld：42匹配的特征数：428图3执行预训练的YOLOv5以个性化和裁剪图片。图4 SIFT执行、排序和后续数据库搜索的示例，用于注释检索。AR菜单被认为是尽可能简单的，让用户专注于图片，而不会分心。这种菜单如图5所示。回想一下，在前一步中，获得了图片的边界框，可以创建一个不可见的交互区域，相当于包围照片的矩形。利用这种方法，当用户触摸其中一张图片时，就会出现菜单。此时，用户可以决定编写新注释或复制现有注释。在图6中，报告了创建新注释的过程，考虑到文本类型。在实践中，用户通过触摸New Annotation按钮与菜单交互，然后决定她/他是否想要留下文本、语音或视频注释。对于每种类型的注释，将显示不同的菜单。考虑到文本，一个虚拟键盘，用作输入设备，将在菜单旁边实现。相反，考虑语音和视频输入，用户可以注册关于特定图片的语音注释，将其3D化身相关联。后者可以通过采用深度学习来实现495Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力新注释新注释复制注释新注释我和我妹妹在海滩上.W再现注释复制注释图 5AR界面主菜单。图 6AR界面菜单：对图片进行标注。[36]中提供的模型和[37]中提供的工具（包含在ASSYST中所有新的注释都会立即发送到ADTD模块，以支持它们对VE的访问。在引入任何注释之后，用户还可以再现现有注释。在这种情况下，如图7所示，她/他可以选择ReproduceAnnotation，然后选择她/他想要复制的注释类型，最后从列表中选择一个该图展示了文本注释情况。496虚拟现实智能硬件12月（2022）卷。4条第6图7 AR界面主菜单：再现图片的文字注释4.2VR界面VR应用程序执行与AR界面相同的任务，但利用VR范例。所有的环境、对象和交互都是使用Unity开发的[38]。在图8中，我们报告了刚进入环境时的初始图 8初始VR用户视图和用户座位。如图所示，环境很简单：有一个空房间，有一张桌子，一把椅子和一本家庭相册，上面有两张照片。可视化的图片可以通过类似于Shift的命令进行更改，就好像用户正在浏览家庭相册一样。所有用户交互都使用光线投射，允许通过简单的点击机制选择项目和操作。这种设计选择基于Google VRSDK，并被采用以使这样的环境适应多个移动VR设备（例如，智能手机）[39]。用户可以进行的主要活动是浏览家庭相册，以唤醒照片背后的记忆。此外，图片是互动的：如果用户点击其中一个，主菜单出现。至于AR界面，菜单提供了创建新注释或复制关于该特定照片的现有注释的可能性（如图9中的图形如前所述，注释可以是文本的或声音/视觉的。从第一次开始，一旦文本497Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力图 9VR家庭相册和菜单。注释按钮时，菜单显示其他用户所做的所有文本注释如果存在唯一注释，则直接在图片顶部报告，如图10所示图10特定图片的文本注释，以其原始语言报告现在考虑语音和视觉注释，我们在这里报告他们的分析结果。事实上，如第4.1节所解释的，用户在记录语音音符之后也可以产生其3D化身。这个过程产生了一个整体的Avatar Annotation，它可以在虚拟领域中复制，如图11所示。此外，用户还可以决定为所考虑的图片提供新的注释。至于AR界面，她/他可以提供文本和语音/视觉注释，遵循相同的步骤，但利用VR范例。例如，考虑到语音注释过程，用户应选择New Annotation按钮，然后选择Vocal模式。将出现一个子菜单，如图12所示。在这一点上，她/他可以点击开始录音，而上下文说话。一旦完成，停止录制按钮提供了保存声乐音符的可能性。然后，所有生成的注释都被发送到ADTD模块，图 11在VR中再现化身注释。Mia madre in posa sulla罗马机场-菲乌米奇诺机场498虚拟现实智能硬件12月（2022）卷。4条第6图 12声乐子菜单和录音机制。将它们中继到ASSYST模块和PE（即，AR界面）。5评估模式和结果我们报告的结果与评估的AR接口作为一种工具，用于插入注释。这里呈现的结果表示与物理对象交互的体验（即，家庭相册）。我们框架的主要用例之一是涉及用户在真实对象上进行注释的用例。其他人应该能够从VE轻松访问该信息，即使不在物理位置。评估是通过在线调查进行的，参与者首先被要求观看AR界面如何工作的视频。这项调查是对30名参与者进行的。该小组包括性别均衡的参与者人数：15名男性和15名女性。参与者的平均年龄为28.17岁，标准差为3.12岁（最小和最大分别为22岁和37岁选择参与者的数量是为了权衡从人群中获取足够反馈数据的必要性和评估阶段所花费的时间[40，41]。评估模型。评估模式的目的是评价：（a）这种接口的易用性和使用意图，以及（b）其有用性/采用情况。为了设计这样一个调查，我们从技术接受模型（TAM）[42]中获得了灵感，该模型用于衡量用户的态度，主观规范，感知易用性和有用性。从TAM中，我们得出以下问题：I1. 我发现新的界面很容易理解（5点李克特量表）;I2。我更喜欢看增强版的家庭相册，而不是普通的（5分制）;I3.我欣赏图片的自动识别（5点李克特量表）; I4.你会使用这个AR界面来分享你的注释吗？(yes/no question）; I5. 我很喜欢这里的整体体验（5分Likert量表）。I1语句旨在评估AR界面设计的易用性; I2项让我们了解用户是更喜欢增强体验还是经典体验。项目I3旨在衡量AR界面的主要功能之一的有用性：使用YOLOv5和SIFT自动识别图片。然后，I4的目的是了解我们的用户有多想使用这个AR界面来分享他们的记忆，以及他们图片的注释。最后，通过I5，我们要求进行广泛的评估。如报告所述，除项目I4外，五个项目中有四个是用五点李克特量表测量的。这一项被制定为是/否问题，因为我们想强调用户使用注释系统的直接意图结果在表2中报告了通过对我们的受试者进行建议项目调查获得的平均值和标准差。问卷的内部一致性采用499Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力计数表2所有考虑项目的平均值和标准差项目I1I2I3I4I5是说4.373.704.370.774.30STD1.001.060.930.430.88Cronbach返回的Cronbach这是一个有价值的结果，考虑到有些项目可能会引起分歧（例如，I2与I3）。在检查了问卷的内部一致性和有效性之后，我们在表2中报告了通过对受试者进行拟议项目调查获得的所有平均值和标准差，以及图13和图14中的项目响应直方图17.515.012.510.07.55.02.50.012161014812106846422001 2 3 4 5 1 2 3 4 51 2 3 4 5I1 I2 I3图13 5点李克特量表项目I1、I2和I3中答案的直方图20151050是否141210864201 2 3 4 5I4 I5图14回答是/否和5分Likert量表项目I4和I5的直方图从表2和图13中可以明显看出，对于界面设计的易用性（I1），存在普遍的一致性，但与给定应用场景中使用现代技术（I3）相比，结果并不那么积极。然而，这最后一个结果与项目I2的答案形成对比，在项目I2中，我们只能欣赏部分同意通过现代技术镜头观看家庭相册的偏好这可能是因为一些受访者仍然喜欢在没有过滤器的情况下恢复他们的旧记忆。对于所关注的问题，而不是在注释其图片时使用所提议的AR接口（I4），表2和图14展示了支持我们应用程序的初始目标的一致性水平。最后，来自I5的分数强调了所有受试者都喜欢AR界面。为了进一步证实我们的结果，并测试所获得答案的统计学显著性，我们对所有五点李克特量表项目进行了单样本t检验[44]。单样本t检验比较平均值与假设平均值，只要样本遵循正态分布。由于样本量为30，根据中心极限定理，它近似于标准正态分布[45]。然而，经典的双尾单样本t检验没有突出样本平均值和假设平均值之间差异的方向出于这个原因，我们进行了单尾单样本t检验，其中零计数计数计数计数500虚拟现实智能硬件12月（2022）卷。4条第6假设H0假定平均值（μ）低于或等于固定平均值，而替代假设H1假定平均值（μ）高于固定平均值。将五点李克特量表项目的比较值设定为3，因为任何大于3的值均我们将参数α= 0.05设置为p值的显著阈值对所有考虑的五点李克特量表项目进行的检测结果报告见表3。表3对所有考虑的5点Likert量表项目进行单尾单样本t检验。对于它们中的每一个，可以拒绝项目I1I2I3I5值7.493.638.068.12p值1.48e-085.3e-043.4e-093e-09从表3中可以明显看出，对于所有考虑的项目，零假设H0可以被拒绝，考虑到p值的显著阈值和临界t值[46]，从而证实了迄今为止进行的分析。相反，对于唯一的是/否问题项（I4），我们进行了二项式检验，返回观察频率等于预期频率的假设的概率[47]。此外，在这种情况下，我们采用了单尾视角，将积极结果的预期概率固定为0.6（积极一致性）。零假设H0假设概率P（I4 = 1）≤0.6，而备择假设H1假定P（I4 = 1）> 0.6。我们将参数α= 0.05设为有意义的p值的阈值返回的比例估计值（0.77）和p值= 0.044证明了我们检验的统计学显著性，因此项目I4的结果为最后，值得注意的是，提供给我们的受试者的所有问题都是非常一般的：这个选择是为了评估一个抽象的场景，可以应用于任何人正在观察一个对象并希望获取/检索其注释的上下文。这可以被视为任何观察和注释场景的简化形式，其中用户可以共享，也可以从其他远程用户检索注释，充分利用HCLINT。6HCLINT-DT：工业环境中的短期观测分析如所预期的，HCLINT-DT通常可以适应不同的上下文。 为了探索这种可能性，我们在ElettrotecnicaImolese S.U.R.L.进行了一项短期观察性研究。[48]，其使命是生产工业电气系统，从设计到最终安装和测试。特别是，我们观察并采访了专业工人的日常活动，以了解HCLINT-DT如何从精益制造的角度改进他们的流程[22，49]。我们专注于如何使用HCLINT-DT（主要的工人协作活动发生的地方）来改善授权、沟通和培训通过观察专业工人的活动，我们发现，在组装、安装和测试电气配电盘的过程中，都发生了人类的合作。特别是，在组装电气配电盘时，专业工人依赖便携式计算机，这使他们能够可视化描述电气方案和电路的文件。工人们可以在他们正确组装的组件上对缺失的材料或错误进行注释或涂写检查标记。所有这些注释都利用云技术共享给工程师，工程师将提供对电气方案的校正，再次注释相同的文档。这些活动会产生一个循环，当组装阶段结束时，循环也会结束图15直观地表示了第一个过程。安装后，专业测试人员将按照严格的协议验证配电板是否正确安装，并分析每个组件及其互连，从而进行测试。对于每个组成部分，信息都在同一共享文档上进行了批注，并进行了肯定或否定检查。无论结果如何（成功501Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力物理环境工程师分析和注释组装装配工阅读和注释图15在装配阶段，装配人员读取并注释电气配电盘的共享文档，工程师最终分析并纠正装配人员提出的错误或建议。或失败），则注释的文档被与汇编器共享考虑到这种使用背景，HCLINT-DT框架，以及最影响精益制造的三个因素，我们设计了一个精益制造优化过程，从Gupta等人提供的模型中获得灵感。49. 首先，我们发现了现有流程的弱点我们发现，主要的一个是汇编程序员在以下过程中花费的多余时间：（a）从便携式pc物理移动到物理交换机，以及（b）在文档中搜索正确的页面以阅读指令或注释特定组件及其连接。然后，我们概述了HCLINT-DT的实施，通过同时改善授权、培训和沟通因素来消除这些浪费时间的因素。在实践中，我们通过考虑所有组件和互连来定义电气配电盘的DT。至于所考虑的家庭相册照片用例，AR界面（在第4.1节中描述）将识别现实世界中的每个组件，从而提供由不同用户制作或阅读注释的可能然而，在这种情况下，读/写注释过程将由数字文档（例如，pdf）。这意味着，当一个组件被识别时，包含相关信息的文档页面将在用户的视图中可视化，并通过采用AR范例进行操作相反，在虚拟领域中，定义了配电盘的精确再现以及由不同图形构成的所有注释。这一办法应能改进现有进程。首先，AR界面将在Hololens等AR设备上运行，因此装配人员可以继续工作，而无需从电路板转移到个人电脑。其次，对象识别将通过即时可视化共享文档中的所有信息来防止浪费时间搜索关于特定组件的指令/注释。HCLINT-DT框架对这个用例的适应在图16中直观地报告此外，由于采用了HCLINT-DT框架，通过使用最先进的工具和XR设备（例如，HoloLens 2和Htc-Vive），正如我们在分析期间采访的装配工，工程师和测试人员所证实的那样。通过HCLINT-DT共享注释的自然工作机制，提高了通信性能最后，培训是相同的HCLINT-DT共享注释机制的自然结果，因为工作人员可以分析先前注释的文档以学习其他人502虚拟现实智能硬件12月（2022）卷。4条第6图16适用于Elettrotecnica Imolese用例的HCLINT-DT框架：电气配电盘的物理组件被识别，从而有机会读取或写入在虚拟空间中的DT中镜像的注释，这也提供了相同的可能性。7未来的作品在第4.2节中，我们介绍了虚拟环境的第一个版本，它托管了一个由人类注释授权的家庭相册的数字孪生（DT）这样的界面的主要功能是考虑在任何地方、任何时间的人类注释的实现。然而，引入的注释检索方法使用经典的“点击”机制。这种检索方法可能不足以满足用户群的需要，打算探索人类注释。如何提高标注检索还需要进一步的研究。特别是有必要对虚拟企业进行全面的评估研究。此外，还应评估自然语言处理技术的可能影响，例如语音到文本和文本解析（以提供语音命令），命名实体识别（以识别用户所指的人最后，我们将研究注释如何自动影响物理空间，从而超越其传统角色。现在考虑这里介绍的HCLINT-DT框架（第3节），未来可能的工作方向包括人群智能技术的集成，这是人工智能和DT领域最有前途的技术之一[50，51]。群体智能来自大量自主个体的集体智能努力，这些个体被激励在基于互联网的组织结构下执行具有挑战性的计算任务[50]。许多互联网应用程序，如维基百科，网络问答和共享经济，已被开发成人才群体的池，展示了超越传统范式的重大进步。现在有趣的是，群体智能系统将群体和机器能力交织在一起，以解决具有挑战性的计算问题[50]。事实上，群体智能任务的结果，包括数据收集和注释，可以帮助训练人工智能算法和模型。进一步研究的问题还将包括理解HCLINT-DT框架如何支持机器（学习）以及这些过程对人类活动的影响所有这些进一步的工作方向将得到更多用户的参与的支持，文件数字孪生模块文件物理环境虚拟仪器注释模块装配工、工程师和测试员注释注释503Lorenzo STACCHIO，et al.通过延展实境协作增强数字孪生子的能力提供更全面的评估。8结论我们引入了HCLINT-DT框架，通过利用DT和XR范式来支持人类协作智能的传播。为了验证这种方法，我们通过在线调查评估了一个涉及家庭相册的用例。结果显示，人们对AR界面的易用性和整体体验普遍认同，即使在偏好AR方面只有部分认同。我们还探讨了所提出的方法的适应性，考虑从本地工业电气工程背景下得出的用例。在这里，HCLINT-DT表现出良好的适应性水平。 进一步调查可能涉及：（a）改进注释检索，（b）分析该注释系统如何支持机器（学习），以及（c）更深入地了解此类系统对人类活动的影响。最后，可以为其他领域和领域创建该框架的实例，而不是考虑的领域和领域（例如，教育、营销）。竞合利益我们声明我们没有利益冲突引用1 [10]杨伟，王伟.数位孪生的定义、特性、应用与设计意涵。IEEE Access，2019，7：167653DOI：10.1109/access.2019.29534992 陶锋，张宏，刘阿，倪阿英。工业中的数字孪生：最先进的技术。IEEE工业信息学学报，2019，15（4）：2405-2415DOI：10.1109/tii.2018.28731863 Elayan H，Aloqalan M，Guizani M.智能情境感知物联网医疗保健系统的数字孪生模型。IEEE Internet of ThingsJournal，2021，8（23）：16749DOI：10.1109/jiot.2021.30511584 陶F，张M.数字孪生车间：面向智能制造的新车间范例。IEEEAccess，2017，5：204185 Muñoz-Saavedra L，Miró-Amarante L，Domínguez-Morales M.增强现实与虚拟现实的发展与未来趋势。应用科学，2020，10（1）：322DOI：10.3390/app100103226 Mukhopadhyay A，Reddy G S R，Saluja K P S，Ghosh S，Peña-Rios A，Gopal G，Biswas P.具有社交距离测量功能的办公空间的基于虚拟现实的数字孪生模型。虚拟现实智能硬件，2022，4（1）：55DOI：10.1016/j.vrih.2022.01.0047 Rasheed A，San O，Kvamsdal T.数字孪生：从建模角度看价值、挑战和推动因素。IEEEAccess，2020，821980- 22012DOI：10.1109/access.2020.29701438 Sepasgozar S M E.数位孪生与网路虚拟游戏技术于线上教育之应用-以建筑管理与工程为例。应用科学，2020，10（13）：4678DOI：10.3390/app101346789 [10]杨文辉，李文辉.利用网络服务和增强现实技术实现数字孪生模型的可视化。2016年IEEE第14届工业信息学国际会议。Poitiers，France，IEEE，2016，522-527 DOI：10.1109/indin.2016.781921710 Zhu Z，Liu C，Xu X.利用增强现实技术实现制造业数字孪生数据的可视化。Procedia CIRP，2019，81：898- 903DOI：10.1016/j.procir.2019.03.22311 邱春，周S，刘Z，高Q，谭杰。 基于增强现实和数字孪生的数字装配技术综述。 虚拟现实&智能硬件，2019，1（6）：597-610DOI：10.1016/j.vrih.2019.10.002504虚拟现实智能硬