制造业多媒体数据可视化与可视化分析的综述Perspective on Visualizing and Analyzing Mul...

视觉信息学6（2022）12制造业多媒体数据可视化与可视化分析研究综述王运超，朱子豪，王磊，孙国道，梁荣华浙江工业大学计算机科学与技术学院，杭州，310023ar t i cl e i nf o文章历史记录：2022年9月5日网上发售关键词：可视化可视化分析制造业多媒体数据工业4. 0数字孪生a b st ra ct随着生产技术和社会需求的发展，制造业的各个部门也在不断完善。传感器和计算机的使用使得在制造业中收集多媒体数据变得越来越方便。根据类型进行有针对性、快速和详细的分析在整个制造过程的不同阶段，多媒体数据的处理可以做出及时的决策。可视化和可视化分析由于其强大的直观和交互式理解、呈现和分析数据的能力，经常被应用于制造业的多媒体数据分析在本文中，我们提出了一个专门用于制造多媒体数据的可视化和可视化分析的文献综述。我们根据可视化技术，交互分析方法和应用领域对现有的研究进行分类。我们讨论的差异时，可视化和可视化分析应用于不同类型的多媒体数据的背景下，特定的制造业研究项目的例子。最后，我们总结了现有的挑战和未来的研究方向。版权所有©2022作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍近年来，制造业在社会经济发展中的作用越来越重要.工业4.0的核心是智能生产技术和模式。它旨在通过物联网和服务互联网（IoS）连接产品、机器、资源和人，促进各方面的数据共享，实现产品全生命周期和整个制造过程的数字化（Cardosoet al. ，2010; Gubbi et al. ，2013）。在调查和分析国家主导的政策和拟议的技术路线图后，我们可以了解与智能制造相关的五项关键技术，即网络物理系统（CPS）、云制造、大数据分析、物联网（IoT）和智能传感器（Gehlot et al. ，2022; Kang et al. ，2016年）。此外，还有三种应用技术，即3D打印、智能能源和全息图。然而，值得一提的是，这些技术并不分析整个制造过程中产生的数据。整个制造过程可以大致分为三个主要阶段：设计&开发、生产&测试和销售&服务（Zhou et al. ，2019）。这三个阶段中的每一个都有生成不同类型数据的任务。设计开发阶段的任务除了设计和开发*通讯作者。电子邮件地址：guodao@zjut.edu.cn（G. Sun）。https://doi.org/10.1016/j.visinf.2022.09.001产品的风格和功能也包括工厂和商店的场地规划。在生产测试阶段，原材料配送订货、人员和设备调度、产品质量和生产线监控分析都是研究的热点方向。在销售&服务阶段，产品推广和广告设计（Guo etal. ，2021年），销售数据和反馈分析也非常重要。在上述阶段中生成的数据包括表格、文本、图像、视频和传感信号。多媒体数据包括一个或多个主要媒体数据类型。多媒体数据在本文中被用作由整个制造过程产生的数据的集合术语。随着传感器和计算机的使用，制造数据的采集变得更加容易。因此，数据本身的实时性和数据之间的相关性得到了增强。根据多媒体数据的类型进行有针对性的、快速的、详细的分析，可以在整个制造过程的不同阶段做出及时的决策（马可尼等人，2021; Yao et al. ，2019）。这也是制造业多媒体数据研究的内在动力。可视化与可视化分析是一门综合性学科，它与图形学、数据挖掘、人机交互等多个研究领域密切相关可视化和可视化分析技术有多种方法可以直观有效地将大量信息转换为知识和推理由于其直观性和有效性，它们经常被用于制造业的多媒体数据分析。2468- 502 X/©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfY. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1213··在本文中，我们系统地回顾了制造业多媒体数据的可视化和可视化分析的相关研究工作。我们介绍了一种方法，论文收集和审查，并提出了一种新的分类多媒体数据类型的基础上。然后，我们从可视化技术、交互分析方法和应用领域三个方面对所收集的论文进行了总结。1最后，我们对现有工作进行了讨论，并对未来的工作提出了建议2. 相关调查在本节中，我们回顾了与制造业相关的调查。由于制造业门类繁多、流程复杂，因此制造业的研究方向和目标很多。这些高质量的调查涵盖了制造业的数据、技术和概念（Baboli，2021; Chhikara，2022; Cui 等 人 ， 2019 ） 。 ， 2020; Park 等 人 ， 2020; Qu 等 人 ，2019）。接下来，我们从微观和宏观两个角度讨论现有的调查。制造业中的特定数据或技术。 ①数据处理技术。对于工业4.0中的复杂高维数据，Chhikara（2022）比较了来自特征提取和特征选择两个任务的不同降维技术②具体行业的可视化。以汽车制造业为例，为了更好地理解不同类型的数据流，Stevens etal.Schlereth and Birklein（2007）介绍了可视化应用的四个类别，并说明了可视化在汽车制造业中的作用 ③特殊的可视化技术。增强现实（AR）和虚拟现实（VR）在制造数据可视化方面有着广泛的应用前景。Bruno等人（2006年）提出了AR在工业工程数据可视化中的应用，而de Souza Cardoso等人（2006年）提出了AR在工业工程数据可视化中的应用。 （2020）评估了AR的适用性及其对实际工业过程的影响。Berg和Vance（2017）研究了VR在产品设计和生产中的应用。概念&定义以及经验总结。①概念&定义。制造业涉及的概念和定义非常复杂。除了概述智能制造的发展，定义，目标以及各种需求和组成部分的内容外（Qu，2020）， 别人 提出 新 评价 度量 （Baboli，2021）。②经验总结。经验总结可为后续工作提供专业指导。Cui et al.（2020）总结了大数据在制造业应用的驱动因素，而Yin et al.（2020）总结了大数据在制造业应用的驱动因素。（2014）围绕工业过程检测的基本数据驱动方法进行了仔细的调查。此外，Park等人（2020）提出了数字孪生的详细操作方案例如，Davidet al. Font Vivancoet al. （2019）探讨了交互式可视化的价值，并强调了工业工程界在交互式可视化过程中必须面对的挑战，包括技术和知识限制、用户交互限制以及实施策略。这些高质量的研究工作不仅为我们提供了充分的理论基础，而且对我们的设计空间形式化也有一定的启发。与现有的工作，总结特定的可视化，可视化分析任务，或制造相关的应用程序的技术，我们的工作旨在提供一个更全面的方法，可视化和可视化分析的多媒体数据在制造业，从而从业者受益于更广泛的研究成果。第1https://zjutvis.github.io/MMDM/3. 方法和分类3.1. 方法为了澄清这项调查的范围，我们明确了我们工作中使用的三个术语：制造，多媒体数据和可视化/可视化分析。首先，重要的是要注意，制造业是我们调查的领域。我们专注于那些具有高度计算机技术和自动化的制造业类别。例如，在一个示例中，计算机制造业、汽车制造业、家电制造业等。其次，从制造业的全过程分析多媒体数据，包括结构化数据和非结构化数据。 最后，我们关注的是在这些研究中使用的可视化和可视化分析技术。我们试图研究制造业中多媒体数据的可视化和可视化分析技术，以发现可视化研究界感兴趣的应用领域，以及可视化技术和交互式分析方法。我们基于以下关键词检索了在可视化会议或期刊上发表的论文：“制造”、“工业”、“智能制造”、“智能工厂”可视化会议或期刊，包括但不限于IEEE VIS、EuroVis、PacificVis和IEEE TVCG。然后，我们基于以下关键词搜索工业制造相关的学术论文或期刊：“可视化”、“视觉分析”、“数据分析”、“虚拟现实或VR”、“增强现实或AR”、“数字孪生”。制造业相关的会议和期刊，包括IEEE TIE，智能制造杂志，增材制造等。最后，我们根据以下关键词搜索人机交互，人工智能和数据挖掘方面的会议或期刊论文：“工业设备+可视化”，“工业数据+可视化”，“工业系统+可视化”。相关会议和期刊包括ACM CHI，ACM TKDD，IEEE SMC等。之后，三位熟悉制造业可视化和多媒体数据的研究人员对收集的论文进行了进一步筛选选择标准是：论文发表在期刊和会议上，具有较高的认可度;羞愧论文内容包括“可视化与可视化分析”和“制造”;或者今后统计数据显示，所收集的论文发表于2009年至2022年之间。此外，我们的工作试图探索可视化技术，niques，交互式分析方法，并感兴趣的应用领域的可视化研究社区在制造业，基于高质量的评论。3.2. Taxonomy受第2节中提到的高质量评论的启发，我们提出了一种基于数据类型的新分类法，以总结制造业中多媒体数据的可视化和可视化分析。我们增加了最近发表的作品，并讨论他们的可视化技术，交互式分析方法和应用领域。我们用不同的颜色编码不同的分类维度：用于多媒体数据类型，用于可视化技术，用于交互式分析方法，以及用于应用领域。多媒体数据类型。根据数据类型，多媒体数据可以大致分为三个主要类别：信号感测数据（SS）、图像视频数据（IV）、表格文本Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1214数据（TT）。信号感测数据包含由各种传感器收集的数据，包括声音传感器的音频数据、红外光学运动传感器的运动数据以及物联网中传感器的轨迹数据。Image视频数据中有些是真实数据，有些是数字仿真生成的，还有一些与AR和VR有关。表格文本数据包含以表格形式和文本形式存储的数据。有大量数据以表格形式存储，如销售记录、产品参数、生产日志等，用户投诉和建议、产品说明、维修记录说明以文本形式存储可视化技术。我们将应用于制造业多媒体数据的可视化技术分为序列、图形、文本、图表、图形和体积可视化。序列可视化说明了数据所具有的时间信息。序列可视化可以识别数据中的异常并探索开发中的模式研究人员将时间作为一个单独的维度，例如通过指定坐标轴来表示时间。对应的视觉表示可以是时间轴可视化和流可视化。还提供了每个时间尺度上的数据属性的更详细的表示，例如图形可视化是由点和边组成的网络结构。网络结构可以是有向的或无向的。典型的图形可视化包括节点链接图、树和Sankey图。图形可视化允许用户发现数据之间的关联，例如层次关系，属性关联和相互依赖性（Burch et al. ，2021; Zhao etal. ，2021年）。文本可视化关注的是在可视化分析中是否引入文本数据。除了单词云，文本可视化还可以通过突出显示来增强视觉效果，并与其他可视化技术配对以显示更多的上下文内容，例如流可视化。图表可视化主要是指借助传统的可视化元素进行展示。典型的图表可视化有散点图、条形图、折线图、热点图和气泡图等。与图表可视化不同，图表可视化是指对可视化元素进行有针对性的设计，以产生新的视觉表示。体积可视化可以被描述为对象的3D渲染。在制造中，物体可以在通过计算机断层扫描（CT）扫描之后以3D成像，或者从图像数据生成3D数字模拟。此外，我们还将一些与VR和AR相关的工作归类为体可视化。交互式分析方法。我们总结了高级交互分析方法（Yi etal. ，2007），其通常用于制造多媒体数据可视化，包括跟踪监视（TM）、探索导航（EN）、知识外部化（KE）和细化识别（RI）。跟踪监控：通过点击、悬停或刷动标记感兴趣的数据探索导航：通过平移、缩放、下拉或上滚查看数据。知识外化：通过快照收集、保存和提取当前可视化。细化标识：通过已知标识标记数据。研究人员和操作人员可以使用这四类交互分析方法来完成制造多媒体数据的可视化和分析任务。应用领域。根据制造业的实际生产需求，将多媒体数据可视化和可视化分析在制造业中的应用领域分为设计开发（DD）、生产测试（PT）、教育培训（ET）和分析反馈（AF）四类。设计开发：产品的外观和功能。生产&测试：产品生产和功能测试。教育&培训：员工能力培训和制造业知识科学。分析反馈：分析数据并得出结论，为其他三个应用领域提供反馈。Fig. 1. 我们根据制造多媒体数据类型、可视化技术、交互分析方法和应用领域对已发表的论文进行了分类。我们用不同的分类维度颜色：对于多媒体数据类型，对于可视化技术，用于交互式分析方法和应用领域。从图1和图2中，我们可以得到以下结论：在三种多媒体数据类型中，表格文本数据具有论文最多;shame在可视化技术中，Chart的论文最多;2交互分析方法的各个子类别的论文数量大致相同;3应用领域中，Analysis Feedback的论文最多4. 信号感测数据在本节中，我们将讨论制造过程中的信号感测数据。各种各样的传感器用于制造生产，以从机械设备、生产线和制造的产品收集数据，包括温度、湿度、压力、流量、速度、位置。Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1215图二、 我们将收 集 到的论文分为三类，基于多时间-dia数据类型：信号感测数据，图像视频数据，以及表格&文本数据。然后，提取所涉及的可视化技术：序列，图形，文本，图表，Glossary和体积。其次，概括了覆盖交互分析方法：跟踪监控、探索导航、知识外化和细化识别。最后，总结应用领域：设计开发、生产测试、教育培训和分析反馈。以上子类别都按箭头所示的方向排序。扇形图的高度表示每个子类别中的论文数量4.1. 可视化技术序列可视化是传感信号数据表达的常用方法。发动机转速、发动机扭矩、温度、压力和废气测量数据对时间敏感。这些类型的数据通常由传感器记录Suschnigg等提出了一种灵活、可扩展的发动机异常检测可视化分析方法。（2020年）。为了研究影响汽车发动机耐久性的关键因素，Zhao et al. （2019）提出了一种可视化分析方法来理解大规模长期耐久性试验数据。除了机器状态外，还根据时间顺序分析工人Kagaya等人 （2017）开发了一种使用运动传感器记录工人在预防性维护期间运动的时间序列3D坐标数据的 技 术 ， 以 提 取 高 质 量 维 护 工 作 的 重 要 指 标 。图表可视化通常用于分析不同的信号传感数据，完成可视化分析任务。通过直方图实时分析用于生产监控和工业设计的传感数据（Eirich et al. ，2021; Zhou et al. ，2018）、散点图（Cibulski etal. ，2020; Eirich et al. ，2021）和平行坐标（Cibulski et al. ，2020年）。Zhou等人（2018）设计了一种可视化分析系统，该系统结合了信息丰富的流程图和顺序图，以实现对复杂关键制造设施辊底窑（RHK）的日常监控和故障排除。 IRVINE（Eirich etal. ，2021）使用声学数据来检测和理解以前未知的错误，在制造电动发动机。使用节点链接图（Wang et al. ，2022），网络和集群（Narechania et al. ，2020年）。通过网络和集群探索技术，SafetyLens（Narechania et al. ，2020年），作为一个可视化的数据分析工具，辅助工程师分析汽车功能安全数据集（见图。3）。体视化常用于产品设计和仿真。Suzuki等人（2020）选择体积可视化来显示复合材料结构并将纤维与载荷路径方向对齐。l Zappulla等人 （2019）介绍了一种处理来自温度传感器的高密度数据的方法，并在连续铸钢板坯铸造过程中对结晶器区域的热流体流场进行了3D可视化。Huettenberger和Garth（2015）使用光学测量产生的数据来可视化汽车零件上的系统误差区域，以实现自动检测。Dutta等人（2016）开发了基于GMM的数据可视化技术，使用表面渲染和不确定的等值线来检测跨音速喷气发动机失速的早期迹象。4.2. 交互分析方法交互式分析方法有助于研究人员发现隐藏的模式（Narechaniaet al. ，2020）和有价值的信息（Eirich et al. ，2021）。原型系统（Eirich et al. ，2021; Zhao et al. ，2019; Zhou et al. ，2018年）提供了一套操作，以帮助用户实现交互式数据探索。跟踪监视帮助用户进行流畅的数据探索。赵等人（2019）和Zhou等人（2018）在许多视图和面板中提供了交互。当用户在每个视图中移动或单击鼠标时，将显示详细信息。此外，它们还提供了多视图显示模式，以便进一步观察和分析。探索导航为用户提供详细的需求和视图更新 PAVED（Cibulski et al. ，2020）通过鼠标光标的变换提供了对电机参数子集性能约束和偏好的选择。知识外化和精细识别是异常检测和态势监测中常用的方法. Eirich等人（2021）结合了交互式聚类和数据标记技术，允许用户分析具有相似特征的引擎集群。分析发动机声学数据的特征，以检测和理解先前未知的错误。4.3. 应用领域信号感测数据来自许多来源，主要应用于设计开发、生产测试和分析&反馈。在设计&开发中，这些作品（Huet-tenberger和Garth，2015; Suzuki et al. ，2020; Zappulla等人，2019）使用光学、压力和温度传感器数据来可视化制造材料和产品。其他工作致力于通过可视化技术分析多传感器数据，以研究耐久性（Zhaoet al. ，2019）、安全性（Narechania et al. ，2020）和异常状态（Eirich et al. 2021）产品。在生产&测试中，几个可视化分析系统被设计用于工业生产情景监控（Zhou et al. ，2018）、生产质量 控 制 （ Huet-tenberger 和 Garth ， 2015 ） 和 制 造 产 品 预 防（Eirich等人，2018）。，2021年）。在分析反馈中，大多数研究工作都有分析反馈部分，例如，通过人机交互和专家协作来分析用于改进电动机设计的参数集（Cibulski et al. ，2020年）（见图。 4）.4.4. 讨论由于信号数据的多样性和复杂性，通用的可视化分析解决方案和框架难以应用制造业的研发和生产过程。当前的可视化研究致力于特定制造过程或产品的开发，例如SafetyLens（Narechania etal. ，2020）、PAVED（Cibulski et al. 、Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1216图三. 信号传感数据的可视化与分析。(1)可视化和分析电动发动机的相关模式（Eirich et al. ，2021年）。 (2)用于辊底窑常规监测和故障排除的态势感知和可视化分析（Zhouet al. ，2018年）。(3)直观分析，以了解汽车产品的耐久性（Zhao et al. ，2019）。(4)工程设计的帕累托前沿可视化（Cibulski et al. ，2020年）。(5)可视化数据分析功能车 辆 安全（Narechania et al. ，2020年）。2020）、IRVINE（Eirich et al. 2021年），等等。这些可视化分析系统确实有助于解决实际工业制造和设计开发中的一些挑战。然而，这些工作通常需要专业工程师一起工作，过度的专业化使得可视化解决方案不再通用。此外，当涉及到多传感器数据分析时，值得研究如何充分利用这些多样化的数据来发现新的模式。5. 图像视频数据在本节中，我们将讨论制造过程中的图像和视频数据。摄像设备在制造业中的应用产生了大量的图像和视频数据，这些数据用于监控工厂设备的操作和检查产品的质量。当按帧提取时，视频数据也可以被认为是图像数据。因此，处理这两种数据的方法在某种程度上是通用的。以前，图像和视频的分析需要人工干预。这是一项劳动密集型工作，无法保持效率和准确性之间的平衡。随着计算机计算能力和GPU性能的提高与此同时，近年来人工智能和机器学习的兴起使高效准确地处理图像和视频数据成为可能。VR和AR的发展将数据分析从二维扩展到三维，同时增加了新的视觉显示和交互式分析方法（Yoo和Kang，2021）。5.1. 可视化技术在相关研究中，图形可视化常被用于图像和视频数据的分析，以便于分类和参数关系的表示。Pretorius等人 （2011）提出了一种基于参数采样和交互式视觉探索的优化参数的范式转变。他们设计了一个名为Paramorama的原型，其中输入参数和相应的见图4。图像&视频数据在缺陷检测中的应用研究。(1)增材制造部件的物理结构的体积可视化，包括一个正常情况（最左边）和五个异常情况（Klacansky等人）。，2022）。(2)PCB孔加工精度的检测（Tao et al. ，2020年）。(3)基于AR的无标记合作智能制造审查系统（Mu-rithi和Lin，2020）。(4)使用3D扫描检查设备的安装（Cirp et al. ，2019）。使用树（有向无环图）呈现输出。在CommunityDiff（Datta和Adar，2018）中的节点链接图中添加了广告约束，以便将分类为同一社区的节点限制在同一矩形中，同时保持节点之间的连接。节点链接图也用于Locomotion Vault（Luca和Seif，2021），这是一种可视化工具和一个由学术界和工业界的研究人员和从业者提出的100多种技术的数据库，用于表示不同技术之间的相似性。图表可视化是图像和视频数据分析中常用的可视化技术之一。在Gkorou et al. ，2017年），对监测和诊断大批量半导体制造的最相关因素进行了可视化和排名，其中散点图，热图和箱形图Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1217图五. AR和VR在制造业中的应用(1)使用基于投影的AR系统辅助工业装配培训（Satkowski和Dachselt，2021）。(2)VR在制造系统中的应用（Büttner et al. ，2020年）。(3)钢铁工业安全培训的交互式模拟器（Moreland et al. ，2019）。(4)使用真实工厂环境作为背景来显示设备信息的AR（North et al. ，2021年）。（5）沃尔沃技术人员最终演示和使用基于工业物联网（IIoT）的AR进行工厂数据收集和可视化（Hamid et al. ，2014年）。被利用了。在Locomotion Vault中使用条形图来显示每年的技术数量。产品和工业设备的体视化可以通过3D扫描或数字仿真技术进行。Amirkhanov等人（2016）使用4DCT数据对玻璃纤维增强聚合物进行数值建模，以发现缺陷。Cirp等人（2019）模拟了3D扫描生成的3D空间数据，为设计制造系统和原型提供可视化支持。Tao等人（2020）基于X射线显微CT对PCB孔进行3D表面扫描，以检查加工精度。Design by Dragging（Coffey et al. ，2013年）提供了一个界面，可以直接设计和模拟 越好.5.2. 交互分析方法交互式分析方法使研究人员能够更好地分析图像和视频数据，以揭示更深层次的知识。跟踪监视允许分析人员对目标对象进行分析研究。在Paramorama原型（Pretorius et al. ，2011），用户可以选择感兴趣的输入参数，然后跟踪它们与输出结果的关系。ExplorationNavigation通过平移和缩放界面、展开和折叠组织结构来分析图像参数之间的影响。CommunityDiff（Datta和Adar，2018）使用树形图来显示不同收集输出之间的关系和比例。知识外化为研究者提供了一种将当前可视化内容外化的方法。Satkowski和Dachselt（2021）以工业3D场景为背景，从主观感知和客观测量的角度分析了视觉环境对增强现实的影响。细化标识便于分析人员根据已知标识标记数据。分析师标记高质量和低质量的结果，并在Paramorama原型中优化搜索结果（Pretorius et al. 2011年）（见图）。 5）。5.3. 应用领域图像和视频数据存在于整个制造过程中。通过&将VR和AR技术与 图 像 和 视 频 数 据 集 成 ， 促 进 了 可 视 化 在 生 产 测 试 中 的 应 用（Hamid et al. ，2014;Satkowski and Dachselt，2021）.在分析&反馈中，研究人员通过对图像和视频数据的视觉分析来识别产品缺陷，验证加工过程并检查设备安装情况（Cirp et al. ，2019; MurithiandLin，2020; Tao et al. ，2020年）。 通过将用于监测和指导的AR头戴式耳机与用于更详细数据分析的便携式平板设备相结合，现场操作员可以及时响应重大错误事件，并调查事件的历史以确定因果关系（ Becher et al. ， 2022; Murithi and Lin ， 2020; North et al. ，2021;Satkowski and Dachselt，2021）. 设计&开发时，研究人员会总结分析反馈中的不足&，探究原因，然后改进产品（Klacansky etal. ，2022）。在教育&培训中，为了降低成本，增加兴趣并促进员工培训的推出，研究人员根据生产数据和行业安全手册为特定行业开发了一种交互式安全培训模拟器（Moreland et al. ，2019;PantförderandVogel-heuser，2009）.同时，也有研究者探讨了AR技术在人员集合训练中的应用是合理的（Büttner et al. ，2020年）（见图。6）。5.4. 讨论早期对图像和视频数据的研究主要集中在2D数据上，这可能受到计算机性能和可视化方法的限制。一个值得注意的趋势可以在图中看到。从2019年开始，AR和VR的使用越来越多。 AR和VR设备比屏幕具有更强的交互性。操作员在检查期间佩戴以实际生产场景为背景的AR 设备，使他们能够可视化设备的运行数据（ Satkowski和Dachselt，2021）。同样，操作员可以使用AR设备显示被检查产品上可能存在的缺陷（Murithi和Lin，2020）。通过VR设备，员工可以虚拟地掌握生产过程，熟悉生产环境，提高了培训的效率和安全性（Hamid et al. ，2014年）。未来，将有更多基于AR和VR设备的研究，包括展示更多信息的有效显示和设备的扩展应用。同时，数据维度也从二维扩展到了三维。与二维相比，三维可以传递更多的信息。例如，材料的物理结构和设备在3D空间中的位置。 为此，我们希望体视化技术在制造业中得到更广泛的应用。6. 表格文本数据在本节中，我们将讨论制造过程中的表格文本数据。表格文本数据是最常见的多媒体数据类型之一，它包括结构化数据、非结构化数据和半结构化数据。结构化数据是可以用关系数据库存储并以二维形式表示的数据每一行代表一个实体，并且每一数据列的属性是相同的。非结构化数据是没有预定义的数据模型或方法组织的数据文本数据是典型的非结构化数据之一。半结构化数据是介于结构化和非结构化之间的数据.它不符合以关系数据库或其他数据表的形式相关联的数据模型的结构，但包含相关联的标记、用于定界的语义元素和Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1218见图6。表 格 文本数据的时态可视化&。(1)事件报告的可视化和总结（Gove，2022）。(2)事件可视化分析系统序列数据勘探（Chen et al. ，2017年）。(3)使用TimeLineCurator显示斯堪的纳维亚流行音乐的时间轴（Fulda et al. ，2015）。(4)PlanningVis的界面，支持交互式探索、比较和优化生产计划（Sun et al. ，2019）。(5)用于分解时态事件的可视化分析生产线系 列 （Herr et al. ，2018年）。（ 6）储存过程运行的 视 觉 监 测 （Meyer et al. ，2016年）。见图7。应用于表格文本数据的模型和算法。(1)表格数据上自然语言问题的自动可视化答案（Liu et al. ，2021年）。(2)一种基于实用程序的可视化方法，用于匿名化多属性表格数据（Wang et al. ，2018年）。 (3)分布感知数据表示用于灵 活 视 觉 查询 的 大规模表格数据集（Mei et al. ，2019）。(4)从表数据注释自动生成事实表（Wang et al. ，2019）。记录和字段的层次结构。因此，它也被称为自描述结构，包括电子邮件，日志文件，XML文件和JSON文件。制造业中的表格文本数据是大规模、高维、复杂关系的数据。可视化和可视化分析的介入使研究人员能够对表格文本数据进行深入分析6.1. 可视化技术序列可视化通过一种特殊的视觉传达形式将表格文本数据中的时间性传达给用户。根据时间的连续性，研究人员使用曲线或直线来表示时间（Bach et al. ，2015）。为了说明数据随时间的变化，研究人员在一维和二维形式的可视化中使用时间作为维度。在一维可视化中，数据直接呈现在时间轴上（Chen et al. ，2017;Fulda et al. ，2015;Gove，2022）。在二维可视化中，时间轴由直角坐标中的x轴或y轴表示（Friedlet al. ，2021; Herr et al. ，2018; Sun et al. ，2019）。应 用 图 形 可 视 化 来 探 索 数 据 中 涉 及 的 关 系 （ Basole 和Bellamy，2014;Klammer和Gmeiner，2020; Park 等 人 ， 2016; Qian et al. ， 2022; Sharif 等 人 ， 2014年）。 在Park等人设计的视觉分析系统中，（2016）图形可视化不仅整合了各种相关视图和视角，还突出了供应网络的不同结构。Basole和Bellamy（2014）使用图形可视化来进行供应网络风险的可视化分析，而RCDVis（Qian et al. ，2022）用于交互式检测稀有类别（见图2）。 7）。在图表可视化中，散点图可以说明离散数据的分布（Mei etal. ，2019; Yu和Silva，2016），平行坐标可以显示多属性数据（Tang et al. ，2022; Yu和Silva，2016），折线图和条形图可以显 示 数 据 量 和 趋 势 （ Oppermann et al. ， 2020; Sun et al. ，2019）。SMART-探索（Blumenschein et al. ，2018年）提出了矩阵和热图的高维数据。McNutt（McNutt，2021）利用代数可视化设计对表格地图进行Glory可视化隐喻性地将数据的一些属性并入其设计中（Chenet al. ，2017; Sun et al. ，2019）。PlanningVis使用基于时间轴的图示符来呈现有关各种生产计划及其差异的汇总信息。通过使用此视图，用户可以揭示配置更改的宏观影响，包括改进计划和模拟市场或工厂中的意外事件（Sun等人，，2019）。Chen et al.（2017）使用三角形字形来编码事件插入的数量。用户可以双击原型中的三角形字形来详细分析它们。6.2. 交互分析方法交互式分析方法减少了表格文本数据的大容量、高维和复杂跟踪监控允许用户在高度集成或信息隐藏的可视化分析系统中跟踪重要信息。 Livestock（Jo et al. ，2014）通过鼠标悬停显示详细信息。Meyer等人（2016）通过刷目标节点来显示存储过程的详细信息。 探索导 航为用户 提供更改 可视化视图 的访问权限 。PlanningVis（Sun et al. ，2019）使用下拉列表和上滚列表来选择目标数据集。DataShot（王 等人，2019）从数据表中提取大量感兴趣的数据，然后基于训练好的决策树将数据映射到可视化元素，并对外表示。在可视化分析系统中，不同的交互式分析方法相互补充是常见的（Qian et al. ，2022;太阳Y. Wang， Z. 朱湖，加-地 Wang等人视觉信息学6（2022）1219等人，2019; Yu and Silva，2016）. 在RCDVis中（Qian et al. ，2022），用户不仅可以标记与稀有类别对应的节点以进行细化&识别，还可以平移和缩放节点链接图以进行探索&导航。6.3. 应用领域制造&业的表格文本数据是多源的，主要用于分析&反馈（ Gove ， 2022; Mei et al. ， 2019; Sun et al. ， 2019; Wang etal. ，2018年）。RCDVis（Qian et al. ，2022）通过交互式分析在图形数据中检测稀有类别。Gove（2022）提出了一种叙述性摘要算法来可视化事件报告和网络日志，其紧凑的表示赢得了分析师的积极评价。在生产&测试中，正确组织生产计划至关重要，而PlanningVis和Livestock（Jo et al. ，2014）已经就该主题进行了大量工作在设计和开发方面，收集的文章集中在如何改进表格文本数据的表示。其中一些与算法有关（Bar-tram et al. ，2022;McNutt，2021; Mei et al. ，2019），和一些自动生成（刘等。，2021; Wang et al. ，2019）。6.4. 讨论除制造业外，其他字段也会生成表格文本数据。尽管数据来自不同的来源，但一些可视化和可视化分析方法是通用的。例如，工厂生产计划类似于需要时间序列分析的列车时刻表。基于内容的文本相似度推荐可用于维修日志记录和图书管理。随着机器学习和人工智能的发展（Yuan et al. ，2021），我们发现表格文本数据的自动可视化生成很有希望还有关于如何有效地呈现数据和可视化布局的挑战需要迫切解决（Blumenschein et al. ，2018;Mei et al. ，2019）。7. 讨论与展望在本节中，我们将对应用进行讨论多媒体数据在制造业中的应用，并展望了制造业中可视化和可视化分析的未来。7.1. 讨论在工业4.0的背景下，分析制造业数据的需求大幅增加。可视化和可视化分析作为一种有效的工具，可以帮助研究人员从复杂、海量的制造数据中提取有用的、有价值的信息。本文综述了制造业多媒体数据的可视化和可视化分析的相关研究。我们提出了一种新的分类法，将多媒体数据分为传感信号数据，图像视频数据和表格文本数据的数据类型。然后分别从可视化技术、交互分析方法和应用领域三个方面进行了讨论。如图1、对分类依据进行不同颜色的编码。此外，通过对相关工作的分析和比较，我们确定了制造业多媒体数据可视化和可视化分析的趋势和最新发展。制造业的应用领域涉及几种类型多媒体数据。众所周知，产品设计的数据一般是图像视频数据，而用户反馈则是表格式的文本数据。产品设计需要用户反馈作为迭代更新的基础。涉及两种类型的多媒体数据在设计开发。可视化和可视化分析作为一种工具可以帮助研究人员减少与多个数据源和不一致的数据类型相关的分析负担。此外，添加一些交互功能可以帮助研究人员发现数据之间的联系，以做出更好的决策。我们选择了几个多媒体数据应用案例来说明可视化和可视化分析的作用。数字孪生。数字孪生是指通过整合物理反馈数据并辅以人工智能、机器学习和软件分析，在信息技术平台内创建数字模拟。当为特定行业生成数字孪生时，研究人员需要探索五个不同的方向：架构，建模，控制算法，规则模型和物理-数字孪生控制（Lei et al. ，2021年）。数字孪生模型在网络物理方面和网络人类方面的人机交互问题需要通过用于柔性制造系统的数字孪