FORSETI：法医数据问责与沉浸式分析的可视化环境.

视觉信息学6（2022）69FORSETI：一个可视化分析环境，可实现对电子尸检报告责任的来源意识王宝庆a，安达登b，藤四郎一成a，a庆应义塾大学研究生院科学技术研究科，横滨市江北区日吉3-14-1，神奈川，223-8522b山梨大学医学研究生院，1110 Shimokato，Chuo，409-3898 Yamanashi，Japanar t i cl e i nf o文章历史记录：2022年4月15日收到收到修订版，2022年5月25日接受，2022年在线预订2022年关键词：计算取证法医学问责出处沉浸式分析权威a b st ra ct尸检报告在法医学中起着举足轻重的作用。法医和诊断放射科医生以尸检报告的形式相互参照尸检结果，而司法人员则从最终尸检报告中获得法律文件。在我们之前的研究中，我们提出了一个可视化分析系统，称为法医尸检系统的电子法庭仪器（FORSETI）与扩展的法律医学标记语言（x-LMML），使ME和DR的作者和审查电子尸检报告。在本文中，我们提出了我们的扩展工作，将出处基础设施与权威管理到FORSETI的法医数据问责制，其中包含两个功能。第一个是一种新颖的出处管理机制，它结合了法医尸检工作流管理系统（FAWfMS）和一个名为lmmlgit的x-LMML文件版本控制系统。这种管理机制允许对电子尸检报告及其记录的尸检过程中的许多出处数据进行单独解析。第二个是来源支持的沉浸式分析， 其旨在确保 DR一个虚构的 情况下，与合成 受伤的身体是用来 证明的有效性的来源 意识FORSETI系统的数据问责制，通过法医专家版权所有©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在法医学中，尸检报告作为存储、表示、提炼和重用异构法医数据的智能媒介发挥着关键作用。法医尸检报告的生成法医尸检报告通常由医学检查员（ME）与诊断放射科医生（DR）合作生成，然后将报告作为ME、DR和司法人员（JP）的基本法律文书。这些过程需要收集、组织、可视化、分析和注释各种类型和大量的取证数据。 在过去的二十年中，已经做了很多工作来开发和优化用于处理法医数据的计算工具和技术，特别是在法医尸检辅助系统中（Wang et al. ，2021; Asayama et al. ，2021），虚拟尸检平台（Lundström et al. ，2011）和语言（Boussejra et al. ，2016; Wang等人，2021年）。然而，在这方面，*通讯作者。电子邮件地址：wangbaoqing@keio.jp（B. Wang），fuji@ics.keio.ac.jp（I.Fujishiro）。https://doi.org/10.1016/j.visinf.2022.05.005用于取证数据的计算环境的广泛使用已经暴露了一些关键问题，特别是，如何从法医数据中获得尸检见解和结果，如何确保尸检结果的可信度，如何处理法医数据的机密性，以及如何监控尸检操作中法医过程的严格性。我们在下文详细阐述这些关切。法医尸检报告通常有两种格式：物理尸检（PA）和虚拟尸检（VA）。这使得尸检结果能够被记录下来，并在它们之间进行相互参照。在改进PA（或VA）结果时，具有不同经验水平的ME（或DR）对法医数据进行来回分析，从而花费大量精力重用尸检结果并记录来源信息。这种手工收集出处和数据推导是耗时、麻烦和容易出错的。在交叉引用中，DR（或ME）参考PA（或VA）结果，以改进尸检的效率和准确性然而，在这个过程中，ME和DR经常做出有偏见的决策，2468- 502 X/©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf····B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6970不准确的尸检这主要是因为PA报告的当前形式不包括来自尸检的线索，这些线索可以作为受ME和DR经验启发的解释性出处信息。此外，现有的尸检报告也过于繁琐，JP无法改进或重复使用，因为来源在功能上存在缺陷。因此，对于ME，DR和JP有效地参考尸检数据和见解，有效的计算应用程序，支持系统的管理和分析的来源是必要的。在司法系统中，为了隐私和安全起见，数据保护需要精心设计。在法医尸检中，多个利益相关者（ME、DR和JP）参与了处理尸检报告的复杂程序，通常会尊重道德和政策以保护死后隐私。这些意识形态和法律限制不足以维护法医信息的安全。此外，为了重新审查尸检中的违规行为，可能会进行一系列司法调查，这往往侵犯了死后隐私。显然，需要计算工具和系统机制，以便机密性和可验证性能够同时实现。总之，溯源功能提供了可追溯性、可记录性和可重用性权限管理提供了可验证性和可信性。这两者对于实现法证数据问责至关重要。在我们以前的研究中（Wang et al. ，2021年），我们开发了一个名为FORSETI的可视化分析系统（用于电子法庭仪器的法医尸检系统），具有扩展版本的法医标记语言（x-LMML）。拟议的原型协助ME和DR使用x-LMML编写和查看电子尸检然而，FORSETI系统并不打算在数据来源方面对电子尸检报告进行问责。因此，在本文中，我们介绍了我们的扩展工作，它解决了这些问题，通过设计一个出处感知版本的FORSETI，可以通过两个技术特点，建立数据问责制。第一个是一个新颖的出处管理机制，它结合了法医尸检工作流管理系统（FAWfMS）和一个名为lmmlgit的x-LMML文件版本控制系统;这种组合允许单独解析关于电子尸检报告及其记录的尸检过程的许多来源数据。第二种是来源支持的沉浸式分析（PSIA），其旨在确保DR一个虚构的情况下， 与合成受 伤的身体是用 来证明的有效 性的来源意识FORSETI系统的数据问责制，通过法医专家的经验。本文的其余部分组织如下。第2节提供了设计过程中参考的相关工作，了解其来源的福赛蒂第3节通过法医数据可解释性尸检报告的推导流程，指定了系统要求和相关的计算任务。我们在第4节中提供了我们的系统架构和用户界面。FAWfMS和lmmlgit的结合、PSIA和权限管理的技术方面分别在第5节、第6节和第7节中进行然后，我们在第8节中介绍案例研究和讨论。最后，第9节总结了本文，并简要介绍了我们未来的工作。我们在BigVis 2022（Wang）上发表了我们正在进行的工作等人，2022）;该论文仅概述了FAWfMS和lmmlgit的组合以及权限管理。本文提供关于这些的更多细节，并包括作为其额外的亮点更详细的领域分析，PSIA方法的描述，以及两种综合案例研究的系统评估。这项工作通过提供用于电子尸检报告责任的来源感知视觉分析系统FORSETI的扩展版本，一种新颖的起源管理机制，结合了FAWfMS和lmmlgit用于x-LMML文件，PSIA，将来源信息整合到AR设置中，以进行可靠的尸检参考，以及一个虚构的合成受伤身体案例，通过法医学专家的经验证明了来源感知FORSETI系统在数据问责制方面的有效性。2. 相关工作本节回顾了之前在可视化系统、出处系统、具有出处的沉浸式分析和权限管理方面的问责制工作，所有这些都是出处感知FORSETI核心功能的关键组成部分。2.1. 可视化系统问责是一个复杂的、多层面的概念，可以在各个学科中以许多不同 的 方 式 进 行 解 释 ， 从 社 会 和 政 治 科 学 一 直 到 计 算 机 科 学（Papanikolaou和Pearson，2013）。《剑桥词典》（Cambridge-Dictionary，2022）将问责制定义为“一种情况，即某人对发生的事情负责，并能给出令人满意的理由。数据问责制在数据保护领域引起了广泛关注，并且在一些计算框架中是公认的术语（Pearson，2011;Lin et al. ，2010年）。 在可视化领域，数据问责制作为一个研究领域仍然有很大的潜力。Al-Awami等人（2015年）提出了一种名为NeuroBlocks的可视化系统，用于管理、证明、问责和大规模分割的审计，强调了可视化系统中数据问责的重要性。然而，没有详细阐述数据问责制的设计原则、实施架构和评价标准。我们提供了一个计算框架，用于归档扩展到FORSETI系统的取证数据问责制，以便它可以处理权威的来源管理和来源的沉浸式分析2.2. 物源体系来源-也称为审计线索、血统和谱系，是指包括促进数据片段存在 的 所 有 元 素 及 其 关 系 的 全 部 信 息 量 （ Simmhan et al. ，2005）。近年来，在天文学、生态学和地质学等广泛的应用领域中，系统地执行证据信息的收集、管理和分析等任务受到了极大的在这些领域，通常有两种基本类型的系统考虑。一种是基于工作流的系统（切尼等人，2011），通常被称为科学工作流管理系统（SWfMS），其涉及作为工作流形式的任务执行计划的组件的链接，工作流的计算由有向非循环图（DAG）抽象。为了定义任务工作流，一些SWfMS，诸如VisTrails（Calla-han et al. ，2006），Swift（Gadelha Jr. 等人，2011年），开普勒（Altintas····B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6971等人，2004）和Taverna（Hull et al. ，2006）使用了它们自己的脚本语言，这些脚本语言的语法仅限于支持它们特定类型的DAG的创建。因此，SWfMS缺乏通用脚本语言所提供的灵活性。另一种是基于脚本的系统，其中用户通过在外壳界面中输入的一系列命令与数据处理组件交互，以跟踪出处数据。 这些类型的系统，例如PASS（Muniswamy-Reddy et al. ，2006）、ES3（Frew and Slaughter，2008）、noWorkflow（Murta et al. ，2014）和Lancet（Stevens etal. ，2013），为用户提供了经由指定命令搜索、导出、存储和共享出处信息的灵活性。然而，由于这些类型的系统忽略了脚本的结构，用户可能会发现很难将他们收集的出处与脚本中的每个步骤联系起来。我们的出处管理机制结合了SWfMS和基于脚本的系统的优点，单独解析电子尸检报告的出处数据2.3. 具有出处的沉浸式分析（IA）由于其在情境分析、空间数据和空间任务、协作和呈现方面的优势，已经成为一种数据分析技术（Kraus etal. ，2021年）。在桌面上具有来源数据的可视化系统已经在学术界获得了强烈的关注，并且已经在工业中得到了很好的建立（Ragan et al. ，2015）。然而，利用种源数据对IA进行研究仍有很大的潜力（Knudsen和Carpendale，2017）。Hayatpur等人（2020）提出了一种名为DataHop的可视化系统，该系统利用虚拟现实（VR）中的无限工作空间进行分析来源，其中用户然而，当沉浸式分析环境中的历史此外，出于法医尸检的目的，光学透视头戴式显示器（OST-HMD）与视频透视头戴式显示器（VST-HMD）相比具有优势OST-HMD以无视差的真实分辨率提供真实环境的基本上不受阻碍的视图，并提供即时的真实世界视图，以确保视觉和本体感觉信息同步以进行交互（Rolland和Fuchs，2000）。我们已经设计了一个PSIA，该PSIA是为ME的参考而设计的2.4. 权限管理根据Pearson（2011），问责制可以分为两种类型：前瞻性和回顾性。前瞻性问责被定义为在违规之前进行预防，与权力管理有关，而追溯性问责是指在违规之后进行调查，主要涉及来源追踪。权限管理允许管理员监视系统中参与者的身份;这种监视对于维护协作数据科学活动的机密性和客观性至关重要，以确保数据可靠性。在电子健康记录系统（EHRS）中，《医疗保健便携性和责任法案》（HIPAA）要求正确记录访问和更改历史（Can和Yilmazer，2020;Nosowsky和Giordano，2006）。EHRS有一个相对完善的问责机制（Mashima和Ahamad，2012），将前瞻性和追溯性问责结合起来。然而，这仍然是电子尸检报告的法医数据是确保尸检报告可信度的必要条件。我们的权限管理设计主要受到EHRS的启发，授权信息提供商可以在电子健康记录（EHR）中创建和管理患者注意，推导关系的语法是我们的系统和EHRS之间的主要区别。与医疗机构使用的EHRS相比，我们的系统需要同时满足医疗和法律机构的使用据我们所知，具有出处意识的FORSETI是文献中第一个用于数据问责制的集成法医可视化系统。此外，很少有已发表的著作探讨了数据证明与权威管理的潜力，以实现对外数据的问责制3. 域分析在本节中，我们通过ME和DR的协作工作流程分析尸检报告的推导过程，这有助于我们确定法医尸检目标和相关的计算任务。3.1. 法医尸检报告ME和DR协作尸检的一般工作流程在我们以前的研究中得到了确定（Wang et al. ，2021年）。我们发现，追踪尸检报告的来源势在必行。为了使尸检报告在真实的法医尸检中对ME和DR用户友好，我们对尸检报告进行了更具可扩展性的领域分析 通过对大量尸体解剖实际处理报告的分析，我们将尸体解剖报告的修订变更抽象为三个分支：物理、虚拟和交叉引用，如图所示。1.一、PA（A）和VA（B）分别是ME和DR的基本工作，通常在尸检中共同进行物理分支旨在使ME通过从结果中得出结论来撰写PA报告 的PA。类似地，虚拟分支机构旨在使DR能够汇总VA以编写VR报告。然后，交叉引用分支被放置为物理和虚拟之间的桥梁，用于ME和DR的交叉引用，这很好地服务于在尸检报告中生理学和放射学之间的如图1、医院尸检报告的产生流程大致可分为四个阶段。首先，法医在现场进行简单的外部检查，以便在现场报告中记录尸体外部伤口的同时，DR在VA中对3D尸体模型进行简单的外部检查，以记录纹理良好的外部伤口，这些伤口可能涉及他们的VA报告（B1）中的内伤;这些伤口可以通过等值面渲染大致定位。其次，DR参考简单的PA报告（B2，C1）执行详细的VA，这允许进一步检查最终的第三，ME将最终VA报告合并到详细 PA（A2，C2）中，以生成最终PA报告。第四，在法医和法医达成共识后，打印并授权最终尸检报告。在某些情况下，由于宗教和道德的限制，缺乏尸检设备，工作人员不足等，最终的尸检报告可以直接通过跳过一些限制的阶段和/或修改而得出。在医院处理后，最终尸检报告正式提交给法院;然后由治安官部分摘录和/或重新格式化，用于法律文件和审判（D）。B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6972图1.一、法 医 活动中的操作员与尸检报告的推导。总之，尸检报告的推导流程表明，尸检报告的生成和利用本质上是一种协作数据科学活动，可作为计算法医工作流程具体设计的基础。上述尸检报告程序可被视为对ME（或DR）尸检报告及其相互参照的改进。在细化过程（A1、A2、B1、B2）中，由ME或DR的工作生成的尸检报告在重复和详细的交叉引用（（B2）与（C1）和（A2）与（C2）的结构）中，法医数据的来回审查，验证和共享伴随着ME和DR的日常工作。请注意，三个分支中的所有尸检报告都是单独版本的，其中物理和虚拟分支有三个主要修订，交叉引用分支有两个主要修订。每一个主要的修订都包含了一些颠覆。在我们先前的研究中（Wang et al. ，2021年），我们提出了一个使用x-LMML的电子尸检报告（e-尸检报告），使ME和DR能够在使用FORSETI内核的实际法医工作流程中编写和参考尸检x-LMML文件用于存储、描述和安排电子尸检报告中涉及的所有法医数据。因此，从本质上讲，电子尸检报告的派生相当于x-LMML文件的派生。此外，在交叉引用分支中，我们为ME和DR的引用安装了两种尸检并列方法（伤口照片并置（c1）旨在使DR能够在增强虚拟设置（在桌面上）中将伤口照片重新拍摄到尸体模型上。尸体模型并置（c2）被设计为使用VST-HMD在AR设置中将具有诊断标签的虚拟尸体模型映射到真实尸体上。伤口照片被认为是伤口照片并置中的物理对象，而3D模型在尸体模型并置中充当虚拟对象。它们分别从最终简单PA报告和最终VA报告中提取，均采用x-LMML格式。这里应该强调的是，电子尸检报告的两个处理设置被涵盖，一个在桌面中用于VA和伤口照片并置，另一个在AR设置中用于尸体模型并置。3.2. 法医目标和计算任务通过详细的领域分析，我们在撰写和审查方面澄清了五个法医目标（G），这些目标描述了与电子尸检报告相关的目标问题：G1-互操作性。电子尸检报告由多名医生（ME和DR）共同撰写，因此，每条诊断信息都应具有描述性和值得信赖的解释，以便共享使用。G2-再现性和可追溯性。电子尸检报告必须能够由ME、DR和JP分发、重复使用和追溯。G3-增强的交互性和可视性在AR设置。对于尸体模型并置，应提高ME查看、列出、分析和撰写电子尸检报告的人机交互性和视野能力。G4-AR设置中的可追溯性、可重用性和主观性。尸体模型并置与数据可追溯性、数据可重用性和数据客观性应得到支持，以便多个ME可以在PA结果的细化中进行负责任的协作。G5-可核查性和保密性。为了保密、安全和调查的需要，必须发展计算机技术来保护电子尸检报告的数据安全和不可否认性。为了实现这五个取证目标，我们明确地确定了以下五个计算任务（T），这些任务是具有出处意识的FORSETI应该支持的：T1-来源启用。这使用户能够推理，验证和参考结果，共享和重用知识，并评估数据质量和有效性。T2-肌张力管理。这对于通过智能地导出电子尸检报告的版本、内容和格式以及撰写和查看方式来促进电子尸检报告的有效重用至关重要。T3-增强AR设备。诸如OST-HMD之类的功能更强的AR设备被用在感知出处的FORSETI中，其提供了更有效的交互和导航方式来处理AR设置中的空间任务。T4-来源支持的沉浸式分析。这通过启用数据来源和开发一组用于多个用户之间知识转移的来源功能，解决了沉浸式分析中的一系列协作数据科学问题。T5-权限管理。该任务提供了取证数据保护和用户身份识别的基础，这是通过基于收集的用户信息定制的访问控制语法来实现的总之，为了使受监督的ME和DR（G5）能够实现电子尸检报告的所有推导过程，··········B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6973图二. 法医尸检目标与相关计算任务之间的关系。在桌面（G1-G4）和AR设置（G3，G4）中，当前原型类型的出处感知FORSETI可以在权限管理机制（T5）下协助利益相关者收集、管理和分析电子尸检报告的出处数据（T1，T4）以实现其生命周期管理（T2），并使用OST-HMD（T3）在沉浸式分析（T4）中执行出处功能，用于ME的可问责尸检参考（如图12所示）。 1（c2），尸体模型并列）。由于取证目标的复杂性，每个取证目标都得到了多个计算任务的支持，如图所示。二、请注意，这些计算任务之一是主要任务，如粗绿线所示。这些取证目标和计算任务可以为在数据问责制方面设计具有出处意识的FORSETI提供基础。4. 系统架构和用户界面为了实现第3.2节中概述的多个计算任务（T）所支持的取证目标（G），需要由源感知FORSETI提供完善的系统架构和涉及联邦用户界面的工作流，其通过用于数据处理、访问控制和人机交互的功能组件来针对每个计算任务。基于用户分配的内容和电子尸检报 告的衍生流程 设计了涉及 多个用户界面 的来源感知FORSETI这将产生两种工作流，一种用于单个电子尸检报告（单个x-LMML文件），另一种用于单个尸检病例（多个x-LMML文件）。在本节中，我们提供了一个起源感知FORSETI的概述，特别关注系统架构和用户界面。4.1. 系统架构为了实现第3.2节中概述的取证数据问责制的计算任务（T1-T5），系统架构基于具有三个应用程序权限管理的出处基础设施：FAWfMS、lmmlgit和PSIA。图图3描述了具有出处感知的FORSETI的总体系统结构，它由四个部分组成：输入（A）、操作（B、C、D）、输出（E）和存储库（F）。在输入（A）中，初始化x-LMML文件，以存储、描述和排列用户的基本信息、法医数据以及尸检操作、结果和来源信息;在x-LMML文件中，这些数据基于其类型和类别进行解析。幸运的是，内核FORSETI中x-LMML的原始语法已经设计得很好，因此它促进了数据起源功能的整合。用户基本信息是一种标识，用于分配关联的有两种类型的起源信息（T1）收集：过程和结果起源。流程起源类似于登录;它捕获服务调用和工作流执行，并带有相应的时间和标识以及描述性标记，例如谁在何时何地做了什么。结果出处是指在尸检中发现的见解和线索，例如为什么和如何获得尸检结果;这都需要用户手动输入系统。在操作（B，C，D）中，描绘了三个层，可以从下到上以三层金字塔的形式抽象：起源基础设施，权限管理和应用程序。在起源基础结构层（B）中，设计了三个子结构：收集器、管理器和分析器。收集器（B1，T1）被设计为使用内核FORSETI系统机制捕获过程起源，并为结果起源提供创作功能。为了管理在x-LMML文件中指定的多种类型的取证数据，管理器（B2、T2）为x-LMML文件及其记录的粒度信息提供灵活的生命周期管理。分析器（B3、T2）的设计目的是通过对比分析工具帮助用户更好地分析x-LMML文件中的细粒度数据，从而实现用户友好的管理。权限管理层（C，T5）允许利益相关者基于各种用户的注册信息在应用中分配在应用层（D）中，我们部署了两种机制：lmmlgit和FAWfMS的组合为了允许用户灵活地控制x-LMML文件的版本并仔细检查文件中的细粒度数据，lmmlgit（D1）提供了命令行界面。由于lmmlgit不能很好地将数据元素链接到顺序任务，因此FAWfMS（D2）被构建为通过具有互连弧的定制节点来补偿这些缺点，这些互连弧可以澄清x-LMML文件的推导流程。但是，它们很难显示x-LMML文件的内部细粒度数据结合FAWfMS和lmmlgit的机制（T2）可以结合它们的优点来管理和分析x-LMML文件。另一方面，PSIA应用程序（D3，T4）通过出处功能和使用OST-HMD（T3）的访问控制，在AR设置中提供ME的输出（E）的主要职责是在电子尸检报告中提供x-LMML文件和数据清点。在存储库（F）中，对包含在先前尸检病例中的所有x-LMML文件进行分类和存储;每个x-LMML文件记录其所涉及的尸检任务的尸检数据，包括尸检结果及其来自多个利益相关 者的出处 。在我 们的设计中 ，涉 及三种类型 的用户（G）：ME，DR和JP，但目前的出处感知FORSETI原型只支持由ME和DR撰写的电子尸检报告，用于在医院进行的检查将最终电子尸检报告转换为电子法庭文件，以供太平绅士如第1节所述，具有出处意识的FORSETI的系统架构主要从两个功能实现数据问责制：出处功能（T1-T4）和权限管理（T3，T5）。更详细的关系式在图中表示。3（H）.可记录性、可追溯性和可重用性分别由可验证性和机密性赋予这种关系在内部指定了权限管理层所支持的应用层。4.2. 用户界面为了实现全面的数据问责制，由单个x-LMML文件描述的单个电子尸检报告和包括多个x-LMML文件的单个尸检病例都应在来源感知FORSETI中具有完善和严格的工作流程。如第3.1节所述，单个尸检病例包括来自多名医生（ME或DR）的不同版本的多份电子尸检报告，因此尸检病例的责任B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6974图3.第三章。了 解 来源的FORSETI系统的总体架构。图四、了 解 来源的FORSETI系统的用户界面。应当以每一份尸检报告的责任为基础。特别是，了解出处的FORSETI需要工作流程来解决不同阶段内由单个医生（ME或DR）拥有的单个电子尸检报告的责任（如图所示）。1A1、B1、B2与C1、A2与C2）。为此，应支持在具有出处意识的FORSETI中生成和利用单个电子尸检报告的精心设计的工作流程，以实现ME（或DR）工作中的数据问责制单个文件的工作流包括一组在出处感知FORSETI中设计的用户处理步骤，并且与出处感知FORSETI的一般使用生命周期密切相关。多个文件的工作流程主要基于电子尸检报告的导出流程进行在下文中，如图所示。4中，我们说明了单个电子尸检报告的工作流程，该工作流程涉及ME（或DR）的不同应用程序的一组用户界面，以完成不同的操作分配和设置;其序列包含导航界面（A）、节点编辑器（B）和lmmlgit（C）、PSIA应用程序（D）和内核FORSETI（E）。特别是，节点编辑器用户界面（B）设计用于管理和分析单个尸检病例中的多个x-LMML文件，而PSIA用户界面（D）设计用于ME负责的一份电子尸检报告的工作流程可以抽象为三个操作步骤。首先，用户需要在导航界面（A）上注册自己的身份信息，包括姓名、医生类型、职务、所属单位等，这些信息被系统识别并具有相应的操作权限，在导航界面显示的电子尸检报告版本派生框架中，授权按钮被突出显示。其次，用户通过单击突出显示的按钮来访问节点编辑器（B），该编辑器基于注册的信息使用适当的权限自动地对x-LMML文件进行加密，以创建或管理对应于x-LMML文件的节点。由于lmmlgit（C）具有比节点编辑器更详细的功能，因此它主要用于处理具有细粒度数据的x-LMML文件的内容，这些数据无法在节点编辑器中访问。第三，提高尸体模型并列（图。1（c2））供ME此外，用户还可以通过双击授权节点，访问内核FORSETI接口（E）来编写和浏览电子尸检报告在核心FORSETI界面中可视化的是来自美国国立卫生研究院的Visible Female Dataset（Ackerman，1998(NIH)，512× 512× 1，739体素，每个体素16位。B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6975图五、FA W f M S ：法医尸检工作流程管理系统。为了帮助ME和DR在单个尸检病例的推导流程中处理一系列x-LMML文件，(B)提供节点和弧以在操作面板中构建DAG，用于对x-LMML文件的操作进行图解，例如合并（a2）、派生（a3）、锁定（a3）和差异分析（a4）。可视化映射节点（a1和a5）显示作者姓名和相应x-LMML文件的简要描述。在节点编辑器中，列出了电子尸检报告的一些主要修订（A1），以分层完成分阶段尸检任务在节点编辑器中提供了一些按钮（A2），用于提供一些基本命令，包括提交、推送和拉取。PSIA应用程序（D）的用户界面主要用于协助ME执行尸体模型并置;该界面本质上是一组交互组件，包括来源面板、交互面板、探索控件和空间标签。5. FAWfMS和lmmlgit在我们的设计中，FAWfMS和lmmlgit（T1，T2，T4，T5）分别继承了基于工作流和基于脚本的起源管理器的优点。在本节中，我们将详细描述FAWfMS和lmmlgit的设计细节和原理，以及它们在具有出处感知的FORSETI系统中的组合使用的作用FAWfMS作为面向用户访问FORSETI系统的基础具有独特的作用。如图5、FAWfMS主要基于两种工作流实现：微观（单个文件的工作流）和宏观（多个文件的工作流）。宏观工作流程在本文中集中，因为它们与特定的法医尸检工作流程密切相关，并且在x-LMML文件的管理和分析方面与lmmlgit为了实现这一工作，我们定制了辅助导航界面（A）和节点编辑器（B），导航界面展示了电子尸检报告版本派生的基本框架（A1），用户可以有指导地访问节点编辑器。 节点编辑器使用具有链接的节点绘制多个电子尸检报告之间的派生关系，以便可以在其整个生命周期中对其进行管理。以这种方式，可以在可以在不同分支之间交叉引用的相同分支尸检结果中有效地管理涉及尸检结果的细化的x-LMML文件。这是我们的同质管理机制，由节点编辑器提供，用于电子尸检报告的 用户可以拖动节点（图。 4图六、 lmmlgit：一个为x-LMML文件量身定制的版本控制系统。(A1))该系统将上一阶段电子尸检报告的最后修订版作为该处正在进行的工作的原始文件提交给业务小组。同样，在建项目组的最后尸检报告可以成为下一阶段的起点。例如，如图5（B）所示，作为当前起始文件的尸体模型并置的最终电子尸检报告通过一系列推导被细化为最终PA报告。图5（B1）概述了此过程的版本控制。另外，设计的比对分析工具用于对电子尸检报告进行高效的内容分析，锁定工具用于在节点编辑器中对多个x-LMML文件进行用户显微镜工作流程描述见第4.2节;它们是一组操作步骤，带有单个电子尸检报告的用户界面。 这些类型的工作流程如图所示。5从左下到右上（A，B，C）。综上所述，这两种工作流的关系是微观工作流是宏观工作流的子集，即单个文件的工作流形成的节点成为多个文件的工作流的基本操作单元请注意，这两种工作流相互支持，形成FAWfMS，它提供了我们系统的基本用户操作原理。如图 6、lmmlgit是一个版本控制系统，主要受Git启发（Loeliger和McCullough，2012）;它在处理细粒度数据、版本控制、隐私和数据问责制安全方面充当专家FAWfMS中的所有功能都可以由lmmlgit使用指定的命令执行，但反之亦然。特别地，如果用户需要查看存储在x-LMML文件中的特定目标，则由于其较粗的粒度，使用FAWfMS是麻烦的;相反，用户可以通过简单地将指定的命令键入lmmlgit的外壳接口来访问、删除、编辑和检查x-LMML文件的所有目标此外，lmmlgitB. Wang，N.安达和我。藤四郎视觉信息学6（2022）6976图7.第一次会议。 PSIA应用程序的 功 能 在心脏刺伤诊断中表现出来。与 FAWfMS 相 比 ， 前 者 可 以 忽 略 DAG 因 此 ， lmmlgit 作 为FAWfMS的后端，用于更好地处理取证数据，由于其灵活性，其出处记录在x-LMML在今后的工作中，我们计划仔细处理组合机构，以满足ME在物理条件方面的工作要求。6. 来源支持的沉浸式分析在本节中，将阐述PSIA应用程序（T4），该应用程序具有在Microsoft HoloLens 2上运行的一系列来源功能。PSIA应用程序旨在通过优化ME在执行尸体模型并置时的参考方式来实现可靠的尸检参考微软HoloLens 2（T3）被选为我们的OST-HMD，因为它具有在AR环境中进行高效交互和导航的先天优势我们实现了PSIA应用程序中的取证数据问责制，使出处数据与其功能，并结合识别用户PSIA应用程序中的此外，PSIA应用程序与Mi- crosoftHoloLens 2改善了交互式导航，有效的探索控制和基本的互动面板。我们使用了一个来自混合现实工具包（MRTK）的开放资源的人的心脏模型与合成刺伤来说明PSIA应用程序的用户界面及其功能。图图7示出了在PSIA应用中显示的心脏模型，其具有一系列功能组件：起源面板（A）、探索控制（B）和基本交互面板（C）。四个组件设置在来源面板（A）中，包括查看（A1）、列表（A2）、分析（A3）和撰写（A4）。查看（A1）旨在让ME浏览VA发现的结果来源，其中描述了诊断伤口线索和对已识别伤口的见解（a），推测用于造成伤口的武器，并提供有关伤口特征的其他信息。列表（A2）旨在显示迄今为止由诊断相同伤口的其他ME撰写，并附有相应法医的姓名。此举旨在协助法医完善验尸报告，并取得客观的验尸结果。分析（A3）用于通过在板上显示相似性和差异来比较来自多个所列ME报告的诊断来源结论。编写（A4）旨在允许ME编写其自己的诊断出处结论，其授权格式与列表和分析组件相同。为了改善ME使用Microsoft HoloLens 2执行尸体模型并置的参考方式，我们开发了三种不同形状的切割工具（B）供ME执行虚拟尸体探索-球体（B1），平面（B2）和立方体（B3）-所有这些都可以由ME自由调整大小和重新定位以满足不同的探测要求。此外，我们还提供了五个基本的交互控件（C），旨在满足ME的个性化呈现和操作需求，包括轮廓仪，手射线，手网格，手关节和记录器。此外，Microsoft HoloLens 2具有强大的抬头和免提空间功能，例如语音输入，头部凝视和眼睛凝视驻留以及全视野显示，这进一步为ME的交互参考带来了物理增强。7. 权限管理为了构建一个有效的具有出处感知的FORSETI系统，并提供三个应用程序的数据保护，提出了将权限管理（T5）与其他任务（T1-T4）相结合，以实现电子尸检报告的可验证性和保密性这是分四个阶段完成的。第一是为不同的利益相关者设计严格的工作流程如图8所示，在导航用户界面中呈现了用于监视用户处理的三个步骤：医生注册/选择、尸检病例注册/选择和状态更新。通过这三个步骤，每个用户的个人信息，包括ID、电子邮件、位置、从属关系和位置，被存储和验证以分配访问权限。然后，节点编辑器允许用户根据其访问级别管理或分析电子尸检报告。第二个是锁紧工具（如图4（a3）），它安装在节点编辑器中，以便用户可以控制自己的节点。其他用户只有在获得作者或管理员的许可后才能查看电子尸检报告三是PSIA中对用户的访问控制，主要是通过虹膜识别来实现的，B. Wang，N.安达和我。藤四郎视觉信息学6（2022）6977见图8。 导航用户界面。图9.第九条。 展示合成受伤的 3D人体模型。微软HoloLens 2，它可以通过虹膜图案识别用户来控制访问。第四点尤其重要：一个设计良好的访问控制语法，支持后端的前两个在未来的发展计划中，我们亦会在权限管理机制中加入JP的语法结构，以便将电子验尸报告转换为电子法庭文件。8. 案例研究在开发具有出处意识的FORSETI时使用的主要语言是Python;PyQt 用 于 构 建 节 点 编 辑 器 的 用 户 界 面 ， GitPython 用 于lmmlgit。节点编辑器的数据处理由lmmlgit托管。此外，PSIA是使用MRTK在Unity中开发的。 在配备四核英特尔®酷睿 TMi5CPU@的MacBook Pro上评估了具有出处意识的FORSETI原型。2.0 GHz处理器和集成GPU芯片组。由于隐私问题和我们的计算机取证项目的道德问题，我们不允许在任何出版物中使用真实的尸检数据集。因此，我们决定采用由DOSCH DESIGN GmbH授权的3D人体模型，并近似于真实的人体内部，如图所示。9 .第九条。为了在法医学中模拟一具真实的受伤尸体，我们在他的右腰部合成了一个刺伤，如图4所示。 9（a）。此外，为了尽可能真实，我们使用了一个处理管道，该管道模拟了我们项目中的实际尸检工作流程，并使用了合成受伤的3D人体模型，以通过山梨大学医院法医专家的经验来证明来源感知FORSETI系统为了评估我们系统中的取证数据保护机制，其中包括对各种取证数据的保护，特别是私人验尸数据，我们将其从桌面和AR两个操作设置中分开处理。在桌面设置中，基于用户信息注册的微观工 作 流 的 语 法在 AR 设 置 中 ， 为 了 保 护 数 据 ， MicrosoftHoloLens 2的一人一机使用策略及其虹膜识别可以允许x-LMML文件由单个ME创作和管理。这（T1-T5）可以满足尸检过程和数据问责制中的法医数据保护要求（G5）。在本节中，两个模拟真实案例的虚构场景来自高级法医专家的反馈用于分别评估使用两种机制（FAWfMS和lmmlgit的组合以及PSIA）实现的数据问责制。8.1. 场景1：FAWfMS和lmml- git组合的问责制在 我 们 的 设 计 中 ， 用 户 可 以 根 据 自 己 的 喜 好 在 FAWfMS 和lmmlgit之间自由切换。两个界面上的交互兼容性是通过FAWfMS为主，lmmlgit为辅的策略来设计的。虽然lmm