体绘制技术综述：特征增强方法及应用

视觉信息学5（2021）70体视化特征增强技术综述徐朝清，孙国道，梁荣华浙江工业大学计算机学院，杭州，310023ar t i cl e i nf o文章历史记录：2021年8月12日收到2021年8月24日接受2021年9月4日网上发售关键词：可视化体绘制特征增强a b st ra ct体绘制技术经过几十年的发展，在医学图像可视化、地质勘探、科学计算等领域得到了广泛的应用随着体可视化技术的成熟，人们可以有很多选择来分析体数据。然而，面对不同的应用需求，在特定的情况下，人们可能需要有针对性的方法来可视化体数据和突出特定的体积特征。在本文中，我们回顾和分类现有的文献中的特征增强体绘制。分类是基于增强体数据中的四种类型的特征（外部特征、内部特征、结构特征和表意特征）来进行的。最后，我们总结了这项调查与未来的挑战，在功能增强体可视化。版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍体绘制是指一组技术，将三维数据集转换为二维图像，并已广泛应用于科学可视化和工程领域。通过对体数据的空间信息进行分类并将其投影到屏幕上，使研究人员能够更好地理解体数据中的不同特征。这些技术主要可以分为两类：间接体绘制和直接体绘制（DVR）（Drebinet al. ，1988）。间接体绘制基于体的多边形表面表示，其通常使用体数据的等势面来生成三角形小平面。而直接体绘制或多或少是体方程的直接映射，并实现为体光线投射。它不依赖于中间几何多边形单元，因而效率高。DVR已成为医学图像可视化、科学计算仿真等研究领域的重要技术，具有广阔的应用前景。提高渲染质量是DVR的重要目标之一。通常，高质量渲染是指减少伪影和应用视觉增强。因此，它可以更好地可视化和理解感兴趣的区域，例如医疗数据中的疾病组织和人体中的重要器官。DVR通过光学模型实现高质量的渲染，光学模型决定了光线如何与表示体积数据的半透明介质通常情况下，*通讯作者。电子邮件地址：guodao@zjut.edu.cn（G. Sun）。https://doi.org/10.1016/j.visinf.2021.08.001它定义了与数据集相关联的传输，该传输确定了如何用不同的颜色和不透明度映射数据该过程有助于对数据进行分类，并且可以有效地显示三维体数据的内部信息。DVR算法的基本思想是体光线投射，它将光线投射到体数据中，并累积每条光线的颜色值和不透明度值光线彼此平行，在这种情况下，正投影是可取的。由于光线投射易于在加速显卡中实现，大大增强了体绘制的应用能力为了获得高质量的绘制效果，传统的方法依赖于对体数据的高分辨率采样和复杂的传递函数。高分辨率采样可以直接提高渲染质量，因为它减少了光线投射过程中的采样间隔。这将不可避免地降低帧速率，进一步降低体绘制的交互性能。为了克服这一挑战，研究人员提出了各种方法来采样优化的体积数据。自适应采样是其中最具代表性的方法之一，它可以根据体数据的内部特征分布自动调整采样率。这样的技术通常达到相对优化的采样率，并且在质量和效率之间具有折衷。另一种常用的方法是旋转传递函数体绘制。近年来，传递函数设计的研究比较活跃，绘制质量提高很快。多维传递函数有助于更好地揭示体数据的内在信息。它们是通过整合体积数据的物理特征（如梯度）来设计的（Knisset al. ，2002）、曲率（Kindlmann et al. ，2003）、尺寸（Correa和Ma，2008）、形状（Praßni et al. ，2010年），2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfC. Xu，G.太阳河梁视觉信息学5（2021）7071Fig. 1. 分 类 坐标系。 我们根据特征的属性和感知对体数据进行分类。横轴表示基于属性分类的外部特征和内部特征，而纵轴表示基于感知分类和纹理（Caban和Rheingans，2008）转换为一维传递函数。然而，多维传递函数的设计通常是复杂且耗时的。而绘制质量也具有很强的不确定性，取决于人们为了更好地应对这些困难，研究人员提出了自动和半自动传递函数，其使用高斯混合模型（Ma etal. ， 2021; Wang et al. ， 2011 ， 2010 ） 、 核 概 率 密 度 估 计（ Maciebroski et al. ， 2009 ） ， 能 见 度 直 方图 （ Correa andMa，2010; Jönsson et al. ，2012）、体积特征的可见性（Wanget al. ，2011; Song et al. ，2016）、信息差异（Ruiz et al. ，2011）等。这些方法提供了在体积数据中自动捕获感兴趣信息的能力然而，这种传递函数的设计仍然需要在特定的研究领域，这限制了体积可视化的适用性的用户的先验知识。2. 调查范围体积可视化是可视化社区的重要组成部分（Zhu等人，，2020年）。随着可视化研究领域的发展，体可视化从低端体可视化（Mroz，2001）发展到高端体可视化（Shih，2018）。研究人员也做了大量的调查，分类和总结体可视化方法。研究（Zhou etal. ，2008; Hanqi and Xiaoru，2012; Sun et al. ，2013）综述了体视化中传递函数的基础和研究现状。文献（Weifeng et al. ，2012年）为研究人员提供了基于感知的体积可视化的概述。不同于以往的调查论文从不同的角度对体绘制技术进行研究，本文提出了一种基于数据特征的可视化研究的新视角。在这次调查中，我们给出了一个全面的视图的功能增强体可视化。基于广泛的文献综述，我们已经确定了一系列在某些方面常见的可视化技术我们提出了一种新的分类方法的基础上的功能，体积数据，解释了为什么我们这样做的分类，并讨论了他们与不同的方面详细。特征增强体可视化已经得到了广泛的研究，他们简要地和依靠其他高质量的评论（Guodao等人，2013;Jönsson et al. ，2014年）。受他们工作的启发，我们添加了最近出现的新方法，并从不同的角度对该主题进行了重新分类。重点介绍了体视化中特征增强方法的研究进展，具体介绍了体视化中外部特征、内部特征、结构特征和表意特征四类特征的视觉增强。这四个类别不在同一级别，并且它们基于特征的属性和感知进行分类外部特征是指表现空间外层属性的特征，内部特征是指表现空间内层属性的特征。结构特征指的是用于空间结构感知的特征，而表意特征表示用于形状感知的特征。为了更好地证明这四个类别，我们首先进行理论上的区分，然后使用示例图像来说明分类：外部功能增强。它是为了改善视觉对体数据的外观的感知，包括物理表面、特征表面和等值面等。它不深入体数据以反映其内部属性（例如，内部结构、内部特征分布）。内部功能增强。相对于外部特征增强，它旨在提高对体数据内在特征空间关系的感知，显示特征的分布和层次，强调特定的强度/位置特征。结构特征增强。它是在全球/局部层次上增强体数据的外部/内部空间结构的描述，并加强体内部不同组织的空间对应性。表意文字功能增强。与结构特征增强相反，它是为了显示体数据的整体形状特征，例如轮廓/边界感知和深度感知。它带来了多种多样的表达方式，以增强体数据的易读性。有必要指出，内部特征和结构特征在很大程度上重叠。这是由于体积结构通常由体积数据中的比强度表征的事实。然而，它们仍然相当不同。内部特征增强强调特征分布感知和特征定位（如时变体数据中特征的变化），而结构特征增强强调体数据空间结构的感知。由于分类是基于两个不同的原则（属性和感知），这四个类别不是纯粹独立的。通常可以根据每个原则对研究进行分类。因此，它可以被定位在图1中的坐标系的象限处。1.一、不同类别的交叉也是可以解释的：内部结构特征增强。这具体指的是增强体数据中内部结构和空间属性 （图（第2（a）段）外部结构特征增强。这是指外部特征（如高质量照明和透明度）的视觉增强，以促进对体数据表面结构的感知。（图第2（c）段）外部表意特征增强。这是指外部特征（例如照明和光晕渲染的参数）的视觉增强，以增强体数据表面的形状特征感知 （图（第2（e）段）内部表意特征增强。这是指对体数据进行意识形态增强（如风格变换、图解渲染等）所带来的内部特征的抽象表达（图（ 第 2（g）段）C. Xu，G.太阳河梁视觉信息学5（2021）7072图二. 直观描述了本文的分类方法。围绕分类坐标系，示出了示例特征增强的渲染结果：（a）内部结构特征增强（Jönsson et al. ，2012）。(b)结构特征增强（Jung et al. ，2018年）。(c)外部结构特征增强（Ament et al. ，2013）。(d)外部特征增强（Kroes et al. ，2012）。(e)外部表意特征增强（Tao et al. ，2011年）。(f)表意文字特征增强（Bruckner和Gröller，2007年a）。（g）内部表意特征增强（Rautek et al. ，2007）。(h)内部特征增强（Song et al. 、2016年）。分类坐标系中圈出的数字为本文参考外部特征的增强主要依靠光照技术，根据光照参数的获取方法，可分为人工光照设计和自动而内部特征的增强主要是渲染隐藏在体数据中的、表面上不能直接观察到的特征。它可以分为两类：优化设计体可视化和预测设计体可视化。结构特征增强的目标是渲染体数据的空间结构信息它包括两个子类技术：深度剥离方法和显著性驱动方法。表意特征增强强调体数据的形状感知，并提供多种表达方式以增强体数据的易读性。非真实感绘制（NPR）方法和示例性绘制方法是两类广泛使用的技术。我们将在本文的主体部分进行详细的描述在本文的其余部分，我们将概述第三节综述论文及其技术。后来，我们基于四种类型的特征将这些技术分为四类。最后对特征增强体可视化的发展趋势进行了展望。3. 用于特征增强的从体可视化的角度来看，用户感兴趣的区域往往是具有明亮和独特颜色的部分这些部分通常是具有高特征强度的体素。这在多模态医疗数据中尤为明显。突出显示重要特征信息在医学图像可视化中具有重要意义。研究人员已经开发了一系列基于特征强度的可视化算法。不同的可视化方法适用于增强体数据中不同类型的特征在本节中，我们对特征增强体可视化的文献进行了分类和根据特征类别（结构特征、内在特征、外在特征和表意特征），我们将文学分为四个方面。C. Xu，G.太阳河梁视觉信息学5（2021）7073图三. 文献的分类及其呈现技术。图3显示了本文中的文献在以下每个小节中的分类。横轴表示基于增强功能类型的纸张，纵轴表示工作机制的类别（可视化映射和交互式可视化设计）。其他缩写包括光照和阴影（LS）、SI采样和插值（SI）、纹理（TX）、预积分（PI）、颜色和不透明度（CO）、传递函数（TF）、焦点+上下文（FC）、交互式特征规 范 （ IFS ） 、 用 户 指 定 指 示 符 （ USI ） 和 图 形 规 则 规 范（GRS）。该图中的彩色方块表示已开发的可视化技术（垂直）在这个图中主要可以发现两种模式。首先，外部特征和内部特征增强的可视化多采用视觉映射技术，而结构特征和表意特征增强的可视化多采用交互式设计方法。二、各类别最常用的特征增强技术：对于外部特征增强，最常用的技术是LS和SI，而内部特征增强中最常用的技术是SI。结构特征增强技术主要依赖于IFS和USI，而表意特征增强技术主要使用GRS和CO。在下面的小节中，我们将详细描述每一类。4. 外部特征增强体可视化光照是计算机科学领域中生成真实感图形的一项重要技术。由于照明能够有效地反映体数据中组织的空间层次关系，增强特征的形状感知，因此照明在高质量体绘制中一直扮演着重要的角色（Kroes et al. ，2012; Ament et al. ，2013）。 全局照明考虑了所有表面和光源的相互作用，而局部照明仅通过光源。由于局部光照能有效地显示体数据中特征的表面明暗变化，使观察者对局部体特征有更好的感知，因此在医学数据体绘制中得到了广泛的应用然而，不适当的体积照明会妨碍表面上重要特征的可见性.优化后的体照明将极大地提高物体表面信息的感知能力，清晰地传达物体外部特征的形状和细节信息。根据照明参数设置机制的不同，照明技术可以分为两大类：人工照明设计方法和自动照明设计方法。4.1. 手动照明设计光照模型在真实感图形绘制技术中起着质心的作用最常用的照明模型是Phong照明模型（Phong，1975）。Levoy（1988）首先将Phong照明模型引入DVR。其核心思想是将每个体素的梯度值作 为 物体 表 面 的 法向 量 ， 将 梯 度 引入 局 部 光 照模 型 。 Max（1995）介绍了DVR中常用的几种光照模型，如吸收模型和发散模型。Meißner等人（1999）提出了一种基于3D纹理映射、支持环境光和反射光的体绘制半透明分类方法。Dachille等人（1998）提供了一种支持任意光源的体绘制方法，并且光源的方向最近，Zhou等人（2015）引入了一个重要的函数来增强特定体积表面的照明。它基于优化的照明模型，该模型使用成本函数来控制不透明度和光强度。图4显示了使用几种不同照明模型绘制的冲击波数据的比较结果。可以看出，图1A和图1B中的暗区域是透明的。 4a和4 b在图中变得可见。4杯它说明了先进的照明方法（周C. Xu，G.太阳河梁视觉信息学5（2021）7074见图4。不同照明方式下激波数据渲染的可视化比较。(a)是使用标准单次散射方法的渲染结果。(b)是使用色调映射方法（Goochet al. ，1998），而（c）示出了使用Marco方法的最终结果（ Am e n t et al. ，2016年）。等人，2015）为用户提供了表面上重要特征的更好视觉感知。在照明技术中，基于梯度的体绘制（Levoy，1988）仍然是最广泛使用的照明技术。学者们对基于梯度体绘制的体可视化进行了大量的研究。 Engel等人 （2001）提出了一种预积分光照方法，简化了梯度的计算，提高了绘制效率。通过对预积分采样段两端的梯度值进行平均，简化了梯度计算。Lum等人（2004）提出了一种高质量的预积分照明方法，该方法对预积分段末端的强度值进行线性内插。 这确保了相邻的预积分段的连续性。Guetat等人（2010）提出了一种非线性梯度插值预积分照明方法。他们假设在预积分段的梯度沿弧变化基于这一假设，在一个预积分段中需要计算大量的梯度值.然后，他们引入了二维预累积表进行渲染。 Carr等人（2015）提出了一种纤维表面提取方法，该方法可以基于等值线梯度图几何地捕获纤维外部特征。图图5显示了渲染结果，其中纤维表面（绿色）可以通过选择梯度图（绿色三角形）中的感兴趣区域来区分。此外，Wang et al. （2018）交互式地渲染了隐式等值面以及体渲染和高级着色，这给人们提供了更好的体数据感知。Kroes等人（2018）提供了一种在体积渲染中减少环境光遮挡的方法。该方法利用概率环境光遮挡计算策略来避免昂贵的光线跟踪。它带来非常好的质量，并确保体积数据的平滑外观。4.2. 自动照明设计随着机器学习技术的快速发展，图形学研究人员也开发了一系列机器学习模型，用于自动生成特定研究任务的光照参数。Nalbach等人（2017）介绍卷积神经网络可以自动生成屏幕空间阴影效果。复杂的着色纯粹是通过深度学习来分配的，这使得专家不必对着色参数进行编程。深阴影的结果比偏好揭示了数据的更详细的信息。Jönsson和Ynnerman（2016年）提供了一种交互式全局照明方法，该方法在体积数据或视觉参数变化期间利用光子图的相关性作者使用体积中的视觉去相关区域来有效地更新光子，而他们使用transfer函数来确定体积数据的重要区域。它可以对体积表面的重要区域（如大脑皮层）和产前超声数据，同时保持视觉保真度，以及性能。Engel andRopinski（2020）基于深度学习的体环境遮挡间接渲染方法。该技术使用3D卷积因此，它使用户能够很好地了解全局卷信息。Niemeyer等人（2020）提供了一个可区分的体积渲染管道，可以帮助用户从2D图像预测隐式3D表示。研究人员使用不同的渲染公式来预测体积的表面深度，形状和纹理。因此，它改进了体积表面的详细可视化而无需监督。 Chaitanya等人 （2017）提供了一种自动编码器架构，用于使用Monte Carlo方法以极低的采样预算重建全局照明。他们以互动的速度展示最先进的质量结果。5. 内部特征增强体积可视化内部特征增强体可视化的目的是通过一定的策略获得共同的特征模式和内部特征的各向异性，这通常依赖于体数据的特征强度。战略的核心是如何划分内部特色，突出具有特色优势的特色。主要有两种体绘制的人工优化设计和预测体可视化。5.1. 优化设计体积可视化体数据中内部特征的绘制通常高度依赖于特征强度。由于体数据中的大多数重要特征都被认为是作为特定特征强度，必须增强特定特征的可视化质量，特别是体积数据中的高强度特征，其通常保留有价值的内部属性，例如，医学图像体积中的骨骼目前已经提出了许多可视化方法来绘制体数据中的高强度特征，但大多数方法都是利用采样光线来搜索高强度特征，记录特征可视化高强度体积特征的开创性工作之一是MIP（最大强度投影）方法（Wallis et al. ，1989）。它直接将视线中的最大标量值映射到相应的体素。该方法能有效地显示体数据中的重要特征，广泛应用于医学领域。然而，MIP方法没有考虑体数据的空间三维信息。它不能提供空间三维体积中为了克服这个C. Xu，G.太阳河梁视觉信息学5（2021）7075图五、 通过增加乙二醇分子中的范围梯度距离，从（a）到（d）（Carr et al. ，2015）。见图6。 不同内部特征增强技术的视觉比较。在第一行中，从左到右：（a）DVR（Max，1995），（b）MIP（Wallis et al. ，1989），（c）MIDA（Bruckner和Gröller，2009），（d）无闭塞方法（Zhou等人，2009），，2015）。在第二行中，调整不同参数的无遮挡方法：标量，（f）梯度，（g）出现，和（h）深度。然 而 ， 研 究 人 员 提 出 了 许 多 不 同 的 方 法 来 改 进 MIP 技 术 。Heidrich等人（1995）引入了深度值作为渲染过程中深度值用于查找最大强度并更新结果图像的颜色因此，用户可以更好地判断体积特征的顺序。可以避免许多错误的渲染，例如将具有高深度值的体素视为具有高特征强度的体素使用户能够进一步处理渲染过 程 。 Sato 等 人 （ 1998 ） 介 绍 了 局 部 最 大 强 度 投 影 方 法（localMIP，LMIP），以增强在最大强度的位置。该方法利用用户定义的最大强度阈值来替换沿着采样射线的局部最大强度。由于用户自定义的特征阈值往往要求用户对数据有足够的探索经验，这极大地限制了localMIP算法的可扩展性。Díaz Iriberri和Vázquez Alcocer（2010）没有使用用户定义的阈值，而是他们根据特征方向计算相应体素的颜色。因此，在不同位置的C. Xu，G.太阳河梁视觉信息学5（2021）7076深度将被渲染成类似的颜色。研究人员将直观地观察特征的空间顺序。为了进一步增强体数据的视觉感知，Zhou et al. （2011）提出了SEMIP（shape-based map）方法。SEMIP首先引入表面照明技术来增强形状感知的最大强度特征。为了实现这一点，应该搜索最好的正常信息的最大强度功能沿每个采样射线。其次，他们引入了颜色映射机制来描述最大强度特征的深度信息。SEMIP无需调整传递函数即可获得较强的视觉感知，易用高效，在不同应用场景下具有较强的实用性与传统的直接体绘制算法相比，MIP方法在绘制效率上具有优势.因为它在绘制体数据内部特征时不需要复杂的传递函数然而，MIP的一个显著缺点是它只呈现最大强度特征。这可能会导致有价值的信息丢失。为了解决这一挑战，Bruckner和Gröller（2009）提出了一种最大强度差异累积方法（MIDA），该方法基于相邻采样值的差异系数计算不透明度和颜色。这使得最大强度特征之前的体素可见，但隐藏最大强度特征之后的数据。为了使最大强度特征背后的信息可见，Zhou等人（1911）基于体素的深度动态地修改最大强度值。它可以动态调整opac-亮度和颜色，使得最大强度特征之后的特征也可以被累积到最终图像中。此外，Liang et al. （2012）提出了一种局部特征增强算法，该算法通过集成最小二乘法来重建体数据的标量曲线。通过重构的标量曲线，可以提取隐藏在体数据中的有效信息。通过累积局部特征差异，可以不断更新颜色和不透明度。在最终的图像渲染中，有效信息将得到充分的显示.最近，Zhou et al. （2015）提供了一种无遮挡特征探索方法，该方法修改了传统的体绘制积分，并减少了体数据内部不重要特征的遮挡。该方法利用光线投射过程中的参数修改，并引入了一些参数调整函数。结果表明，它是能够生成信息渲染图像的功能感兴趣的标量值，梯度，发生，和深度突出显示。四组中每一组的一种代表性方法的视觉输出的比较如图所示。 六、可以看出，与传统方法的渲染结果相比，无遮挡特征探索方法显示了更多第二行的图。6揭示了不同功能的选择有助于用户识别不同的内部特征。5.2. 预测设计体积可视化为了优化体数据内部特征的探索过程，研究者们提出了一系列基于先进机器学习算法的预测 Albertijiçek等人 （2016）提出了一种深度网络（3D U-Net架构）来推断隐藏在体积数据中的内部特征，该数据从稀疏注释的体积图像中学习。有两种不同的方法可以使用这种架构：第一种是半自动方法，它利用用户注释的切片来分割体积数据。第二种是全自动方法，它训练多个稀疏注释的切片来预测体积数据分割。作者已成功地将他们的方法应用于非洲爪蟾肾脏数据。Jain等人（2017）提出了一种深度学习方法，用于探索时变多变量体积中的内部高维作者首先训练自动编码器网络来学习高级压缩表示，然后使用训练的解码器网络来生成子采样数据。内部高维特征可用于有效地解压缩体积数据，同时保持高质量的表示。Hong等人（2019）提供了一种新的体积数据可视化管道，该管道结合了生成对抗网络和卷积神经网络，以实现有效的交互式体积可视化。该管道使用户能够通过直接修改合成图像而无需复杂的传递函数来交互式地探索体数据的隐含内部特征。通过调整视觉参数，如对比度和亮度，用户可以获得高质量的体可视化。 Jönsson等人（2019）开发了一个现代可视化系统，用于在各个级别交互式可视化体积数据。用户可以通过使用不同的组件自由地探索体积数据例如，处理器提供体积的边界框几何形状，其可用于快速了解体积数据的内部特征。Tkachev等人（2019）开发了一种新型的体数据可视化方法，该方法集成了科学可视化方法和机器学习方法，以检测和可视化时空体积中复杂的内部关系，例如不同时间步长中的球体碰撞和Xu等人（2020）提出了一种用于在体绘制中重建局部图像的无监督机器学习方法。它用于梯度域体积光子密度估计。这些输入是基于体积的特征，例如曲率、法线、深度和透射率，它们用于保留体积数据的详细表面信息渲染结果具有高外观质量，在使用体积进行曲面渲染时不会被体积隐藏。6. 结构特征增强体可视化组织间遮挡是体绘制中例如，在大脑数据渲染中，大脑将被周围组织遮挡。同时，在骨骼绘制中，骨骼总是会被周围的肌肉等遮挡。为了更好地增强体数据的全局/局部结构，学者们提供了一系列重要性驱动的算法来帮助可视化体中感兴趣的特征。这些方法可以分为两类：深度剥离方法和显著性驱动方法。6.1. 体绘制深度剥离的主要思想是使用缓存来存储每个层中每个体素的深度。一旦渲染从一层到另一层，深度小于或等于存储体素的采样点将被消除。只有更深的体素才会存储在缓存中。根据这些体素存储规则，研究人员可以实现基于深度的分层剥离绘制Nagy和Klein（2003）发展了最早的深度剥离可视化研究之一，其中研究人员在DVR的纹理映射中实现了深度剥离算法。图7显示了引擎数据集上的这种深度剥离方法的示例。对发动机的局部结构进行了分段。从左到右，它显示了引擎数据集的前三个层及其合成渲染。Borland等人（2006）将深度剥离算法扩展到医学体积数据。在DVR中，光线投射在渲染中起着重要的作用C. Xu，G.太阳河梁视觉信息学5（2021）7077图7.第一次会议。使 用 深 度 剥 离 方 法 的发动机缸体数据集插 图 ，混合层比例相等（Nagy和Klein，2003年）。过程然而，不透明度随着采样光线而累积，并且累积的最大值为1。之后，后续采样点将不会显示在最终图像中。基于这一观察，Rezk-Salama和Kolb（2006）定义了剥离人体组织的不透明度阈值。在渲染过程中，一旦不透明度累积到设置的阈值，将渲染体数据的新深度层。然而，该方法只对层次过渡点进行了简单的约束，属于同一组织的某些组织将在不同的层中进行渲染。为了解决这一问题，Fuli和Guozhen（2009）通过使用标量曲线上相邻波谷和波峰之间的斜率来确定分层过渡点，该斜率揭示了上述方法主要基于用于组织剥离的采样射线的标量值。这些自动剥离算法通常不能平滑地分割不同的组织。为了更好地剥离医学体积数据中的组织，需要整合人类知识和经验的方法Bernardon等人（2006）提出了一种基于GPU的光线投射算法，使用深度剥离进行非结构化网格数据渲染。Fuli等人（2010）提出了一种半自动的组织剥离绘制方法，该方法基于构件体关系，利用梯度阈值函数判断采样点是否属于组织。通过构造体数据中每个体素的隶属关系，研究人员可以清楚地剥离体数据中的组织Jung等人（2016a）提供了一种体积绘制方法，该方法使用CT扫描的体积上下文信息（体素的遮挡）自动导出深度参数。这是基于最大强度差累积方法和基于深度的特征增强。它使用户能够在结构级别分析体积数据，并使不必要的结构不可见。6.2. 显著性驱动体绘制显着性驱动类别是基于显着性特征的结构分割体绘制方法，包括照明设计、传递函数设计和可视化设计策略等。Jung等人（2018）提出了一种显着性驱动的光线剖面分析方法，该方法使用上下文信息来识别有意义的感兴趣特征，并沿着用户指定的观察光线。它减少了用户在传递函数设计过程中的交互，并能够区分人类认为重要的结构特征。Woo等人（2012年）一种用于体绘制的其由用户定义的感兴趣区域采集、显著性特征识别、传递函数生成和体积结构增强组成。它允许用户以交互方式选择特定的功能层渲染和强调重要的结构。Jadhav等人（2018年）提供了一个详尽的超级体素聚类框架，用于识别解剖学上有意义的区域。它首先计算体积上的超体素，并对超体素进行穷举聚类以捕获所有区域和边界，然后将区域分组为元聚类，用户可以通过选择元聚类树中的语义特征来生成所需的可视化。图图8示出了单独分离的特征的可视化和腹部的组合渲染。最近，Sharma et al. （2020）提出了一种基于图的体绘制传递函数设计方法，该方法利用图推导来获得重要的体结构。首先，它们对体数据中的特征进行聚类，并构建材料图的拓扑。然后，他们通过更改用户选定节点的材质外观来增强重要结构渲染，并手动关闭不重要节点的可见性。Jung等人（2016 b）提供了一种自适应分箱可见性直方图，该直方图呈现了体积中所有体素的可见性分布，这使得用户能够通过使用关于其遮挡模式的实时反馈来探索体积数据的空间结构。它可以帮助用户有效地可视化相对于周围结构的特定感兴趣区域，例如被相邻身体结构遮挡的肿瘤。Jung等人（2018）介绍了一种基于特征的直接体绘制技术，该技术使用上下文显着性信息来识别感兴趣的特征并量化其重要性。这有助于识别体积数据中的重要通过使用优化的传递函数，它给出了重要结构和背景信息之间更好的对比。Qi等人（2017）设计了一个适合消费3D点云的深度学习架构。输入是点云的3D几何表示。该架构的核心作用是将点云数据传递给一组优化函数的对称函数。最终输出是数据的整个形状或点标签（形状分割）。该体系结构可以自动将体积分割成不同的段，研究人员可以更好地可视化全局/局部结构。C. Xu，G.太阳河梁视觉信息学5（2021）7078见图8。 腹部可视化（Jadhav et al. ，2018年）。(a)单独分离的特征，和（b）组合的可视化。分离的语义特征包括（a1）部分血管结构，（a2）肝脏，（a3）结肠，（a4）胰腺，（a5）肾脏，（a6）椎骨和脊髓。7. 表意特征增强体视化我们将表意特征增强体可视化定义为专注于实现各种各样的表达风格以增强体数据的易读性的那些技术，例如将可视化风格改变 为 艺 术 模 式 并 增 强 渲 染 的 形 状 感 知 （ Ulyanov 等 人 ，2005）。，2017）由于在体积中没有离散定义的特征作为表意特征，因此我们将表意特征定义为在整个体积中连续存在的那些特征，并且可以表达体积数据的整体感知，例如边界，定向特征（轮廓，褪色和草图线）和深度线索。在此基础上，我们将图像特征增强可视化分为两类：非真实感绘制（NPR）和插图绘制。7.1. 非真实感绘制非真实感体绘制方法是模拟艺术风格的体可视化技术。它整合了艺术和科学插图的原则，并增强了体积特征，以创建科学和医学数据的有效可视化。作为非真实感渲染的先驱，色调阴影已经被提出用于增强表面形状感知（Gooch等人，2004）。色调模式基于传统照明，但增强了边缘线和高光。剪影（Northrup和Markosian，2000），是一个其他著名的非线性绘制技术，可用于渲染出三维多边形网格线。通常，它用于阐明体数据中对象艺术风格着色（Bruckner和Gröller，2007 b）是另一种类型的NPR技术，它利用风格传递函数为体积数据分配颜色和不透明度它允许灵活地组合不同的渲染风格，并有助于创建插图。图9示出了使用几种渲染样式的引擎数据的渲染结果。原始CT体积已经以不同的风格呈现。风格传递函数在图中被描绘为点亮的球体贴图（右下角的球体图像）。9Rheingans和Ebert（2001）将照明模型的熟悉程度与增强重要特征的能力结合起来。该方法通过改进边界和走廊的增强来实现特征增强。通过添加深度和方向线索，它为研究人员提供了对体积数据的更好感知。最近，Benilov（2015）提出了“Magic Lens”和“3D Cutaway Lens”，这是焦点和上下文可视化方面最先进的NPR技术，而Kumar等人。（2019）提供了从1963年到2019年对NPR技术的全面调查。2017.它从2D图像到3D体积的NPR工作，内容包括NPR技术，算法和设计以及参数设置。7.2. 示例性体绘制说明性体绘制通常被描绘为风格化绘制，其将体积信息传达到说明性风格，同时不强调不重要的细节。然而，一个困难是如何将体积特征传达到视觉表示。为了应对这一挑战，已经建立了用于说明性渲染的语义。Rautek等人（2007）引入了语义层用于说明性渲染，这允许用户将体积特征映射到多个说明性视觉样式。将体积特征和视觉风格表示为模糊集合，并通过模糊逻辑算法进行映射。图10示出了发动机缸体上的三种说明性视觉样式。从左到右，它呈现了卡通式的着色风格，带有边缘增强的减少的卡通式的着色风格，以及带有彩色轮廓的卡通式的着色风格 作者还提出了一个基于模糊逻辑规则的交互式插图框架，并在GPU上实现，该框架用于高质量的交互式语义驱动的体绘制（Rauteketal. ，2008）Gerl等人（2012）展示了一个交互式图形-提出了一种体特征语义描述的方法，并演示了语义动态描述的使用该方法利用语义着色器增强进行可视化映射，并使用用户定义的语义来渲染感兴趣的特征。最近，Wang et al. （2019）提出了一种三维语义肤色模型，该模型利用嵌入式编码器来重建几何和语义表面表示，以帮助用户更好地理解3D对象。另一种类型的说明性体积可视化是增强特征的局部对比度晕轮渲染是这一类别中经常使用的技术，因为它能够增强感兴趣的视觉感知特征（Svakhine和Ebert，2003; Bruckner和Gröller，2007a; Tao等人，2008）。，2011; Bruckner et al. ，2006年）。Tao等人（2011）提出了一种用于体数据的与视图无关的晕圈照明方法，该方法将特征的边界突出显示为晕圈。用户可以更好地理解基于晕轮效应的为了强调体数据中的重要特征，研究人员提出了重要性驱动的方法，该方法为不同的特征设计优先级并选择性地将其可视化。具有高优先级的特征将在低优先级特征之前被渲染。有时候，背景C. Xu，G.太阳河梁视觉信息学5（2021）7079图9.第九条。发 动 机缸体数据的 不 同 渲 染 风 格 （Bruckner和Gröller，2007 b）。见图10。 发动机缸体数据集上 的 多 种 说 明 性 视 觉 样 式 （Bruckner和Gröller，2007 b）。信息可以影响非光真实体积的视觉表示。为了保留背景信息，Bruckner等（2005）利用采样点的标量值、梯度值和视点距离等指标动态调整体绘制中的积分方程，更新不透明度的累积。这给出了重要特征的直观可视化，同时在渲染结果中保留了背景信息类似地，Marchesin等人（2007，2010）提出了一种动态调整不透明度的可视化方法。该算法通过积分相关函数来度量采样点的校正，保证了离视点最远的采样点的最大可见性结果表明，多个功能可以突出显示在同一时间和重要的功能，可以通过用户交互增强渲染。Bokšansket al. （2017）提供了一种VAO++方法，该方法由几种体积环境遮挡技术组成VAO++方法依赖于自适应采样和剔除预处理，这可以加快渲染速度，检查深度范围，并突出显示体数据的轮廓它可以快速给读者一个直观的感知体积数据。8. 总结和结论在这篇最新的报告中，我们回顾了体绘制领域的最它提供了一个体积渲染技术的功能增强的许多进展的简要概述从数据特征的角度出发，在宏观上将特征增强可视化技术分为四类。第一种是体绘制中的外部特征增强技术，主要依赖于照明方法，其提供在体表面上的高质量绘制。在这一类别中，我们还扩展了讨论基于梯度的表面增强体绘制。第二种是内部特征增强技术，利用体素的标量强度来突出特定的内部特征，特别是我们对最大强度特征进行了讨论。此外，我们还将最近的深度学习内部特征体可视化技术三是体绘制中的结构特征增强，揭示体数据的空间结构关系。我们主要将这些技术分为另一个子类别：深度剥离算法和显著性驱动算法。前者主要处理体数据的深度信息，而后者基于用户定义的重要特征和优化设计过程，如光照设计和传递函数设计。第四部分是体可视化技术的表意性增强，主要分为两类：非真实感增强方法和直观性增强方法。NPR方法致力于改变体数据的渲染样式，而说明性方法有助于改善感兴趣特征的视觉感知，例如，体数据计数器和局部对比特征。通过对不同特征类别及其增强技术的分析和比较，我们确定了两种模式：第一，属性增强体绘制技术（外部特征和内部特征）侧重于视觉映射，而感知增强体绘制技术（结构特征和表意特征）侧重于交互式可视化设计。其次，不同类型的特征增强不是完全独立的，而是相互作用的。例如，结构特征增强和内部特征增强高度相关。可以使用体积可视化技术来增强多个特征的更好的显示接下来，我们将讨论和总结未来体绘制研究的关键挑战。9. 挑战和今后的工作我们提出了一个相对完整的审查现有的功能增强渲染技术在不同方面的体积功能。随着图形学研究领域的发展，特征增强可视化技