基于投影的增强现实技术评价汽车外观设计

þþHOS T E D B Y可在www.sciencedirect.com网站上查阅计算设计与工程学报2（2015）38www.elsevier.com/locate/jcde面向产品外观设计评价的Min Ki Park，Kyu Je Lim，Myoung Kook Seo，Soon Jong Jung，Kwan H.李恩光州科学技术学院机电一体化学院，光州500-712，大韩民国接收日期：2014年8月19日;接收日期：2014年9月18日;接受日期：2014年9月18日2014年12月6日在线发布摘要基于投影的增强现实技术，又称空间增强现实技术（SAR），是一种将虚拟环境和现实环境叠加在一起产生沉浸式内容的新技术。它作为下一代数字内容在媒体艺术和人机交互领域受到了广泛的关注。本文提出了一种新的方法，更直观地评价产品外观设计的SAR技术。该方法首先将考虑材料光学特性的高质量渲染图像投影到产品的实物模型上我们还进行了投影仪摄像机校准，以补偿根据投影仪，投影表面和环境照明的颜色失真我们提出的设计评价方法提供了更灵活和直观的评价环境，设计师和用户（评价）比以前的方法，通过数字显示器进行。在本研究的最后，我们进行了一个汽车外观设计的设计和评价&2015 年 CAD/CAM 工 程 师 协 会 。 由 Elsevier 制 作 和 主 持 。 这 是 一 个 在 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。关键词：计算机辅助外观设计;设计评价方法;投影映射;空间增强现实;真实感材料建模1. 介绍增强现实是一种根据Azuma等人的观点，增强现实必须满足三个条件：现实和虚拟的结合，实时操作和交互，以及3D真实世界。与虚拟现实不同，增强现实提供了与现实世界相结合的计算机生成的虚拟信息，以便用户可以根据他们的感官和识别与增强现实进行交互[2]。与 通 过 数 字 显 示 器 （ 例 如 ， 透 视 头 戴 式 显 示 器（HMD）、移动显示器和计算机监视器）提供与现实世界相结合的虚拟内容的早期增强现实不同，今天的增强现实可以通过虚拟现实在物理空间上展示虚拟数字对象。n通讯作者。联系电话：传真：82 62 715 2384。电子邮件地址：khlee@gist.ac.kr（K.H. Lee）。同行评审由CAD/CAM工程师协会负责。空间增强现实（SAR）技术由Raskar引入[3SAR可以通过将与虚拟内容相结合的各种信息投影到现实世界的对象上，从而比现有的增强现实更能最大限度地提高用户沉浸感。 SAR也被称为投影映射，因为它通过光束投影仪在实际对象上的投影来增加内容。使用投影仪的媒体立面是作为新媒体的最近趋势的焦点，并且这种立面被积极地用于新汽车、鞋和服装的促销。在美国举行的SIGGRAPH 2013上，NVIDIA、科视Christie和RTT展示了一个交互式SAR应用程序，其中汽车的高质量渲染图像被投影到汽车模型上，测试人员能够根据自己的喜好模拟其外观[5]。这种技术比传统的促销方法，如目录或网站，提供更真实的效果，同时，它具有更有效地利用空间的优势。基于这些优势，本研究提出了一个创新的框架，可以帮助产品外观设计评价。新产品除了质量、性能和价格外，其设计已成为客户http://dx.doi.org/10.1016/j.jcde.2014.11.0042288-4300/2015 CAD/CAM工程师协会。&由Elsevier制作和主持。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。M.K. Park等人/计算设计与工程学报2（2015）3839决策的因此，公司甚至从产品的早期设计阶段就通过聘请专家设计师来追求创新，这些专家设计师不断试图通过调查和市场研究来了解客户的设计偏好。因此，在产品开发阶段，美学设计已经成为一个重要的过程，它可以在不制作真实物理原型的情况下进行有效评估，并反映评估人员的即时反馈。图1显示了目前市场上发布的独特设计的产品。与过去的产品不同，今天的产品具有独特的设计更受欢迎;因此，传统的设计技术在表达复杂和特殊的材料和图案方面存在局限性。所提出的平台包括（i）Kim和Lee[6]引入的基于双向反射分布函数（BRDF）的计算机辅助外观设计，以及（ii）通过投影映射的评估过程。然而，与Kim和Lee的设计[6]不同，该设计仅限于 不透明材料（金属，塑料等），我们的平台将产品外部材料的使用扩展到半透明材料（PVC、木材等）。此外，它提供了一个环境，在其中可以直观地评估产品外观设计，因为它可以通过根据投影表面的反射率经历颜色校正过程来可视化产品模型上的设计。本研究的主要贡献是提出一种新的方法，互动设计评价的顶部相关元素技术。我们的方法具有以下优势：由于在设计阶段提前进行评估，无需制作实物原型，因此节省了产品开发所需的时间和成本。可以展示与真实产品相似的各种设计，而不受空间的限制它提供了一个比使用数字显示的设计评估本文的其余部分包括以下几个部分：第2节解释了所提出的系统所需的S/W（软件）和H/W（硬件）系统配置;第3节描述了产品外观设计的方法;第4节解释了投影映射的投影仪-相机颜色校正;第5节介绍了实验结果;第6节介绍了汽车设计评估的案例研究，并在第7中提供了我们的结论。2. 系统配置图2和表1显示了系统配置和H/W规格。该系统由光束投影仪、计算机、摄像机和作为投影面的产品实物模型组成。如图3所示，所提出的框架分为两个部分：计算机辅助外观设计和基于SAR的设计评估。在第一阶段，一旦给出新产品的概念，将使用我们的材料数据库或BRDF或BSSRDF的测量数据对产品进行计算机辅助外观设计。第二阶段是通过投影映射技术在产品实体模型上可视化计算机模拟图像。设计师或客户能够评估新的外观设计，并更改图1.一、产品外观设计的几个例子：（a）木制笔记本电脑，（b）席地汽车，（c）金属智能手机，（d）图案冰箱。●●●40M.K. Park等人/计算设计与工程学报2（2015）38ð Þ ðÞ图二. 我们系统的硬件配置。产品的外观颜色和材料，直到他们满意。为了真实地模拟不透明和半透明材料的反射特性，我们使用了我们在以前的研究中提出的为了投影高质量的渲染图像而不失真，我们的方法可以根据投影表面的特性进行投影机-相机为了更快的计算，我们尽可能简单地近似环境照明。表1硬件规格。分辨率1280~ 8003. 产品外观设计产品的外观根据其材料和颜色以及形状而提供不同的感觉;因此，外观设计应考虑将使用的材料。在本研究中，产品外观由材料的光学特性来模拟，这些光学特性由BRDF（表面反射）和BSSRDF（次表面散射）定义;此外，我们还测量了材料的BRDF和BSSRDF，以提高模拟精度。BRDF是一个函数，它表示从一个点反射的光的比例，按入射光的角度。各向同性BRDFfBRDF可以表示如下：fθ;θ;Lout;Lout;Lout;L outð1ÞBRDF在出来dif fdIinθin;diff图三.提出了基于SAR的新产品外观设计框架。其中θin;θin是入射光的方向，θout;θout是反射光的方向，θdif是θin和θout之间的角度，Iin是入射光的辐照度，Lout是出射光的辐射度。由于BRDF只考虑了表面的反射，因此它适用于表示不透明材料（如金属和塑料）的表面外观。另一方面，BSSRDF是表示在入射在点xi上的光的次表面散射之后从点xo离开的光的比例的函数。它表示光通过次表面的传输模型，该模型适合于表示光的散射。图四、材料测量系统：（a）BRDF测量系统[7]和（b）BSSRDF测量系统[9]。组件公司质量标准摄像机投影仪Cannon MarkII奥图码EW865第1728~ 1152号决议计算机–对比度4000：1双核CPU 2.66 GHz，3 GBM.K. Park等人/计算设计与工程学报2（2015）38416475半透明材料，如PVC和大理石：dLoutθx0;θout;θoutθ生产物理原型，从而最大限度地减少设计过程中的常见试验和错误fBSSRDFxi;θin;in;x0;θout;outdIinxi;θin ;黄嘌呤Þð2Þ4. 投影机-摄像机色彩校正先前开发的BRDF（图4（a））[7]和BSSRDF（图4（b））[9]测量系统用于测量材料的光学特性。由于按材料测量的数据存储在数据库中，因此不需要重复测量，并且新材料仅需要一次测量过程。它在数据可重用性方面非常有效，不仅可用于产品外观设计，还可用于需要高级别渲染的电影和游戏材料的反射特性可以通过测量获得，也可以用预定义的反射模型及其相应的参数进行建模。本研究将部分实测数据拟合到模型中，得到材料参数。这种模型拟合方法与设计者的手动建模相比大大提高了建模速度和准确性，并提供了一致的材料参数。对于表示表面反射的BRDF模型，我们使用BRDF材料参数因模型而异，但常见参数为镜面反射、漫反射、光泽度和粗糙度。图5示出了交互式素材渲染S/W开发。为了将由颜色和材料呈现的高质量图像投影到产品的无色投影表面上获得理想的结果图7示出了根据投影仪g关于波长、环境光a和相机响应h的特性来投影被变换为图像C的图像I的过程。Grossberg等人[17]提出了一种使用六幅图像来校正输出图像以获得准确的颜色投影的彩色校正方法。由相机获得的辐照度C由四个因素建模-投影仪强度的非线性响应P、投影仪的光谱响应w、投影表面上的反射率s和相机的光谱响应q-如下：C/Z aλ Pwλ sλ qλ dλ 3其中λ为波长。由于该模型仅在单个通道中考虑，因此我们需要推广到多个颜色通道的情况。在[17]中，简单地使用颜色混合矩阵V将上述等式公式化如下：公司简介由我们的研究团队。使用基于参数的材料2CR32VRRVRGVRB32PR3造型和我们的材料数据库，外观设计，C¼64CG75;V¼64V GRVGGVGB75;P¼64PG75;可以执行各种材料纹理。图6（a）示出了渲染应用相同颜色但各种不透明的汽车模型的结果。CB2FR3VBRVBGVBBP图6（b）示出了渲染应用了各种不透明和半透明材料的MP3模型的结果。使用该方法，设计人员和用户可以轻松地在各种环境中改变材料，并通过材料评估外观。设计师和用户可以在早期设计阶段找到他们的设计偏好，F¼FG500FB其中，V是投影仪和相机之间的颜色通道的相互耦合，并且F是场景中的环境照明a对相机辐照度的贡献。图五、我们开发了一个交互式外观设计软件：（a）渲染软件和（b）BRDF选项对话框42M.K. Park等人/计算设计与工程学报2（2015）38¼..- 是的ΣΣ¼¼图六、汽车模型（a）和MP3模型以及（b）使用不同材料的渲染结果乘以V~-1。因此，关系ρ在NK见图7。 投影仪-摄像机系统的数据流管道。Grossberg等人。[17]定义了矩阵V~VD-1，其独立于通道进行转换，其中D是具有对角元素VRR，VGG，VBB的对角矩阵;更多-以上，使用两个图像分别为R;G和B，由channe 1，Gr ossbergetal. 导出分离的颜色C~，其中等式（1）中的每一项（4）乘以V~：而U的强度的IK可以被定义。ρK是使用Nadaraya-Watson非参数回归计算的单调递增函数根据上述关系，必须用理想颜色C代替的投影值I可以计算如下：联系我们V~-1C-C~S ：=C~T-C~S9Where./表示按组件划分对于外观设计图像C的渲染结果，可以通过等式（1）计算待投影图像I。（9）无畸变投影。图9示出了实际监视器上的原始图像、未校正投影图像和校正投影图像，以便评估校正结果。这表明，失真的图像通过方程适当地校正。（九）、5. 实验结果在本节中，将计算机模拟结果与实际材料样品进行比较，以评估C~¼DpIF~ð6Þ所提出的技术表达了材料的独特感觉我们其中C~V~-1C和F~-V~-1F，并且每个信道最终变得独立于其他信道，如下所示：C~K¼V KKpKIKF~K7其中K是颜色通道。然后，为了考虑投影仪的非线性，其不变值NK由图8（f）的灰度图案与亮灰色（d）和暗灰色（e）之间的两个差值图像重新定义。实验在暗室中进行，以尽可能简单地限制环境照明条件。用作投影表面的实体模型的尺寸为直径50 mm，并且从约2.5-3 m远将计算机模拟结果投影在该漫射灰色表面上。图10示出了材料样本（左）和将渲染结果投影映射到模型上的结果（右）之间的视觉比较。结果是通过将各种渲染图像投影到同一球体样本上获得的，但每种颜色都得到了适当的校正，从而提供了NC~K;U-C~K;S每个样品井的外观特征固体8K¼C~K;T -C~K;S彩色涂料（a-c）与颜色及其反射效果很好特性.其中C~K;U、C~K;T和C~K;S是测量的图中的辐照度 8（f）、（d）和（e），然而，金属漆（e和f）由于其独特的闪烁而有所不同。这是因为，KM.K. Park等人/计算设计与工程学报2（2015）3843见图8。 所需颜色I（上）和测量颜色C（下）。见图9。(a)投影仪-摄像机校准系统，（b）LED显示器中的所需图像（左），投影表面上的未补偿图像（中）和补偿图像（右）。虽然金属涂料需要一个非常复杂的模型来真实地描述其反射特性，但在BRDF建模中没有应用金属涂料的模型。此外，我们的渲染软件的光照条件和光照特性与我们实验中使用的物理光源并不完全相同。表2列出了使用拟议外观设计技术和传统设计技术、计算机辅助颜色设计[19]和计算机辅助外观设计[6]进行评价的优缺点。所提出的方案在设计评估方面提供了一个显着改进的直观和灵活的环境6. 案例研究：汽车设计评估第六章介绍了一个基于SAR的产品外观设计方法应用于汽车外观设计的案例，并进行了设计评价。在这项研究中，我们的设计过程包括为汽车模型绘制和验证各种材料。参与者通过交互式地改变各种颜色和材料来评估设计，然后选出两个最佳设计。在评估过程中不需要用于可视化虚拟内容的数字显示器。图11示出了制作用作投影表面的汽车模型的过程，其高度约为6cm，长度约为18cm它被涂上灰色的漫反射喷雾，然后使用结构光扫描仪获得汽车的三维网格模型。我们为汽车外观设计选择的材料是固体涂料和金属涂料各两种。使用预先建立的材料数据库，我们得到了应用各种材料的结果。图12显示了应用于汽车模型的四种样品材料的渲染结果。所有结果都是在平行光下渲染的，渲染结果与材质样本不同的原因是光源与真实世界中使用的光源不同。为了增加视觉真实感，需要精确的环境照明建模;然而，我们没有考虑复杂的照明模型，因为它超出了我们的研究范围图13示出了投影图11中的渲染图像的结果。 12到一个无色的 汽车模型，以44M.K. Park等人/计算设计与工程学报2（2015）38图10个。不同的6种物理材料样品（左）的投影映射结果（右）：（a）红色固体涂料，（b）绿色固体涂料，（c）蓝色固体涂料，（d）银色金属涂料，（e）绿色金属涂料，和（f）蓝色金属涂料。表2与现有计算机辅助设计评估方法的比较。技术优势劣势计算机辅助色彩设计[19]价格低廉;硬件组件简单需要有经验的设计师缺乏一致的结果计算机辅助外观设计[6]基于SAR的计算机辅助外观设计（拟议）高效准确易于使用相关材料生产产品为用户/观察者提供高度沉浸感仅可通过模型进行3D显示复杂的硬件设置复杂的硬件设置高度依赖投影机的性能见图11。制作汽车模型的过程：（a）用漫射喷雾进行喷涂，（b）使用结构光3D扫描仪获取3D模型，以及（c）汽车的3D网格模型。根据材料对外观设计进行评估。由于对投影机-摄像机系统进行了色彩校正，绘制结果几乎没有差别。设计师和用户可以在现场投影的不同外观之间进行比较，并选择颜色和材料的最佳组合与Kim的方法[19]相比，其中多个评估者比较来自单个显示器的结果并提供反馈，我们提出的方法允许更直观和有效的设计评估环境，因为不同的设计是在实际对象上增强的，而不是数字显示器。随机抽取10名年龄在24第二好的设计。结果，图13（b）和（d）获得最高分数;参见表3。从他们的评估和反馈，一个新的汽车开发可以开始使用相关的颜色和材料的设计，而无需在设计过程中反复试验和错误循环7. 结论和未来研究在这项研究中，我们提出了一个交互式的设计评估系统，与此系统，各种颜色和材料可以用于产品的外观，和高品质的渲染图像投影到一个无色的实物模型的产品，设计师和用户评估其外观在早期设计阶段。M.K. Park等人/计算设计与工程学报2（2015）3845图12个。物理材质示例和应用相应材质的渲染结果图13岁投影映射结果到汽车模型的实体模型上表3设计评价结果。（a）（b）（c）（d）利息负债表我们谨此确认，本出版物不存在任何已知的利益冲突，最佳1 6 1 2第二名0 3 2 5在没有实物样品的情况下，该系统可以使设计师的意图和客户的喜好尽早得到反映，从而节省时间和成本。特别是，可以将用计算机创建的产品外观投影到实际模型上，以便观察者可以体验对外观设计的真实评估在未来，环境照明将被捕获，我们的渲染将根据这些信息执行，以创建更逼真的场景。我们希望我们未来的研究能够积极用于新产品促销等目的本可提高其成果的重大财政支持。我们确认，所有署名作者均已阅读并批准该手稿，并且没有其他符合作者资格标准但未被列出的人。我们进一步确认，手册中列出的作者顺序已得到我们所有人的批准我们确认，我们已充分考虑与本作品相关的知识产权保护，并且在知识产权方面，出版没有任何障碍，包括出版时间。在此过程中，我们确认我们遵守了我们机构有关知识产权的规定。46M.K. Park等人/计算设计与工程学报2（2015）38我们理解，通讯作者是编辑过程的唯一联系人（包括编辑经理和与办公室的直接沟通）。他负责与其他作者沟通进展情况，提交修订和最终批准证明。我们确认，我们提供了一个当前的，正确的电子邮件地址，该地址可由通讯作者访问，并已被确认接受来自通讯作者的电子邮件。致谢这项工作得到了韩国国家研究基金会（NRF）的支持，该基金会由韩国政府（MEST）资助（编号：2013）。2014023538）。引用[1] AzumaR，Baillot Y，Behringer R，Feiner S，Julier S，MacIntter B.增强现实的最新进展。IEEE计算机图形学与应用2001; 21（6）34-47.[2] 杨文龙，李晓梅，李晓梅.投影机-摄像机系统的视觉计算。在：SIGGRAPH 2008类会议录，图形投影仪。洛杉矶，加利福尼亚州;2008年8月11日1[3] Raskar R，Welch G，Cutts M，Lake A，Stesin L，Fuchs H未来的办公室：基于图像建模和空间沉浸式显示的统一方法。SIGGRAPH1998年第25届计算机图形学和交互技术年会论文集。1998年7月19[4] 放大图片作者：Raskar R，Welch G，Fuchs H.空间增强现实在：第一届IEEE增强现实研讨会的论文集; 1998年11月1日;旧金山，加利福尼亚州; p。63[5] Real@Real[Internet].India：AugmentedRealityBlog;c2010-2014[cited2013August20]. 可 从 以 下 网 站 获 得 ： http ：www.realareal.com/projection-mapping-design-prototype-by-nvidia-christie-rtt-at-siggraph-2013。[6] Kim DB，Lee KH.基于BRDF测量的计算机辅助外观设计。计算机辅助设计。2 0 1 1 ; 43（9）1181-93.[7] Kim DB，Park KS，Kim KY，Seo MK，Lee KH.基于高动态范围摄像机的各向同性材料双向分布函数测量系统。光学工程2009; 48（9）093601：1-1.[8] Kim DB，Seo MK，Kim KY，Lee KH.使用基于图像的角度分光光度计采集和表示珠光漆。光学工程2010; 49（4）043604：1-3。[9] Lee SJ，Kim HM，Seo MK，Ko KH，Lee KH.使用P3近似和基于图像的BSSRDF测量系统表示均匀半透明材料。光学工程2010; 49（6）063601：1-0.[10] Seo MK，Kim KY，Kim DB，Lee KH.考虑到制造参数，有效表示金属涂料的BRDF。光学工程2011; 50（1）013603：1-2.[11] 库克RL，托兰斯K.E.计算机图形学的一种反射模型。SIGGRAPH81 Proceedings of Computer Graphics计算机图形学1981年8月3日307-316号。[12] PhongBT. 计算机生成图片的照明ACM通信1975; 18（6）311-7。[13] 沃德GJ。测量和建模各向异性反射。SIGGRAPH 1992年第19届计算机图形学和交互技术年会论文集; 1992年7月26日至31日265[14] Blinn JF.计算机合成图象的光反射模型SIGGRAPH 1977年第四届计算机图形学和交互技术年会论文集; 1977年7月20日192[15] Jensen HW，Marschner SR，Levoy M，Hanrahan P.地下光传输的实用模型。SIGGRAPH 2001 Proceedings of the 28 th Annual Conferenceon Computer Graphics and Interactive Techniques; 2001年8月12日511[16] Donner C ， Jensen HW. 多 层 半 透 明 材 料 中 的 光 漫 射 。 ACMTransactions on Graphics- Proceedings of ACM SIGGRAPH 2005 2005;24（3）1032-9.[17] Grossberg MD，Peri H，Nayar SK，Belhumeur PN.使一个对象看起来像另一个：使用投影机-相机系统控制外观。IEEE计算机视觉与模式识别学报2004：452-9。[18] Nadaraya EA.密度函数和回归曲线的非参数估计。工业与应用数学学会1965; 10（1）186-90。[19] 蔡慧聪，萧绍文，洪FK.基于参数的产品造型与色彩设计的图像评价方法。计算机辅助设计。2006; 38（2）157-71.