基于草图的3D建模技术的有效性及准确性研究: 自动提取的图像特征对3D建模的影响.

HOS T E D B Y可在www.sciencedirect.com网站上查阅计算设计与工程学报3（2016）286www.elsevier.com/locate/jcde通过对齐图像的轮廓进行基于草图的3D建模李春晓a，李孝元b，张栋梁a，n，姜浩aa浙江大学国际设计学院，中国杭州新加坡科技与设计大学Singapore University of Technology and Design接收日期：2015年12月31日;接收日期：2016年4月26日;接受日期：2016年4月26日2016年5月6日在线发布摘要在本文中，我们提出了一种有效的技术，基于草图的3D建模使用自动提取的图像特征。创建3D模型通常需要绘制由曲线组成的不规则形状作为起点，但很难在不引入笨拙的凹凸和边缘的情况下手绘这些线条。我们提出了一个自动对齐用户的手绘草图线的轮廓线的图像，促进了相当程度的轻松，用户可以不经意地继续素描，而系统智能地捕捉草图线的背景图像轮廓，不再需要艰苦的努力和压力，试图在建模任务，使一个完美的线。这种交互式技术将人类用户的效率和感知与计算能力的准确性无缝结合起来，应用于3D建模领域，其中屏幕上绘图的最高精度一直是迄今为止被认为需要用户高度熟练和仔细操作的任务的障碍之一。我们提供了几个例子来证明的准确性和有效性的方法，复杂的形状是容易和快速地实现在交互式轮廓绘制任务。&2016年CAD/CAM工程师协会。Elsevier的出版服务。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：草图建模; CAD;图像边缘提取1. 介绍在2D中绘制草图比在3D中绘制草图容易得多，因为大多数设计师能够绘制草图，但不熟悉3D建模工具。基于已经存在的对象构建3D模型是常见的。但它需要专业的技能和经验来开发一个不规则的形状。即使我们有这些技能和经验，它仍然需要很长的时间和巨大的努力，绘制和调整的特殊形状，以满足我们的要求。因此，如果我们可以直接从图像中使用现有的2D形状，特别是当对象处于不规则形状时，将更加方便对象的图像可以是卡通图片或草图图像。从图像中提取2D形状仍然是一项困难的任务，因为由于不同的设计技术，输入草图线有无数的可能性。有时我们需要n通讯作者。电子邮件地址：dzhang@zju.edu.cn（D. 张）。同行评审由CAD/CAM工程师协会负责。将特殊形状分割成几个更小的部分，以便于建模，但有时我们需要将形状作为一个整体用于同一目的。因此，最好将草图线捕捉到图像轮廓，而不是仅仅显示根据草图线从图像中提取的形状。结果的精度取决于手绘草图线与提取的轮廓线之间的对应关系。为了获得尽可能精确的对应关系，我们不仅需要解释素描的目的，而且还需要理解从图像中提取的轮廓线的含义。这两项任务对于机器来说都是难以实现的。在本文中，我们认为图像的功能作为一个有用的线索来理解的草图线的意义，使这两个任务转向手绘草图线的图像的轮廓对齐。我们认为，必须有一套统一的规则。这允许用户在系统智能地将草图线捕捉到图像轮廓的同时不经意地继续绘制草图，不再需要尝试绘制完美线条的艰苦努力和压力在建模任务中。http://dx.doi.org/10.1016/j.jcde.2016.04.0032288-4300/2016 CAD/CAM工程师协会。&Elsevier的出版服务。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。C. Li等人/计算设计与工程学报3（2016）286287我们提出了一种算法，以对齐输入的草图线从背景图像中提取的轮廓线。用户首先输入具有目标对象的图像，例如卡通图片或草图图像。然后，用户在他/她感兴趣的形状周围绘制一条闭合的草图线。系统会自动选择用户感兴趣的轮廓线，并调整草图线以适应图像中的目标形状，最后根据草图线生成3D模型。我们通过在第7节中的几个示例案例中运行实验来证明该算法的准确性和有效性。我们的方法的贡献如下：(1) 提出了一种基于草图的三维建模自动对齐方法，以反映用户的原始意图。因此，提高了3D建模的效率(2) 采用几何方法，通过使用它们的特征将草图线与图像的轮廓对齐。草图线可以与图像的多个不连续轮廓线对齐，以便可以对复杂的3D对象进行建模。(3) 我们使用一条可编辑的曲线来表示对齐的草图线，以便可以交互地进一步调整其形状，以创建高精度的3D模型2. 相关工作我们的方法涉及到两种建模方法。一种是基于图像，另一种是基于草图。有几种基于图像的建模方法和基于草图的建模方法，每种方法都适用于不同的目的。我们的目标是利用从图像中提取的信息实现基于草图的建模方法[1]，以利用后端CAD应用程序的智能。受自顶向下对齐方法（如活动轮廓模型[2]）的启发，我们使用对齐来取代人工选择，以更好地利用输入图像。2.1. 基于图像的建模Gingold等人[3]提出了一个从2D草图对自由曲面进行3D建模的系统。通过在图像上放置图元和注释来创建3D模型该系统允许用户维护模型的单个视图。它需要在给定的基元之间进行手动选择以适应图像中的特定形状，但由于所有基元都是规则形状，因此它不能用于构建具有不规则形状Chen等人[4]提出了另一种基于图像的建模技术，称为3-sweep，它根据图像轮廓对输入笔划进行变形。值得注意的是，3D模型的提取是基于观察到人造物体是由几个规则的基元，如圆柱体，长方体等，它具有相同的限制，它不能用于设计不规则形状的对象。Lau等人[5]提出了一个框架，允许用户参与设计自己的对象的整个过程，从最初的概念阶段到生产一个新的现实世界的对象，与现有的互补对象很好地配合在该方法中，单个照片被用作粗略的指导，以供用户绘制在照片中不存在的新的定制对象，并且不需要精确的信息提取。有几种图像引导的绘图方法来细化草图。Orbay和Kara[6]提出了一种方法来识别和分组任意笔划的数量，并将每组美化为参数曲线。神经网络通过学习现有的草图来训练草图Su等人[7]提出了一种利用图像的梯度特征来细化草图笔划的算法。然而，这些方法专注于细化草图线的线段，并且通常不考虑正在绘制2.2. 草图建模基于草图的建模方法存在一些共性问题在三维建模系统中，视图选择是建模过程中必不可少的。这是困难和令人沮丧的用户必须在一个以上的视图设计。在[3]中有一个解决方案，他们让用户在一个视图中绘制草图，并在其他视图中变形模型。自动模型生成可以由用户通过调整3D模型的厚度来控制。类似地，有几个系统用于设计3D模型[8中的二维草绘区域在两个方向上按区域宽度的比例缩放。通常，基于草图的建模方法基于草图识别技术，该技术将给定的2D线转换为3D模型，例如[12]和[13]中的系统。2.3. 活动轮廓模型对齐草图线的方法受到活动轮廓模型的启发[2]。它使用一个能量最小化样条，由外部约束力引导，并由图像力驱动，将其拉向线条和边缘等特征。对于传统的Snake方法，初始轮廓应该靠近图像中感兴趣对象的边界，否则会收敛到错误的结果。此外，活动轮廓难以进展到边界凹面。此外，由于snake模型的非凸性，传统的snake方法及其改进方法容易陷入局部极小。在我们的方法中，我们使用几何方法来对齐草图线的图像的轮廓。分析了草图线和图像轮廓线的特征，从而正确地反映了用户的意图。草图线可以是任何不规则的形状，并且可以基于背景图像来建模3. 概述为了基于图像构建3D模型，我们的方法需要将具有目标对象的图像作为输入。通常一个复杂的物体是由几个简单的部分组成的。设计288C. Li等人/计算设计与工程学报3（2016）286在3D模型中，首先我们创建每个部分，然后将它们合并为一个对象。对于基于草图的建模方法，草图线能够反映用户绘制一部分或整个对象的意图。意图可以从草图线和图像轮廓之间的关系推断出来图1（a）示出了用户分解浣熊头部的意图，而图1（b）示出了将头部作为整体对象的意图。在我们的方法中，草图线将对齐到背景图像的轮廓线，以反映用户的原始意图。图 2展示了所提出的方法的过程。整个过程分为三个阶段，包括预处理，对齐草图线和细化对齐。在预处理阶段，首先加载背景图像，画出闭合的草图线，然后提取图像的轮廓线，最后对草图线和轮廓线进行采样，并选取初始点进行对齐。在该方法中，我们采用边缘提取方法[14]来提取图像轮廓。图像的轮廓将被分割分成几个轮廓线。每一条线都在轮廓方向急剧变化的点处断开 图图3（b）示出了以不同颜色显示的提取的轮廓线。对图像的草图线和轮廓线进行采样，以减少对齐过程的计算量。为了获得良好的采样结果，采样频率与局部曲率有关。在我们的方法中，我们将采样大小设置为轮廓线和草图线为6个像素，点的曲率简单地通过连接点的两条线段的角度来评估，其中线段的长度设置为4个像素。对于具有高曲率的线的部分，将采集更密集的样本。为了保持图像的草图线和轮廓线的特征，如果线上有任何尖角点，则将这些点设置为采样点。在我们的方法中，如果连接到采样点的两条线段的角度小于1001，则采样点将被视为角点。我们将草图线的采样点称为草图样点（SS），将轮廓线的采样点称为轮廓样点（contour-）。Fig. 1. 不同的草图线条代表不同的意图。图二. 提出的方法的过程。C. Li等人/计算设计与工程学报3（2016）286289图三. 轮廓提取。样品（CS）。采样后，草图线和等高线将转换为多段线。在草图线对齐阶段，草图线的采样点将与图像的轮廓线对齐。对齐基于等高线和草图笔划的一致性。当对草图采样点（SS）进行对齐时，首先将获得一组候选点，然后从候选点中选择结果点（RP）。RP可以是轮廓线上的一个点，如果一个合适的点可以在轮廓线上对齐，或者SS本身，如果我们不能在轮廓线上找到一个好的对齐点。在细化对齐阶段，使用三种优化方法来细化结果点。计算完所有结果点后，将它们连接在一起，然后转换为闭合样条曲线。最后，基于样条曲线生成三维模型。我们使用[9]中的方法进行样条拟合和3D模型生成。样条曲线是可编辑的，因此其控制点可以进一步交互调整。通过自动对齐和交互式编辑相结合，将提高3D建模的效率，3D造型是可以保证的。在以下部分中，将描述对齐草图线、选择初始点和细化对齐的算法的细节。4. 对齐绘制线如第3节所述，我们需要为每个草图样本（SS）计算结果点（RP）。通常，RP存在于提取的轮廓线上。对于每个SS，将计算几个候选点（CP）以供进一步判断。CP集由提取的轮廓线和SS点的局部法线的一些交点组成，如图4所示。在计算之前，我们设置一个距离来粗略地过滤轮廓线。对于轮廓线的每一段，如果它位于SS点周围的区域内，我们将检查SS的法线是否与该段相交。如果它们有一个交点，则该点将被视为SS的CP。否则，SS点将被标记以供将来使用，这将在第6节中讨论。在我们的方法中，我们将区域设置为半径为20像素的圆，SS点是圆的中心见图4。 草图样本的候选点一旦每个SS的CP集准备就绪，就必须选择适当的CP作为结果。CP的选择对整个算法至关重要。假设我们已经有一个先前的RP，无论它是否在提取的轮廓线上，我们都可以在先前RP的基础上从当前SS的所有CP中我们使用直线L1和L2将之前的RP与当前SS的所有CP联系起来，如图5所示。则当前SS和先前SS通过Ls链接。Li和Ls之间的角度被计算、排序并记录到阵列中。然后，应该检查数组中的第一个元素，以查看角度是否小于阈值。阈值用于排除草图线与提取的轮廓线接近甚至相交，但轮廓线不是用户想要选择的轮廓线的情况如图6所示，只有一个CP，但角度大于阈值，因此我们认为轮廓线上没有合适的点对齐SS。在我们的研究中，我们设定的角度阈值为301。这种类型的点也将被标记为进一步处理，我们将在第6节中讨论。在该方法中，每个RP都应该是使对齐的草图线尽可能平滑290C. Li等人/计算设计与工程学报3（2016）286图五. 在所有候选点中进行选择。见图6。 使用角度的投影仪。见图7。 无效对齐。在某些情况下，RP集合中与图像的轮廓线对齐的点的数量可能太小，使得它不能反映用户的真实意图。因此，我们将检查RP集以判断其有效性。如果与轮廓线对齐的点的数量小于SS集中采样点总数的40%，我们将假设用户不打算将草图线与图像的任何轮廓线对齐，则RP将被视为无效。如图7所示，草图线包含图像的轮廓线的一部分，并且仅少数草图采样点与轮廓线对齐。因此，我们将假设用户更喜欢绘制一条不与轮廓线对齐的新草图线。5. 选择初始点从上面可以推断，第一个RP对后面的RP有很大的影响，因为方法的过程是迭代，效果一个一个累积假设有两条提取的轮廓线靠近草图线，如果我们将第一条轮廓线上的一个点作为初始点，则下一个RP将大部分位于同一条曲线上。以下所有RP也是如此。因此，我们需要仔细选择初始点，以避免累积误差。为了尽可能准确地推断用户意图，尽可能减少误差，在对齐之前，计算草图线和提取的轮廓线的所有交点，并将交点保存在数组中。由于草图线和轮廓线之间的零距离，可以合理地假设它们可以反映用户意图。当我们选择一个初始点时，图6所示的情况可能存在。因此，我们过滤交点集，仅保留草图线与轮廓线之间的角度小于阈值的交点，该阈值被设置为301。因此，我们以每个交点作为初始点开始对齐，然后将对齐后的RP和SS之间的所有距离相加。最后，我们选择具有最小累积距离的RP集合作为对齐结果。如果图像轮廓线和草图线之间没有交点，我们将草图线的第一个点作为开始对齐的初始点。6. 精整对准使用上述方法，我们得到了一个草图线的对齐结果。结果可以进一步改善。三个操作旨在细化结果集。6.1. 回滚偏离点如上所述，每个RP都是在前一个的基础上计算的。可能存在一些不应添加到PR集合的RP。虽然它们满足RP的所有条件，但当我们在RP中搜索SS时，如果当前SS与RP之间的距离不断增加，我们将记录距离最短的第一个RP。如果距离继续增加，最终RP切换到另一条轮廓线，或者距离太大以至于没有RP对齐，则之前的RP被认为是偏离点，并且它们将被放弃。SS用于替换偏离第一个记录RP的RP。在图8中，橙色的线表示草图线，草绿色的线表示结果线。 图 8（c）中，矩形中的蓝色点表示与草图线对齐的偏离点。如图所示，改进效果明显。6.2. 过滤孤立点总有一些特殊的点满足RP的所有条件，但它们使生成的草图线凹凸不平。我们称这些点为孤立点。处理C. Li等人/计算设计与工程学报3（2016）286291见图8。 回滚操作的结果。见图9。 过滤孤立点。见图10。 将SS添加到RP集。然后，利用滤波器去除所有噪声和错误点，以保持结果的平滑性对于等高线，如果等高线上的RP太少，则RP可能是孤立点。在我们的方法中，如果轮廓线上的连续RP的数量小于三个，RP将被视为孤立的点，它们将被从RP集合中删除。在图9中，橙色的线表示草图线，草绿色的线表示结果线。在图9（b）中，由于孤立的点，结果中有一些锐角，在图9（c）中，所有这些点都用红色标记，这些点将从结果中删除。使用过滤器后，效果明显6.3. 添加草图样本如第4节末尾所述，RP集与SS集相比可能太小。可能的原因是用户不打算将部分草图线与轮廓线对齐，或者过滤后RP集变小。我们可以通过向结果集添加一些SS来处理这个问题。在第4节中，存在一些无法对齐的标记SS。我们可以添加一些草图样本，使结果更合理。如果几个连续的SS没有相应的RP，这些SS将被添加到RP集。在该方法中，我们将连续SS的数量设置为三个。如图10所示，矩形中的部分示出了改进的效果。（a）和（c）中的绿色直线被（b）和（d）中的SS所取代，这使得对齐的草图线更合理，更接近用户的意图。7. 实验结果我们已经进行了一些实验，将我们的方法应用到各种图像。我们测试的计算机平台是Windows 7（64位），GPU3.40 GHz，4 G内存。在图11中，绿色线是用户的草图线，而粉红色线是对齐结果，图中的红色点是放弃的孤立点，而绿色点是放弃的偏离点。不像无花果。在图4至图10中，显示原始图像，而不是仅显示提取的图像。292C. Li等人/计算设计与工程学报3（2016）286图十一岁例子. （a）、（b）、（c）、（d）和（f）示出对准结果，（e）和（g）示出基于图像（d）和（f）的3D模型等高线可以看出，图像中的大多数对象可以通过简单的素描来准确地提取在该方法中，对齐的草图线将被转换为样条曲线，如图11所示的粉红色曲线。一旦用户绘制了草图线，该线将与背景图像的轮廓线对齐，并转换为可编辑的样条线，以便草图形状可以进一步交互地细化以创建高精度的3D模型。我们已经在3D建模系统中实现了该算法[9]。在该系统中，样条曲线可以通过移动其控制点来调整我们进行了一些测试来证明基于草图的建模对用户有多大的帮助。我们使用快速宏来记录所有的移动和鼠标点击，当我们建立3D模型，以保证草图是相似的。对于图中的图像。 11（d）和（f），设计师花了4.49分钟，5.05 min分别创建两个3D模型（如图11（e）和（g）所示），而不使用自动对准方法。相比之下，使用该方法创建类似模型仅需3.05 min和3.15 min。在实验中，不包括绘制纹理的时间。我们可以看到，使用我们的方法，基于图像的3D建模的效率大大提高。该方法自动反映用户的绘画意图，表1运行时间实验的结果。对准初始点集草图样本集运行时间（ms）（一）4118121（b）第（1）款5421931（c）第（1）款4018830（d）其他事项2818220将用户手绘的草图线转换为图像的轮廓线，极大地方便了即使是非专业用户，也可以快速学习和掌握三维草图建模的操作。对齐算法在用户完成绘制草图线时触发，因此如果对齐结果没有立即反馈给用户，用户会感到延迟。因此，我们测试算法的运行时，看看它是否会影响用户体验。该方法的运行时间是从鼠标完成移动的时刻到显示结果的时刻计算的。对于我们的方法来说，运行时间不仅受草图线和等高线的采样结果的影响，而且还受初始点集大小的影响，C. Li等人/计算设计与工程学报3（2016）286293见图12。 用于运行时测试的示例。由于初始点，迭代了几次，如第5所述。我们测试了不同输入和不同图像的运行时间（图1）。12），运行时间统计如表1所示。如表所示，对齐过程的运行时间小于0.05 s，并且它不会受到输入草图线和初始点集的比例的极大影响。因此，用户可以自动对齐草图线。该方法不会降低CAD系统的效率。在我们的实验中，我们发现结果的质量容易受到图像质量的影响。如果图像的轮廓线不能被清楚地检测到，则草图线可能不能正确地与轮廓线对齐。在这种情况下，我们可以交互地调整草图线以获得良好的形状。8. 结论和今后的工作我们提出了一种有效的轮廓对齐技术，用于基于草图的3D建模，使用自动提取的图像特征。它是一个非常有用的工具，特别是当我们打算设计一个不规则形状的3D模型时。这项技术结合了计算机的效率和人类的智慧。实验证明了该方法的准确性和有效性。利用该方法开发了一个CAD系统，可以在很大程度上帮助设计人员从图像中提取三维模型。基于草图的建模方法通过对齐图像的轮廓来实现。我们应该注意的是，对齐结果取决于用户输入的草图线的质量。如果用户在远离轮廓的地方无形地绘制草图，则无法将草图线与轮廓线对齐。虽然该方法提高了应用程序的智能性，但对齐仍然需要用户绘制适当的草图线才能获得良好的结果。还有许多方面的工作需要进一步发展。在结果中添加草图样本应该是深思熟虑的，因为过程中的任何错误都会积累并影响最终结果。该算法的时间复杂度与初始点和草图样本数成正比（O（n2））.虽然该方法的运行时间是可以接受的，我们仍然需要改进的算法，以降低时间复杂度的应用程序的准确性和稳定性。另外，图像轮廓提取的结果对最终结果也至关重要完整性从图像中提取的轮廓线在很大程度上可以实现对准。我们的方法适用于卡通图片或素描图像，但从现实世界拍摄的照片，结果不够好，因为图像的轮廓线不能清楚地检测。因此，需要一种改进的轮廓提取方法我们计划开发一种方法，使结果与模型的侧视图相对应。我们采用[3]中提出的在一个视图中设计模型的想法，因为当视图改变时，用户无法将输入草图与图像轮廓匹配。因此，一旦用户完成草图，2D模型的放大将被调整，3D模型将被显示。因此，模型的侧面只能以有限的方式变形[9]。使用该方法，我们可以分别对齐前视图和侧视图的草图线，但这两个结果可能在大小和形状上不匹配。如果我们能准确地匹配它们，模型就能更容易地建立起来致谢本研究得到了国家自然科学基金61472355、新加坡理工大学与浙江大学联合合作基金2014、中央高校基础研究基金ZJUR 041403的部分资助。利益冲突我们（所有作者）声明，我们没有任何利益冲突附录A.补充材料与本文相关的补充数据可在www.example.com的在线版本http://dx.doi.org/10.1016/j.jcde.2016.04.003。引用[1] S.曾河，巴西-地Balakrishnan，K.辛格A. Ranjan，图像引导3D草图的提示性界面，在：ACM SIGCHI会议记录，2004年，pp. 591[2] 放大图片作者：Kass M，Witkin A，Terzopoulos D. Snakes：活动轮廓模型。Int. J. Comput.目视19 8 8 ; 1（4）321-31.[3] 放大图片创作者：Gingold Y，Igarashi T，Zorin D.用于2D到3D建模的结构化注释。ACM事务处理图表2009; 28（5）89-97.294C. Li等人/计算设计与工程学报3（2016）286[4] Chen T，Zhu Z，Shamir，A，et al. 3-sweep ：extracting editableobjectsfrom a single photo. ACM Trans. Graph. 2013; 32（6）2504-7.[5] M.劳，G. Saul，J. Mitani等人，环境建模：使用一张照片的互补对象的用户设计，在：欧洲图形学研讨会基于草图的界面和建模，2010年，pp. 17[6] Orbay G，Kara L.使用可训练的笔画聚类和曲线拟合来美化设计草图。 IEEE Trans. 目视Comput. Graph. 2010; 17（5）694-708.[7] 苏强，李伟，王军，傅华. EZ-草图：容错图像跟踪的三级优化。ACM事务处理图表2014; 33（4）70-9。[8] T. Igarashi，S.松冈H. Tanaka，Teddy：A Sketching Interface for 3DFreeform Design，in：Proceedings of the Siggraph，ACM Press，1999，pp. 409[9] 刘毅，马超，张丹. EasyToy：使用可编辑的草图曲线设计毛绒玩具。IEEE计算Graph. Appl. 2011; 31（2）49-57.[10] [10]杨文，杨文，杨文. Fibermesh：用3D曲线设计自由曲面。 ACMTrans. Graph. 2007; 26（3）.[11] R.施密特湾，澳-地Wyvil，M. Sousa等人，ShapeShop：基于草图的实体建模与斑点树，在：基于草图的接口和建模的欧洲图形研讨会论文集，2005年。[12] Agathos A，Gingold Y，Shamir A，Shtof A.用于基于草图的建模的地理语义捕捉。Comput. Graph. Forum2013; 32：245-53.[13] Schmidt R，Khan A，Singh K，et al. 3D脚手架的分析图。ACM事务处理图表2009; 28（5）89-97.[14] M. 程，卡通图像的曲线结构提取，第五届和谐人机联合会议论文集，2009。