为了获得的目的图卢兹大学博士学位发布人：图卢兹国立理工学院（图卢兹INP）学科或专业：计算机与电信提交人和支持人：M. 托马斯·福吉奥尼2019年11月29日星期五标题：海量3D模型的自适应传输博士学校：图卢兹数学、计算机科学、电信（MITT）研究单位：图卢兹计算机科学研究所（IRIT）论文主任：M. 文森特·查维拉特M.阿克塞尔·卡里尔报告员：M. GWendal Simon，大西洋IMTSIDONIE CHRISTOPHE女士，国家地理研究所评审团成员：M. MAARTEN WIJNANTS，哈塞尔大学，校长M. AXEL CARLIER，图卢兹INP，成员M. GILLES GESQUIERE，里昂第二大学，成员Géraldine Morin女士，图卢兹INP，成员M. VINCENT CHARVILLAT，图卢兹INP，成员M. Wei Tsang Ooi，新加坡国立大学，研究员基于HTTP的动态自适应3D流媒体2019年11月29日星期五，图卢兹INP授予图卢兹大学博士学位，由ThomasForgione发表并答辩Gilles Gesquière，SidonieChristophe总裁，评论家Gwendal Simon，评论家Maarten WIJNANTS，评论家Wei Tsang OOI，评论家Vincent Charvillat，论文导师AxelCARLIER，论文联合导师GéraldineMORIN，论文联合导师博士学校和领域：EDMITT：图卢兹数学、信息学和电信博士学校领域：计算机科学与电信研究单位：IRIT（5505）论文导师：Vincent Charvillat、Axel Carlier和Geraldine Morin标题：海量3D模型的自适应传输总结：随着3D模型编辑和3D重建技术的进步此外，在过去几年中，对Web上的3D可视化的因此，一个主要的挑战是远程传输大规模模型，并使用户能够查看和导航这些虚拟环境。本文研究了3D内容的传输和首先，我们开发了一个带有书签的3D场景导航界面--添加到场景中的小虚拟对象，用户可以点击这些对象我们描述了一项用户研究，其中参与者使用或不使用书签导航3D场景。我们展示了用户使用书签可以更快地导航（并完成给定任务然而，这种更快的导航在传输性能方面有一个缺点：在场景中移动更快的用户需要更高的传输容量才能从相同的服务质量中受益。这一缺点可以通过预先知道书签的位置来减轻其次，我们提出了一种在视频中广泛使用的传输标准DASH（HTTP上的动态自适应流）的适应，以传输3D纹理网格。为此，我们将场景划分为k-d树，其中每个单元对应于一个DASH自适应集。每个单元格还被划分为具有固定数量的面的DASH段，这些面将具有可比表面的面分组。每个纹理都以其自己的自适应设置为不同的分辨率。所有元数据（k-d树单元格在DASH用于索引内容的XML文件中引用因此，我们的框架继承了DASH提供的可然后，我们提出了能够根据客户的观点评估每个数据段的有用性的算法最后，我们研究了在移动设备上实现3D传输和。我们正在将书签集成到我们的3D版本的DASH中，并提供了一个增强的DASH客户端版本，该版本将受益于书签。一项用户研究表明，通过我们的书签友好加载策略，书签更有可能被点击，从而提高了服务质量和用户基于HTTP的动态自适应3D流媒体摘要：随着3D模型编辑和3D重建技术的进步，越来越多的3D模型变得可用，并且它们的质量正在提高。此外，在过去的几年里，网络上对3D可视化的支持已经成为标准。一个主要的挑战是提供这些远程重型模型，并允许用户在这些虚拟环境中可视化和导航本文以3D内容流和交互为研究对象，提出了三大贡献。首先，我们开发了一个3D场景导航界面，在场景中添加了书签--我们描述了一个用户研究，参与者在有和没有书签的情况下浏览3D场景。我们显示用户在使用书签时导航（并完成给定任务）更快。然而，这种更快的导航对流媒体性能有反馈：在场景中移动更快的用户需要更高的流媒体能力，以便享受相同质量的服务。这种反馈可以使用书签位置是预先已知的事实来减轻：通过根据3D模型的面在书签处的可见性来排序3D模型的面，我们优化了流，从而减少了用户点击书签时的延迟。其次，我们提出了一个基于HTTP的动态自适应流（DASH），视频流标准，到3D纹理网格流的适应。因此，我们将场景划分为k-d树，其中每个单元对应于DASH自适应集。每个单元被进一步划分为固定数量的面的DASH段，将相似区域的面分组在一起。每个纹理都在其自己的适应集中进行索引，并且对于纹理的不同分辨率，可以使用多个DASH表示所有元数据（k-d树的单元格、纹理的分辨率等）在媒体呈现描述（MPD）中编码：DASH用于索引内容的XML文件因此，我们的框架继承了DASH的可扩展性。然后，我们为客户提供了根据其观点评估每个数据块的可用性的能力，以及决定下载哪些数据块的流策略。最后，我们研究了移动设备上3D流媒体和导航的设置。我们正在将书签集成到我们的3D版本的DASH中，并提供我们的DASH客户端的改进版本，该版本利用了书签的优势。一项用户研究表明，通过我们的专用书签流媒体政策，书签更有可能被点击，提高了用户的服务质量和体验质量。确认文件首先，我要感谢我的顾问文森特。阿克塞尔·哈维拉特 C.阿利尔，和杰拉尔丁·莫林鼓励我攻读博士学位（这是一个很大的工作），支持，和乐趣（和啤酒1）。我花了一点时间来决定开始攻读博士学位，所以我也要感谢他们的耐心。我还要感谢魏曾欧爱的想法、讨论和在截止日期前的润色。然后，我想感谢SidonieCCHRISTOPHE和GwendalSIMON对这份手稿的审查：我感谢反馈和建设性的评论。我还要感谢所有陪审团成员在辩护期间的关注和我想感谢实验室里所有的孩子，以及其他对情绪有贡献的人（还有啤酒2）：巴斯蒂安、文森特、朱利安、索尼娅、马蒂厄、让、达米安、理查德、蒂博、克莱门特、亚瑟、蒂埃里、另一个马蒂厄、另一个朱利安、保罗、马克西姆、昆廷、阿德里安和莎乐美。我也要感谢Praveen：和他一起工作是一种乐趣。我也想感谢那些大人物（我在防守中忘记了感谢他们），西尔维，让-丹尼斯，西蒙娜，伊万，皮埃尔。他们，就像我的顾问一样，不仅在我的博士学位期间帮助过我，而且他们也是我回到工程学校的老师，这是我享受上学和成为博士生的一个很大的原因。我还要感谢Sylvie和Muriel博士的行政工作。有时会很痛苦。我还要感谢我在工程学院时的同事，因为他们为我在博士期间使用的技能做出了贡献：亚历山大、基利安、大卫、马克森斯、马丁、马克西姆、科兰廷、马里昂、阿曼丁、艾米莉。最后，我想感谢我的兄弟姐妹和父母的支持和指导。他们对我的教育起了决定性的作用，如果不是为了他们，我今天就不会写这篇文章。负责任地喝一杯我是说，认真地，负责任地喝酒。viii内容简介我1开放式问题。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...iii.2.论文大纲。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...四1个前词11.1什么是3D模型？. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...21.1.1 3D数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...21.1.2渲染3D模型。 . . . . . . . . . . . . . . . . . . . . . . . . .31.2视频与3D的异同。 . . . . . . . . . . . . . ...41.2.1数据块。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...51.2.2数据持久性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...51.2.3多重表示。 . . . . . . . . . . . . . . . . . . . . . . . ...61.2.4介质类型。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...61.2.5相互作用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...71.2.6界面、交互和流之间的关系。 . . . . ...81.3实施细节。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...91.3.1 JavaScript。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...91.3.2生锈。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...102相关工作152.1视频。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...16DASH：视频流的标准。 . . . . . . . . . . . . . . ...162.1.2 DASH-SRD。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...182.2 3D流媒体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 202.1压缩和结构化 . . . . . . . . . . . . . . . . . . . . . ... 202.2.2视点依赖性。 . . . . . . . . . . . . . . . . . . . . . . . . ... 222.2.3纹理流 . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 23九2.2.4几何图形和纹理。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 242.2.5游戏引擎中的流媒体。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 242.2.6 NVE流媒体框架。 . . . . . . . . . . . . . . . . . . . . . ... 243D书签和导航辅助工具 . . . . . . . . . . . . . . . . . . . . . . ... 26x内容3书签、导航和流媒体293.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...313.2 3D书签对导航的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...323.2.1我们的NVE... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ...323.2.2 3D书签. . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...333.2.3用户研究。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......333.2.4实验结果。 . . . . . . . . . . . . . . . . . . . . . . . . . ...353.3 3D书签对流媒体的影响 . . . . . . . . . . . . . . . . . . . ...373.1 3D模型流 . . . . . . . . . . . . . . . . . . . . . . . . . . ...373.3.2 3D书签. . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...393.3.3比较流媒体策略。 . . . . . . . . . . . . . . . . . . . . ...433.4结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...464DASH-3D474.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...494.2内容准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...494.2.1MPD文件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 494.2.2适应集。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...504.2.3表示。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...514.2.4分段. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...514.3客户端. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ... ... ... ...524.3.1段公用事业。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 534.3.2DASH适应逻辑。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...564.3.3JavaScript客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...574.3.4我们的3D模型课。 . . . . . . . . . . . . . . . . . . . . . . . . . . . 584.3.5生锈的客户端。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...604.4评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...604.4.1实验设置 . . . . . . . . . . . . . . . . . . . . . . . . . . ...60九4.2实验结果。 . . . . . . . . . . . . . . . . . . . . . . . . . ...624.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...645移动设备715.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...735.2桌面和移动交互。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...735.2.1桌面交互。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...735.2.2移动互动 . . . . . . . . . . . . . . . . . . . . . . . . . . . .73在DASH NVE框架中添加书签。 . . . . . . . . . . . . . . ...745.3.1书签交互和视觉方面 . . . . . . . . . . . . . . . ...755.3.2书签视图中的实用程序段。 . . . . . . . . . . . . . ...765.3.3 MPD修改 . . . . . . . . . . . . . . . . . . . . . . . . . . . ...78x内容5.3.4装载机修改785.4评价805.4.1初步用户研究805.4.2移动导航用户研究805.4.3结果835.5结论85结论891捐款892未来工作902.1语义信息902.2几何图形的压缩/多分辨率912.3性能优化91参考书目97法文摘要1031在DASH104中格式化NVE1.1MPD1041.2改编集1041.3表示1051.4段1052客户端DASH-3D1062.1段的用途1062.2DASH 109的自适应逻辑3评估1103.1实验设施1113.2实验结果1124结论114摘要117丰富的摘要117第117章章摘要118摘要118iii.简介在过去的几年里，3D采集和建模技术取得了巨大的进步。最近的软件使用来自相机的2D图像来重建3D数据，例如Meshroom1是一个免费和开源的软件，在fosshub2上有近200，000个下载，它使用运动结构和多视图立体来推断3D模型。越来越多的设备专门用于获取3D数据：例如，LIDAR（光探测和测距）可以通过测量光的飞行时间来计算3D距离。最近对自动驾驶汽车的研究兴趣使更多的公司开发了廉价的LIDAR，这增加了新的3D内容创作的潜力。由于这些技术，越来越多的3D数据变得可用。这些模型具有多种用途的潜力，例如，它们可以被打印，这可以降低一些硬件的生产成本或允许创建新的对象，但大多数用途是基于可视化的。例如，它们可以用于增强现实，为用户提供反馈，这些反馈可能有助于帮助员工完成复杂的任务，但也可以用于时尚（例如，Fittingbox3是一家开发虚拟试用眼镜软件的公司，如图1所示）。图1：我戴着放大镜的1https://alicevision.org/#meshroom2https://www.fosshub.com/Meshroom.html3https://www.fittingbox.com简介ii3D采集和可视化也可用于保护文化遗产，例如Google Heritage或3DHop等软件，或允许用户在城市中导航（例如Google Earth或Google Maps的3D）。Sketchfab4（见图2）是一个允许用户共享其3D模型并查看其他用户的模型的网站示例。图2：Sketchfab界面在大多数3D可视化系统中，3D数据存储在服务器上，并且在用户可以可视化它们之前需要被传输到终端。我们所描述的采集设置的改进导致了3D模型质量的提高，从而更好地增加了字节大小。 简单下载3D内容并等待完全下载以让用户可视化它不再是一个令人满意的解决方案，因此需要自适应流。在本文中，我们提出了一个完整的框架，用于导航和流式传输大型3D场景，如地区或整个城市。4https://sketchfab.comiii1开放式问题1 开放式问题我们的工作目标是设计一个允许用户访问远程3D内容的系统。3D流媒体客户端有许多任务要完成：• 决定下一个要下载的内容的哪一部分，• 下载下一部分，• 解析下载的内容，• 将解析的结果添加到场景中，• 渲染场景，• 管理与用户的交互。这就提出了许多需要考虑的问题，并将在本文中进行研究。内容准备。在流媒体内容之前，需要做好准备。将内容分段到块对于流尤其重要，因为它只允许将数据的一部分传输到客户端。下载的块可以在下载更多块的同时呈现。内容准备还包括压缩。本文要回答的问题之一是：准备3D内容的最佳方法是什么，以便流媒体客户端可以逐步下载和渲染3D模型？流媒体策略。一旦我们的内容被准备好并拆分成块，客户端就需要确定应该首先下载哪些块。在用户视野中包含数据的块比不在内部的块更相关;靠近摄像机的块比远离摄像机的块更相关。它还应包括其他参数，如块大小、带宽和用户行为为了提供有效的流策略，我们需要知道如何估计块实用程序，以及如何根据用户交互确定需要下载哪些块。评估。在这样的系统中，两个常用的评估标准是服务质量和体验质量服务质量是一个以网络为中心的指标，它考虑了吞吐量等价值，并衡量了内容向客户端的服务效果。体验质量是一个以用户为中心的指标：它与用户感知有关，只能通过询问用户对系统的感受来衡量。为了能够知道哪些流媒体策略是最好的，需要知道如何比较流媒体策略并评估其参数对流媒体系统的服务质量和最终用户体验质量的影响？简介iv实施。我们工作的目标是建立一个客户端-服务器体系结构，以解决上述问题：内容准备、块实用程序、流策略。 在这方面，我们必须弄清楚我们如何构建这样一个体系结构，即在服务器上保持低计算负载，以便它可以扩展，在客户端上保持低计算负载，以便它有足够的资源来执行上面描述的任务？2 论文大纲首先，在第1章中，我们提供了一些必要的初步信息，以了解我们在本文中处理的对象类型。然后，我们继续比较3D和视频内容：视频和3D共享许多功能，并分析视频设置为建立一个3D流媒体系统提供灵感。在第2章中，我们回顾了多媒体交互和流媒体的最新技术水平。本章从分析视频流标准开始。然后，它回顾了不同的3D流媒体方法。本章的最后一节将重点介绍3D交互。然后，在第3章中，我们提出了我们的第一个贡献：深入分析UI对3D场景中导航和流媒体的影响。我们首先开发了一个基本的3D导航界面，然后我们引入了3D对象，称为书签，帮助用户在场景中导航。然后，我们对51个人进行了一项用户研究，这些人发现书签使用户更容易导航：他们提高了在查找对象等任务中的性能。我们分析了书签的存在如何影响流媒体：我们提出并评估了基于与书签相关的预先计算的流媒体政策，这些政策可衡量地提高了体验的质量在第4章中，我们介绍了本论文最重要的贡献：DASH-3D。DASH-3D是DASH（HTTP上的动态自适应流）的改编：视频流标准，到3D流。我们首先描述了我们如何将DASH的概念应用于3D内容，包括内容的分割。然后，我们根据用户的位置定义每个块的速率的实用程序度量。然后，我们根据我们的实用程序提供客户端和各种流媒体策略，这些策略可以从DASH格式中受益。最后，我们评估客户的不同参数在第5章中，我们提出了我们的最后一个贡献：将我们在第3章中开发的交互思想集成到DASH-3D中。我们首先开发了一个界面，允许桌面和移动设备在流媒体3D场景中导航，并引入了一种新的书签风格。然后，我们解释了为什么简单地应用第3章中提出的想法是不够的，并提出了更有效的预计算，以增强流媒体。最后，我们提出了一项用户研究，为我们提供了评估DASH-3D扩展对服务质量和体验质量的影响的线索。v内容第一章前词1.1什么是3D模型？. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...21.1.1 3D数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...21.1.2渲染3D模型。 . . . . . . . . . . . . . . . . . . . . . . . . .31.2视频和3D之间的异同。 . . . . . . . . . . . . . ...41.2.1数据块。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...51.2.2数据持久性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...51.2.3多重表示。 . . . . . . . . . . . . . . . . . . . . . . . ...61.2.4介质类型。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...61.2.5相互作用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...71.2.6界面、交互和流之间的关系。 . . . . ...81.3实施细节。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...91.3.1 JavaScript。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...91.3.2生锈。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...10第一章前词23D流媒体系统是逐步收集3D数据的系统。 关于3D数据实际上是什么，有远见的章节故意留下了模糊的印象。本章详细介绍了我们正在考虑的3D数据及其渲染方式。我们还通过将3D设置与视频设置进行比较，深入了解了交互和流媒体。1.1 什么是3D模型？1.1.1 3D数据我们感兴趣的3D模型是一组纹理网格，它们可能被排列成场景图。这些模型通常包含以下内容：• 顶点，即3D点，• 面，由顶点定义的多边形（大多数情况下，它们是三元组），• 纹理，可用于绘制面部以增加视觉丰富性的图像，• 纹理坐标，添加到面的信息，描述应如何在其上绘制纹理• 这些是可以提供有关面部光行为信息的3D矢量。Wavefront OBJ是一种以文本格式描述所有这些元素的格式以OBJ格式编码的3D模型通常由两个文件组成：材料文件（.mtl）和对象文件（.obj）。材质文件声明对象文件将引用的所有材质。材质由名称和其他光度属性（如环境色、漫反射色和镜面色）以及纹理映射组成，纹理映射是绘制在表面上的图像。每个面对应于一种材质。在Snippet1.2中可以看到一个简单的材质文件。对象文件声明对象的三维内容。它从坐标中声明垂直、纹理坐标和范式（例如，v 1.02.0 3.0表示顶点，vs 1.0 2.0表示纹理坐标，vn 1.0 2.0 3.0表示范式）。这些项目从1开始编号。面是使用这些元素的索引来宣告。面是具有任意数量顶点的多边形，可以用多种方式声明：• f1 2 3定义连接第一、第二和第三所述顶点的三角形面;
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
