启用下一代交互式视频流泽维尔·科尔比隆引用此版本：泽维尔·科比隆启用下一代交互式视频流。图形[cs.GR]。国立高等矿业电信学院，2018年。英语NNT：2018IMTA0103。电话：02011760HAL Id：tel-02011760https://theses.hal.science/tel-020117602019年2月11日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire大西洋IMT布列塔尼-卢瓦尔地区矿业电信学校《医生的烦恼》国立高等矿业电信学校Bretagne Pays de la Loire-IMTCOMUEU NIVERSITEB RETAGNEL OIREEcole Doctorale N°601数学与科学与技术de专业：信息化Par«Xavier Corbillon»«启用下一代交互式视频流»«Rendre Possible la Transmission viaThèse présentée et soutenue àRENNES，le 30 April 2018研究单位：Institut de Recherche en Informatique et Systèmes Aléatoires（IRISA）论文编号：2018IMTA0103报告员准备：Vincent CHARVILLATHANNUKSELA陪审团组成：主席：Patrick LE CALLETExaminateurs HANNUKSELALauraTONI-讲师（助理教授），伦敦大学学院，英国导演。 作者：GwendalSIMON-教授，IMT法国，IRISA我Xavier CoRBIlloN：启用下一代交互式视频流，©February，2019sUpERvIsoR：November2009locaTIoN：Rennes，FranceD E C L A R AT I ON我在此声明，除非特别提到他人的工作，本文的内容是原创的，并没有提交的全部或部分考虑在这个或任何其他大学的任何其他学位或资格这篇论文是我自己的工作，不包含任何与他人合作完成的工作成果，除非在文本和致谢中指定Xavier CoRBIllo于 2019年2月8日IIIAC K N O W L E D G E M EN T首先，我要衷心感谢我的导师，教授。Gwendal SIM oN.我感谢他的信任，他的时间和他的奉献。他的宝贵意见，想法和反馈大大有助于改善我的论文工作，更普遍的是我的研究活动。我会永远记得我们对工作或生活的热情讨论这是一个伟大的经验和一个伟大的荣誉与他一起工作。除了我的导师，我还要感谢我的论文委员会的其他成员：Vincent ChaRvillaT博士米斯卡·MHaNN UksEla教授Patrick LE CallET及Dr.感谢Laura ToN I，感谢他们敏锐的评论和问题，以及他们的鼓励。我非常感谢Pascal Frossard教授邀请我在洛桑联邦理工学院（EPFL）的信号处理实验室（LTS4）度过两个月。这是一次美妙而有益的经历。非常感谢博士。Francesca DE SIM oN E，她的指导和反馈很有价值。你的工作中的快乐和承诺是非常激励人的。我很感激我和你在一起的两个月里所学到的一切我真诚地感谢Alisa DEvlic博士、Hristina HRisTova博士、Mariem BEN YahIa博士和JacobChakaREskI博士的伟大合作。很高兴能和你们这样的优秀人才一起工作。然后，我要感谢我的办公室同事Qipeng SoN g、François LEM ERcIER、Saad El JaoUhaRI和Hristina HRistTova，感谢他们对“一切”和“一切”的美好讨论你总是在那里产生富有成效的批评和启发性的反馈。Tanguy KERdonN cUff、Baptiste GaUlTIER、Guillaume HaBaUlT和BenjaminCaMA为竞争性的我们非常感谢您关于教学和研究人员的生活，我感谢Christophe CoUTURIER博士。Alberto BlaN c，Dr. Jean-Pierre LE NaRzUl，Prof.Xavier LagRaN gE和Dr.Geraldine TExIER感谢他们的宝贵建议。最后但并非最不重要的是，我要感谢我的朋友们的支持和我们一起度过的美好时光。最重要的是，我感谢我的家人，尽管我们之间有距离，但他们总是在场并给予支持。生活并没有让你们所有人都活过这一阶段的结束，但你们将永远是我的一部分。vL I S T O F U B L I C AT I O N SINTERNATIoNAlcoNfERENcEs2018• Hristina Hristova，Xavier Corbillon，Gwendal Simon，Viswanathan Swaminathan，and AlisaDevlic.“HeterogeneousIEEEInternationalWorkshoponMultimediaSignalProcessing（MMSP）2018• Xavier Corbillon，Francesca De Simone，Gwendal Simon，and Pascal Frossard. “DynamicAdaptive 第九届ACM多媒体系统会议论文集（Proceedings of the2018年，页237-249。DOI：10.1145/3204949.3204968• Jacob Chakareski，Ridvan Aksu，Xavier Corbillon，and Gwendal Simon.“视埠驱动率失真优化360度视频串流”。IEEE International Conference on Communications（ICC）2018年，页1-7号。doI：10.1109/ICC.2018.84228592017• Xavier Corbillon，Alisa Devlic，Gwendal Simon，and Jacob Chakareski.”《明史》（卷160 ） ： “ 视 之 。 在 ： ACM 多 媒 体 会 议 ， MM 。 2017 年 ， 页 943-951. DOI ：10.1145/3123266.3123372• 泽维尔·科尔比隆，弗朗西丝卡·德·西蒙娜，格温达尔·西蒙.在：第八届ACM多媒体系统会议（MMSys '17）的会议记录2017年，页199-204. DOI：10.1145/3083187.3083215• Xavier Corbillon，Alisa Devlic，Gwendal Simon，and Jacob Chakareski.”《明史》（卷360）：“视之。IEEE International Conference on Communications（ICC）2017年，页1-7.DOI：10.1109/ICC.2017.79966112016• Xavier Corbillon，Florian Boyrivent，Gregoire Asselin De Williencourt，Gwendal Simon，Géraldine Texier，and Jacob Chakareski. 在：IEEE多媒体博览会研讨会国际会议，ICME研讨会。2016年，页1-6. DOI：10.1109/ICMEW.2016.7574700• Xavier Corbillon，Ramon Aparicio-Pardo，Nicolas Kuhn，Géraldine Texier，and GwendalSimon. “Cross-layer 在：第七届多媒体系统国际会议论文集日。2016，7：1-7：12。DOI：10.1145/2910017.2910594VII我是你的朋友2018• Mariem Ben Yahia 、 Yannick Le Louedec 、 Gwendal Simon 、 Loutfi Nuaymi 和 XavierCorbillon 。 “HTTP IEEE Transactions on Multimedia Computing Communications andApplications（2018）提交VIIIL I S T O F AWA R DS• IEEE MMSP 2018最佳论文奖2018年8月最佳论文奖：• ACM MMSys 2018最佳论文奖2018年6月最佳论文奖获得论文• ICC 2017最佳论文奖CSSMA研讨会2017年5月最佳论文奖获得论文• 最佳海报奖2017年2月在“Futur Ruture”年会上由学术成员和工业合作伙伴颁发IXA B S T R ACT×互联网上的视频流占用互联网带宽容量的较大比例，预测到2020年，超过80%的互联网流量将是视频。消费者逐渐放弃传统的宽带电视，通过互联网观看视频流，要求高质量的内容。消费者现在开始要求沉浸在他们正在观看的内容随着头戴式显示器（HMD）和全向摄像机价格的下降，全向视频的普及度正在增加。全向视频，也被称为球形视频或360°视频，是在空间的每个方向上从给定视点记录的具有像素的视频。用HMD观看这样的全向内容的用户可以通过移动她的头部来选择要显示的视频的部分显示给用户的视频部分被表示为视口，并代表2018年典型的HMD，约占为了感受内容内部的高度沉浸感，用户需要看到具有非常高分辨率和高帧速率（通常至少4096 2048像素（4K）空间分辨率和90 Hz帧速率）的视口为了获得这样的视口质量，整个视频流将需要超过100 Mbits-1的带宽，这远远高于全球互联网接入连接速度的中位数应用OTT（Over-The-Top）公司（如YouTube，Netflix和Facebook）使用的传统自适应流媒体技术将导致与可用下载带宽相匹配的极低质量视口。在这篇论文中，我提出了我的贡献，使高度身临其境的全向视频流在互联网上。这些贡献可以分为六个贡献和三个主要主题。首先，我们提出了新的流架构。我们的目标是尽可能接近现有的HTTP自适应流（HAS）架构，以降低成本。我们首先提出了一个视口自适应流传输架构，其中全向视频编码的质量强调区域（QER），以流传输视频与高质量的方向上的用户被预测看在几秒钟内，同时保持传统的下载吞吐量自适应HAS。然后，我们提出了一个扩展，这个流架构流的下一代全向视频，表示为多视点（MVP）全向视频，用户不仅可以第二，进行理论研究。我们研究了球形像素密度和用户观察到的视口失真之间的关系我们提出了一个扩展Facebook的FF集立方体映射投影。我们提出了一个理论模型来计算最佳的方式来分配的比特率内的全向视频，基于观看统计，以满足大多数客户。最后，我们提出了实用的工 具 来 操 作 和 研 究 全 向 视 频 。 首 先 ， 我 们 开 发 了 一 个 模 块 化 的 开 源 C++软 件 ， 名 为360Transformations，用于操作投影的全向视频，提取视口并计算客观质量指标。最后，我们记录了一个开放的头部运动数据集的用户观看免费的任务的方式全向视频。这项工作产生了9份出版物，包括8次国际会议和1份期刊论文。出于一致性的目的，在这九个出版物中，有四个没有在本文中讨论，因为它们与用于低延迟视频流的视频帧过滤相关或与HTTP/ 2.0相关。XiR S U M今年，互联网上的视频流将成为互联网总流量的一部分，预计到2020年，80%以上的互联网流量将出现在视频中Les consommaiddésertent peu à peu la télévision traditionnelle pour obliderdes vidéos sur Internet，en demandant toujours des contenus de plus hautes qualités.这些汤开始于他们沉浸在其中的感觉在获得虚拟现实录像机（CRV）和全向摄像机大奖的基础上，全向摄像机的普及程度进一步提高。全方位视频，即360°视频或视频，是在所有空间方向上，从一个 视 点 开 始 ， 通 过 注 册 的 像 素 进 行 视 频 Un utilisateur qui acquired un tel contenuomnidirectionnel avec un CRV peut sélectionner la partie de la vidéo à affi cher en bought la tête. Lapartie de la vidéo affi chée àPour se sentir totalement immergé à 为 了 获 得 更 高 的 质 量 ，L’utilisation des technologies traditionnelles de streaming adaptatif, utilisées par les sociétés dites在这方面，我提出了我的贡献，使全方位视频流在互联网上身临其境成为可能。在三个主题中，可以列出六个主要的贡献。所有人，我们都在提议新的流媒体架构。Notre objectif estde rester aussi proche que possible de我们提出了一种全方位视频流的体系结构，该体系结构采用一个质量加等级区域（RQE）编码，以指导用户在HAS分类的方向上使用高质量的视频Nous proposons ensuite une extension de cette architecture de streaming pour diff user une nouvellegénération de vidéo omnidirectionnelle ， nommée vidéo omnidirectionnelle Multi-Points de Vue（MPV），oatles utilisaapeuvent non seulement eff ectuer des rotations à第二我们要把理论研究现实化。Nous avons étudié la relationship entre la densité des pixels sur la pixels sur la pixels et ladistorsion du viewport observée par我们提出了一个扩展，即Facebook的立方体地图的投影。我们提出了一种理论模型，用于计算全方位视频内的最佳分配方式，并利用可视化统计数据，以满足大多数使用要求。我们建议使用实用工具来操作和研究全方位视频。在此，我们将使用C++的一个逻辑模块开源，名为360 Transformations，用于处理项目中的视频然后，我们可以登记全方位视频设备的使用轨迹这份工作是为新的科学出版物、国际会议和评论文章做准备。在这些新的出版物中，这些出版物不是通过一致性的方法在当前的出版物中流产的，而是通过过滤视频流来实现视频流的延迟。XIIITA B L E O F C O N T E NT图表19表XXIII缩略语列表我1IN TRodUcTIoNIN TRodUcTIoN31.1一般背景。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31.2动机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.3曼尼托巴的贡献和组织。 . . . . . . . . . . . . . . . . . .61.3.1介绍捐款。 . . . . . . . . . . . . . . . . . . . . . . .61.3.2流架构。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .71.3.3理论研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71.3.4实用工具和数据集。 . . . . . . . . . . . . . . . . . . . . . . . . . .82RElaTEdwoRk92.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92.2定义、符号和约定 . . . . . . . . . . . . . . . . . . . . . . . .92.3全方位视频。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102.3.1传统的2D矩形视频。 . . . . . . . . . . . . . . . . . . . . . .102.3.2全方位视频. . . . . . . . . . . . . . . . . . . . . . . . . . . .112.3.3球面到平面映射投影。 . . . . . . . . . . . . . . . . . . . . . . .122.3.4地面实况全向视频 . . . . . . . . . . . . . . . . . . . . .152.4视频编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .152.4.1原则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .152.4.2视频质量评估 . . . . . . . . . . . . . . . . . . . . . . . . . . .172.5传统的HTTP自适应流架构。 . . . . . . . . . . . . . . . . .182.6 Viewport-自适应流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192.6.1异构空间质量编码. . . . . . . . . . . . . . . . . . .202.7视口方向预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . .232.8标准和工业解决方案 . . . . . . . . . . . . . . . . . . . . . . . . . . .242.8.1标准。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .242.8.2工业。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27II架构3从一个RchTEeTeRe e中删除一个R chT Ee T eT eRE： DIFFERENTP R OJ ECTIONS的所有版本313.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .313.2背景及相关工作。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .323.2.1 360度视频的几何布局。 . . . . . . . . . . . . . . . . . .323.2.2个性化的仅视口流 . . . . . . . . . . . . . . . . . . . .333.2.3自适应视频流的平铺。 . . . . . . . . . . . . . . . . . . . . .333.2.4基于QER的流媒体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .343.3系统架构。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .343.4系统设置。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .363.4.1几何布局. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .373.4.2段长度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .383.4.3QER数量。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .393.5结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .404MULTI-vIEwpoINToMNIdIREcTIoNAvIdEosTREamNg41XV4.1一、导言. 414.2相关工作434.3多视点全向框架和符号444.3.1一个观点444.3.2多视角454.3.3多视点全向编码选项464.4客户端474.4.1切换决策和定时474.4.2下载决策和调度474.4.3评估经验的质量484.5算法494.5.1实用算法494.5.2完美预测的最佳决策494.5.3快速切换的最优主动策略514.5.4最佳反应策略524.6评价524.6.1试验台534.6.2多视点全向视频中的用户行为544.6.3结果：完美预测的最佳结果554.6.4结果：主动和被动策略564.7结论. 58III5我的意思是，我的意思是，sphERIcalsaMplINg：aNofsETpRojETIoNsTUdY635.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .635.2定义。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .645.3球形像素密度。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .645.3.1理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .645.3.2等矩形投影示例。 . . . . . . . . . . . . . . . . . . . . .655.4 Off set投影 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .655.4.1理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .665.4.2实验与分析。 . . . . . . . . . . . . . . . . . . . . . . . . . . .675.5评价。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .705.6结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .716opTIMAlQUalITYEMhasIzEdREgIoRTadapTIvEsTREaMINg756.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .756.2相关工作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .756.2.1感兴趣的区域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .766.3异构空间质量视频。 . . . . . . . . . . . . . . . . . . . . . . . .766.3.1通用模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .766.3.2图示：偏移设置投影平铺 . . . . . . . . . . . . . . . . . . . .776.4视口-自适应流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .786.4.1模型制定。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .796.5实用优化模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .796.5.1实用假设 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .796.5.2比特率计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . .806.6评估-案例研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .816.6.1设置。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .816.6.2视口自适应流的理论增益。 . . . . . . . . . . . . .836.6.3视频内容与传输设置。 . . . . . . . . . . . . . . . . . . . . .836.6.4QER维度与整体比特率 . . . . . . . . . . . . . . . . . . . . .856.7结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85XVIIV7PRACTICALEVATION操作，操作 softTwaRE：360 TRa N sfoR MA Tio N s917.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .917.2现有软件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .917.3软件概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92软件架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . .937.3.2软件行为 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .947.4配置示例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .947.5科学兴趣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .977.6安装和许可证。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .987.7结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .988AdaTasETofUsERs998.1导言。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .998.2相关工作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .998.3实验设置。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1008.3.1头部定位. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1008.3.2软件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1018.3.3试验材料 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1028.3.4查看会话 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1038.3.5用户样本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1038.4数据集结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1048.4.1结果文件夹结构。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .1048.4.2头部位置日志结构。 . . . . . . . . . . . . . . . . . . . . . . . . .1048.5数据集的典型用法。 . . . . . . . . . . . . . . . . . . . . . . . . . . . .1058.5.1预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1058.5.2头部运动 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1058.5.3观看概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1078.6结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108VcoNclUsIONdfUTUREwoRk9 CoNclUsIoNfUTUREwoRk1119.1论文结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1119.2前景和未来工作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .112引用125附录aRE'sUMEE'NfRANcaIs：RENdREpossIBlElaTRANsMIssIoNvIalpRochaINEsgE′ NE′ RaTIoN sdEvIdE′o sINTERacTIvE s129a. 1一般情况 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .129a.2动机。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .131a.3捐款和组织 . . . . . . . . . . . . . . . . . . . . . .132a.3.1流媒体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . .132a.3.2理论练习曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133a.3.3 Outils Pratiques。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133a.4结果。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .134BREpRodUcIBIlTYofREsUlTsoNMvpoMIdREcTIoNAvIdEosTREaMINg137B.1开放式软件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137B.1.1说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137B.1.2 Docker安装。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137B.1.3许可证 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .138B.1.4使用示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .138CopTIMAlQUalTYEMphazEdREgIonRvIEwpTIvEsTREmaNg：BIT-RaTEalocaTIoN139XVIIc.1最佳比特率算法中的限制139XVIIIL I S T O F I G U R E S图1.1人均每日媒体消费量随时间的变化（资料来源Zenith通过Statista [159]）和全球互联网接入连接速度（来源Akamai via Statista [4]）. . . . . . . . .
我的内容管理
展开
