软件影响9（2021）100097原始软件出版物一个基于移动设备的开源系统，用于同步多视图捕获和动态对象重建M. Bortolon，F.波耶西视觉技术，布鲁诺·凯斯勒基金会，特伦托，意大利A R T I C L E I N F O保留字：自由视点视频3D重建同步增强现实代码元数据A B标准我们提出了第一个开源的基于移动的系统，以捕获近同步的帧流从多个手持增强现实（AR）手机和软件来重建捕获的动态对象。我们的系统包括一个基于AR的移动应用程序，一个数据管理器服务器和软件后处理的帧流。移动应用可以在估计移动姿态的同时捕获帧流。数据管理器服务器处理通信和同步，并收集由移动设备流式传输的姿势和帧。后处理软件使用捕获的数据来产生动态对象的3D骨架或体积重建当前代码版本v0.8用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-58可复制胶囊法律代码许可证MIT使用GIT的代码版本控制系统使用C++、C#、Python的软件代码语言、工具和服务编译要求、操作环境依赖性Unity3D、Docker、Android如果可用，链接到开发人员文档/手册https://github.com/fabiopoiesi/4dm问题支持电子邮件mbortolon@fbk.eu，poiesi@fbk.eu1. 介绍沉浸式计算是人类互动的下一步，沉浸式数字内容的潜力很大，影响着娱乐、广告、游戏、移动网真和旅游业[1但是，为了使沉浸式计算成为主流，需要能够轻松创建大量沉浸式内容的系统。虽然真实3D对象的数字再现几乎被认为是一个已解决的问题[9]，但对4D内容（如自由视点视频（FVV））进行同样的处理仍然是一个挑战[10，11]。FVV允许用户查看从任何期望的视点渲染的场景[12]，体验与远程参与者的沉浸式视频会议[13]，或者潜在地使任何地方的任何人都可以访问虚拟现实内容制作[14，15]。 FVV生产需要从不同的、校准的和同步的视点临时捕获动态对象[12，16，17]。对于受控设置，可以使用快门同步相机实现帧级同步[16]，但是，∗通讯作者。电子邮件地址：mbortolon@fbk.eu（M.Bortolon），poiesi@fbk.eu（F.Poiesi）。https://doi.org/10.1016/j.simpa.2021.100097这仍然是在不受控制的情况下移动设备的研究问题。虽然在静态相机设置中，可以使用棋盘或校准棒获得相对于全局坐标系的视点校准（即位置和方向确定），但如果我们想要使用手持移动设备，则这是不可行的[18]。对此的解决方案可以基于逐帧运动结构（SfM）[9]或同时定位和映射[19]。后者最近已经实现了令人满意的可靠性，实现了协作增强现实（CO-AR）环境，例如Google沉浸式内容创建的另一个主要挑战是吞吐量，因为FVV需要大量的数据传输。因此，采用5G和WiFi 6等新网络技术可以对FVV产生巨大影响在本文中，我们提出了第一个开源的基于移动的系统，以捕捉近同步的帧流从多个手持手机和一个软件来重建一个动态对象。全面描述和评估我们接收日期：2021年5月24日;接收日期：2021年6月9日;接受日期：2021年6月10日2665-9638/©2021作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsM. Bortolon和F.波耶西软件影响9（2021）1000972图1.一、 从属于4DM数据集的六个手持移动设备同步捕获的帧。我们使用这个数据集来重建每个帧中心的演员系统可以在我们以前的作品中找到[7，8]。方便 使 用 我们的重建算法，我们收集了一个户外数据集，即4DM（4DMESTA），它涉及一个演员执行体育动作，我们使用六个手持增强现实手机记录（图1 ） 。 ① 的 人 。 您 的 系 统 和 4DM 数 据 集 的 源 代 码 可 在https://github.com/fabiopoiesi/4dm上获得。2. 影响我们相信，我们的系统将在研究界和行业中产生巨大的影响。在研究中，我们的系统可以用于简化包含从多个视点捕获的动态自然场景的数据集的收集，而不需要昂贵的硬件设置[22]。在工业中，我们的系统可以促进数字创造力，实现游戏开发或基于沉浸式视频创建社交网络[23]。例如，我们在之前的工作[7，8]中提出的结果表明，我们的设置可以用作消费者手机的3D运动捕捉系统，并且具有最小的硬件设置。由于我们的系统依赖于Android ARCore [20]的SLAM系统，这是一个由Google维护的不断发展的增强真实性平台，我们相信移动定位准确性也将随着时间的推移而提高，从而提供更高质量的数据捕获。虽然存在数据驱动算法，可以用作使用来自单个视点的视频的3D运动捕获系统，例如VideoPose3D [24]，但我们的多视图相机系统可以受益于同步策略，以在捕获的数据中引入冗余。在[8]中，我们展示了当从某些视点捕获的视频流受到噪声、杂波或遮挡的影响。3. 系统概述我们的系统是由一个MLAPI服务器，一个数据管理器服务器，一个增强现实移动应用程序和一个软件后，处理捕获的帧。MLAPI服务器处理移动设备之间的同步，而数据管理器服务器处理由移动设备接收的数据的收集，即姿势和帧。移动应用程序是一个Android应用程序，我们使用ARCore库来估计和跟踪移动设备随时间的姿态[20]。 移动应用程序负责使用标准WiFi协调与其他移动设备的通信和同步802.11通过MLAPI服务器。移动主机必须初始化捕获会话，然后其他移动客户端可以通过连接到主机来加入此会话。主机周期性地向其他移动设备发送同步触发，以通知它们何时捕获帧。为了减少移动设备之间的延迟影响，主机构建并利用WiFi网络的模型。最后，后处理软件使用捕获的数据来产生动态对象的3D骨架或体积重建4. 组件移动应用移动应用程序主要使用Unity3D [25]在C#中开发为了提高效率，将捕获的帧编码并传输到数据管理器的模块用C++实现。我们将捕获的帧编码为JPEG格式，因为我们通过实验测量到，图二. 移动应用程序接口。（左上角）显示和加入活动捕获会话的主页。（右上角）设置页面，用于配置MLAPI服务器（中继）的IP地址、捕获的帧速率、捕获时间限制、ping补偿模式、捕获期间要保留的带宽和开始延迟。（底部）使用环境的部分映射启动会话的示例在大小和压缩计算成本之间提供良好的折衷我们依靠ARCore库[20]来估计手机的姿态。移动应用程序界面如图所示。二、在左上角，我们可以看到显示活动捕获会话的主页面。用户可以选择一个活动会话来加入捕获。在右上角，我们可以看到设置页面，用于配置MLAPI服务器的IP地址，所需的帧速率，数据捕获持续时间（时间限制），ping补偿模式，捕获期间保留的所需带宽和开始延迟。在底部，我们可以看到一个初始化会话的示例，其中包含环境的部分映射。MLAPI服务器MLAPI服务器被设计为授权服务器，允许其中一个参与者同时既是客户端又是主机，从而有权管理会话[26]。创建增强现实多用户体验的传统架构M. Bortolon和F.波耶西软件影响9（2021）1000973图三. 使用4DM数据集的（顶部）3D骨架和（底部）体积重建的示例。六个手持手机记录捕捉动态对象从不同的观点。这些重建是使用在每个移动设备上实时运行的ARCore的SLAM系统估计的相机姿态来获得的基于权威服务器[15，27]，通常利用中继服务器，如MLAPI [28，29]。MLAPI服务器通过UDP将会话控制消息从主机路由到客户端，以避免由流控制系统（例如，TCP）。数据管理器服务器数据管理器服务器是用C++开发的，由三个模块组成。第一模块管理移动设备之间的连接并解包接收到的数据。由第一模块提取的帧分布在可用的CPU核上以进行解码。一旦数据管理器服务器已经从所连接的移动设备检索并解码了所有帧和元数据，这些帧和元数据就被存储在服务器上的文件夹中。在同步触发器损坏的情况下，一些移动设备将无法捕获特定帧。如果数据管理器服务器检测到存在未发送帧的移动站，则它将来自其它移动站的相应帧标记为部分帧。重建软件重建软件使用捕获的帧和姿势来重建动态对象的3D骨架或网格。在前者中，我们使用OpenPose [30]来检测每个移动设备捕获的帧上的2D骨架。然后，我们使用移动姿势在3D中对骨架的关节进行三角测量。然后运行光束平差以改善联合三角测量[31]。在后者中，我们使用PointRend[32]来检测每帧上的2D轮廓。然后，我们体积重建动态对象作为Visual Hull [33]，然后是Marching Cubes以获得网格表示[34]。图3显示了我们的软件在4DM数据集上生成的3D骨架和体积重建的两个示例。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项研究得到了意大利CARITRO基金会的资助-Ricerca e Sviluppo计划2018引用[1]Z. Shi，H. Wang，W. Wei，X. Zheng，M.，中国科学院昆虫研究所所长。Zhao，J.Zhao，一种基于移动增强现实的新型个人位置推荐系统，在：IEEE物联网中的识别，信息和知识，北京，CN，2015年。[2]M.埃尔班比角太好了，M。Bennis，K. Doppler，Toward low-latency andultra-reliablevirtual reality，IEEE Netw. 32（2）（2018）78[3]K.雷马塔斯岛Kemelmacher-Shlizerman湾Curless，S. Seitz，桌面上的足球，在：IEEE计算机视觉和模式识别，盐湖城，美国，2018年。[4] X. Qiao，P. Ren，S.达斯特达湖Liu，H. Ma，J. Chen，Web AR：移动增强现实的美好未来-最先进的技术，挑战和见解，Proc。 IEEE107（4）（2019）651-666。[5] J. Park，P. Chou，J.- N. Hwang，用于增强现实的体积媒体流，在：IEEE全球通信会议，阿布扎比，阿联酋，2018年。[6]A. 穆 斯 塔 法 角 罗 素 ， A. Hilton ， U4D ： Unsupervised 4D dynamic sceneunderstanding，in：Proc. of IEEE International Conference on Computer Vision，Seoul，KR，2019。[7]M. Bortolon，P. Chippendale，S. Messelodi，F. Poiesi，使用边缘同步移动设备的多视图数据捕获，在：计算机视觉，成像和计算机图形学理论与应用程序，瓦莱塔，MT，2020年。[8]M.博尔托隆湖Bazzanella，F. Poiesi，使用手持增强现实移动设备进行动态对象重建的多视图数据捕获，J.实时图像处理。18（2021）345[9] J. Schonberger，J.- M. Frahm，结构从运动重新访问，在：IEEE计算机视觉和模式识别，拉斯维加斯，美国，2016年。[10] C.- C. Lee，A.塔巴塔巴伊湾田代，自由视点视频（FVV）调查和未来的研究方向，APSIPA Trans. 信号输入过程4（15）（2015）1[11] C. Richardt，H.金湖，澳-地瓦尔加伊角Theobalt，来自两个手持摄像机的密集宽基线场景流，在：Proc. of 3D Vision，旧金山，美国，2016年。[12] J. - Y. Guillemaut，A.希尔顿，联合多层分割和重建的自由视点视频应用，国际J。目视93（1）（2011）73[13] S. 奥茨-埃什卡诺角Rhemann，S.Fanello，W.Chang，A.Kowdle，Y.杰格佳列夫，D.金，P.L.戴维森，S。Khamis，M. Dou，V. Tankovich，C. Loop，Q. Cai，P.A.Chou ， S. Mennicken ， J.Valentin ， V. Pradeep ， S. Wang ， S.B. Kang ， P.Kohli ， Y. Lutchyn 角 Keskin ， S.Izadi ， Holoportation ： Virtual 3Dteleportation in real-time，in：Proc.用户界面软件和技术，东京，日本，2016年。[14] N. O'Dwyer ， N. 约 翰 逊 ， E 。 贝 茨 河 ， 巴 西 - 地 Pages ， J.Ondrej ， K.Amplianitis，D. Monaghan，A.Smolic，自由视点视频中的虚拟游戏：重新解释samuel beckett的虚拟现实，在：IEEE Proc。国际研讨会混合和增强现实，法国南特，2017年。[15] N. Pretto ， F. Poiesi ， Towards gesture-based multi-user interactions incollaborative virtual environments，in：Int. Arch. Photogramm.遥感空间信息 科学，XLII-2/W8，汉堡，GE，2017年。[16] A. Mustafa，A.希尔顿，动态场景的语义一致性共同分割和重建，在：IEEE计算机视觉和模式识别，檀香山，美国，2017年。[17] M. 沃 ， S 。 Narasimhan ， Y. Sheikh ， Spatiotemporal bundle adjustment fordynamic 3D reconstruction ， in ： Proc.of IEEE Computer Vision and PatternRecognition，拉斯维加斯，美国，2016年。[18] A. Collet，M.Chuang，P.Sweeney，D.Gillett，D.Evseev，D.卡拉布雷斯湾霍普A.柯克，S。Sullivan，高质量流媒体自由视点视频，ACM Trans. Graph. 34（4）（2015）1-13。[19] R. Mur-Artal ， J. Montiel ， J. Tardós ， ORB-SLAM ： a versatile andaccuratemonocular SLAM system，IEEE Trans. 机器人31（5）（2015）1147[20] ARCore，2021，https://developers.google.com/ar。 （检索日期：二零二一年六月）。[21] ARCore 导 航 器 ， 2021 ， https://developers.google.com/ar/develop/developer-M. Bortolon和F.波耶西软件影响9（2021）1000974guides/anchors。（检索日期：二零二一年六月）。M. Bortolon和F.波耶西软件影响9（2021）1000975[22] B. Mildenhall，P. Srinivasan，M. Tancik，J.T.巴伦，R.R.R. Ng，将场景表示为视图合成的神经辐射场，在：欧洲计算机视觉会议，虚拟，2020年。[23] Volograms，2021，https://www.volograms.com/. （检索日期：二零二一年六月）。[24] D.帕夫略角Feichtenhofer，D. Grangier，M. Auli，具有时间卷积和半监督训练的视频中的3D人体姿势估计，在：IEEE计算机视觉和模式识别，长滩，美国，2019年。[25] Unity3D，2021，https://unity.com/。 （检索日期：二零二一年六月）。[26] Unity3D HLAPI，2021，https://docs.unity3d.com/Manual/UNetUsingHLAPI.html。（检索日期：二零二一年六月）。[27] A.叶海亚维湾Kemme，Peer-to-peer architectures for massivelymultiplayeronlinegames：A survey，ACM Comput。监视器46（1）（2013）1[28] Unity3d多人服务，2021,https://unity3d.com/unity/features/multiplayer.（检索日期：二零二一年六月）。[29] Photon ， 2021， https://www.photonengine.com. （ 检 索 日 期 ： 二 零 二 一 年 六月）。[30] Z. Cao，G. Hidalgo Martinez，T.西蒙，S。Wei，Y.A. Sheikh，OpenPose：实时多人2D姿态估计使用部分亲和场，IEEE Trans.PatternAnal。马赫内特尔43（1）（2019）172-186。[31] M.A. Lourakis，A. Argyros，SBA：通用稀疏光束法平差软件包，ACM数学软件。36（1）（2009）1-30。[32] A. Kirillov，Y. Wu，K.赫利河Girshick，PointRend：图像分割作为渲染，在：IEEE计算机视觉和模式识别，西雅图，美国，2020年。[33] A. Laurentini，基于轮廓的图像理解的视觉外壳概念，IEEE 译图案Anal. 马赫 内特尔 16 （一九九四年） 150-162.[34] W. Lorensen ， H. Cline ， Marching cubes ： A High Resolution 3D SurfaceConstruction Algorithm，in：Proc. of ACM SIGGRAPH，Anaheim，US，1987.
我的内容管理
展开
