2022年12月的AI-5G下增强现实与虚拟现实智能硬件

虚拟现实智能硬件2022年12月4日第3我·社论·AI-5G下增强现实的MuhammadKHAN*视觉分析知识实验室（VIS2KNOW实验室），应用人工智能系，融合学院，计算和信息学院，成均馆大学，首尔 03063，韩国* 通讯作者khan. ieee.org由于最近5G技术的快速发展，传感器网络特别是无线传感器网络（WSNs）的使用促进了增强现实（AR）的进步，支持AR环境中的决策。这种决策需要支持和考虑能够适应AR环境变化的人工智能（AI）技术，以创建随时间自主进化的系统。目前，重要的是应用新的信息融合技术，允许在低和高级别的信息处理，以提高这种系统的准确性。AR是关键技术之一，它将促进用户与数据交互方式的重大范式转变，最近被认为是解决许多关键需求和问题的可行解决方案。AR可用于同时可视化来自数百个传感器的数据，通过耳机将相关和可操作的信息覆盖在用户的环境中。在AI-5G的保护下，无线传感器网络为AR技术带来了智能，从而使其速度更快，数据流更多。随着更容易和更容易使用，对于各种不同的功能（除了视频游戏），广泛采用似乎是可能的。总之，AI-5G时代的AR是一个即将到来的浪潮，庞大的数据库将使AR镜头能够以前所未有的深度提供近乎即时的洞察力。与最近的另一期特刊“混合现实中的智能交互”类似，本期特刊邀请了三篇调查论文和两篇技术作品，吸引了来自韩国，巴基斯坦，伊拉克，日本，挪威和美国等六个不同国家的AR，AI- 5G和移动AR技术的各种应用的最新研究成果。从第一份调查报告“沉浸式应用全景拼接内容的感知质量评估：前瞻性调查”开始，Hayat Ullah等人表示：“虚拟现实（VR）和增强现实（AR）领域的最新进展对现代技术产生了重大影响，将与人类生活相关的一切数字化，并为下一代软件技术（软技术）打开了大门。VR和AR技术借助高质量拼接全景内容和360°图像提供令人惊叹的沉浸式内容，这些内容广泛应用于教育，游戏，娱乐和制作领域。VR和AR内容的沉浸式质量在很大程度上取决于全景或360°图像的感知质量。事实上，轻微的视觉失真会显著降低整体质量。因此，为了确保用于VR和AR应用的构建的全景内容的质量，已经提出了许多拼接图像质量评估（SIQA）方法来在用于VR和AR之前评估全景内容的质量。在本调查中，我们提供了SIQA文献的详细概述，并专门关注迄今为止提出的客观SIQA方法。为了更好地理解，客观SIQA方法分为两类，即全参考SIQA和无参考SIQA方法。每一类都进一步分为传统的和基于深度学习的方法，虚拟现实智能硬件2022年12月4日第3对SIQA任务的性能进行了检查。此外，我们还列出了公开可用的基准SIQA数据集和用于全景内容质量评估的评估指标。最后，我们强调了目前在这一领域的挑战，现有的SIQA方法的基础上，并提出了未来的研究方向，需要在SIQA领域进一步改进的目标。在第二份题为“科学教育中的严肃游戏”的调查报告中，系统的文献综述”，Mohib等人批判性地讨论了科学教育中的严肃游戏，如下：“通过计算机游戏、模拟和人工智能（AI）教授科学是一个日益活跃的研究领域。为此，我们对科学教育中的严肃游戏进行了系统的文献回顾，以揭示研究趋势和模式。我们讨论了虚拟现实（VR），AI和增强现实（AR）游戏在物理等科学科目教学中的作用。具体而言，我们涵盖了2011年至2021年的研究，调查了国家集中度和最常见的评估方法，并讨论了科学教育中严肃游戏的积极和消极方面以及对在教育中使用严肃游戏的态度。Hamza等人的第三项调查题为“用于可穿戴传感器大数据应用的隐私保护深度学习技术”，他们的贡献如下：“可穿戴技术有可能对人类日常生活产生有价值的影响，它们可以以新的方式观察世界，包括例如使用增强现实（AR）应用。可穿戴技术使用可以作为配件、衣服甚至嵌入用户身体的电子设备。虽然智能可穿戴设备的潜在好处很多，但它们的广泛和持续使用会带来一些隐私问题和棘手的信息安全挑战。在本文中，我们对最近基于可穿戴传感器的隐私保护大数据分析应用进行了全面调查。我们强调了可穿戴设备应用的安全性和隐私性的基本特征。然后，我们研究了深度学习算法与密码学的结合，并确定了它们对可穿戴传感器的可用性。我们还提出了一个关于隐私保护机器学习技术的案例研究。在这里，我们从理论和经验上评估隐私保护深度学习框架的性能。我们解释了使用卷积神经网络（CNN）模型和Cheon-Kim-Kim-Song（CHKS）同态加密算法的安全预测服务的案例研究的实施细节。最后，我们将探讨在部署实际的现实世界的应用程序的障碍和差距。在全面概述之后，我们确定了必须克服的最重要的障碍，并讨论了一些有趣的未来研究方向。第四篇论文《Deepdive：A Learning-Based Approach for Virtual Camera in Immersive Contents》是Irfan等人关于“Deepdive”工具的技术著作，他总结了他们的贡献如下：“360°视频流为用户提供了在沉浸式内容中查看自己兴趣点的选择。在360°视频中，通过头部或手部操作来观看感兴趣的场景是非常繁琐的，用户可能会在头部/手部移动的过程中看到感兴趣的帧，甚至丢失感兴趣的帧。而在360°视频中自动提取用户的兴趣点（UPI）由于主观性和舒适度的差异而非常具有挑战性。为了应对这些挑战，并为用户提供最佳和视觉上愉快的视图，我们提出了一种自动方法，利用两个CNN模型：对象检测器和场景的美学评分。提出的框架是三个折叠：预处理，Deepdive架构和视图选择管道。在第一折叠中，输入的360°视频帧被分成三个子帧，每个子帧具有120°视图。在第二次折叠中，每个子帧都通过CNN模型来提取子帧中的视觉特征并计算美学得分。最后，决策流水线基于检测到的对象和计算的美学得分来选择具有显著对象的子帧。与其他领域特定方法的最新技术相比，例如，支持体育360°视频，我们的IIIII虚拟现实智能硬件2022年12月4日第3系统支持大多数360°视频类型。根据我们自己从各种网站收集的数据对所提出的框架进行的性能评估表明了不同类别的360°视频的性能。本期的最后一篇也是第五篇技术论文《土耳其字母智能教学的AR辅助儿童读物》是关于Ahmed等人基于AR的智能教学和学习的，他们总结了他们的贡献如下：“增强现实（AR）、虚拟现实（VR）和远程控制设备正在推动对更好的5G基础设施的需求，以支持更快的数据传输。本文强调，移动AR是一种可行且广泛的解决方案，可以轻松扩展到数百万最终用户和教育工作者，因为它是轻量级，低成本和跨平台的。低效率的智能设备和通过常规移动网络进行实时交互的漫长延迟是在教育中使用AR的主要障碍。好消息是，即将到来的5G蜂窝网络可以通过网络切片、设备到设备通信和移动边缘计算来缓解其中一些问题。在本文中，我们依靠技术来解决其中的一些问题。所提出的软件监视图像目标上的印刷书籍，并呈现3D对象和字母表模型。此外，应用程序还考虑了语音。一旦检测到图像目标，就会播放字母的声音（语音）和3D表示。土耳其字母3D模型是使用Unity3D和Vuforia SDK在Adobe Photoshop中创建的。拟议的应用程序通过使用3D对象模型，3D字母和3D短语（包括这些字母和声音）来教授土耳其字母和语音。尽管有上述的贡献，仍然有各种剩余的主题有关这一呼吁尚未涵盖，可能会在未来的工作中进行研究。这些研究包括“VR应用的智能图像拼接”、“基于AR/VR的儿童道路安全训练系统”、“开发智能VR应用的360视频总结”和“360视频的深度活动识别”等。读者应继续关注上述和其他相关文章的到来，并在未来的虚拟现实智能硬件杂志上发表。最后，本期特刊的客座编辑谨向所有提交论文以供考虑的作者表示诚挚的感谢，并特别感谢审稿人/期刊工作人员的辛勤工作和安排时间向作者提供反馈。特邀编辑也要感谢主编“王永田”给我们编辑这期特刊的机会，并让作者有机会在《虚拟现实智能硬件杂志》上展示他们的工作。Muhammad KHAN2022年