基于Agent-Mediator通信框架的多显示系统实时分布式内容渲染技术

可在www.sciencedirect.com上在线获取ScienceDirectIERI Procedia 6（2014）2 - 72013未来软件工程与多媒体工程国际会议基于Agent-Mediator通信框架的多显示系统实时分布式内容渲染技术Fahada、Muhammad Azhara、Muhammad Sajjada、Irfan Mehmooda、Bon WooGua、Wonil Kima、Joon Soo Hana、Seong Joon Yoob、Dongil Hanb、YunJanga和Sung Wook Baika *a韩国首尔世宗大学数字内容研究所b韩国首尔世宗大学计算机工程系fahad@sju.ac.kr、azhar3797@sju.ac.kr、sajjad@sju.ac.kr、irfanmehmood@sju.ac.kr、gubonwoo@sju.ac.kr、wikim@sejong.ac.kr、www.example.com、hanjunsu@sju.ac.kr、sjyoo@sejong.ac.kr、dihan@sejong.ac.kr、jangy@sejong.ac.kr、www.example.com、sbaik@sejong.ac.kr摘要混合现实（MR）系统提供了一个沉浸式的虚拟环境，其中现实和虚拟世界之间的差距是最小的。当前MR应用使用固定显示器来创建这种环境。然而，在现实世界中的环境从来没有固定的，它是很难实现这种非静态环境使用传统的MR框架。因此，在本文中，提出了一种高效的多显示器MR系统。所提出的系统使用可移动的显示器来创建动态变化的沉浸式虚拟环境。一个基于代理中介的框架用于通信，其中一个中介连接到几个代理。Mediator管理显示的位置，并跨所有代理显示视图。代理收集来自用户的交互数据，并将其传递给中介器。此外，分布式图形内容渲染技术被用来高效地渲染复杂的图形内容。在这种技术中，mediator划分内容并将其传输到每个代理。这种内容划分优化了代理上的渲染过程，从而提高了MR系统的效率。* 通讯作者。联系电话：+82-02-3408-3797传真：02-3408-4339电子邮件地址：sbaik@sejong.ac.kr。2212-6678 © 2014。成旭白由爱思唯尔公司出版 在CC BY-NC-ND许可下开放访问。信息工程研究所科学委员会负责同行评审Fahad等人/ IERI Procedia 6（2014）23© 2013年。由爱思唯尔公司出版信息工程研究所© 2014年。成旭白由ElsevierB. V.在CC BY-NC-ND许可下开放获取。信息工程研究所科学委员会负责同行评议关键词：混合现实;基于Agent的通信;虚拟现实。1. 介绍混合现实（MR）是虚拟世界和现实世界的融合[1]。MR应用的主要目的是缩小真实世界和虚拟世界之间的差距。多年来，繁忙的日常工作和硬件成本增加了对MR应用的需求，特别是那些提供沉浸式虚拟环境的应用。MR特别适用于军事、旅行、医疗和教育目的[2、3、4和5]。在MR系统中，需要大显示器来创建沉浸感[6]。此外，单个大显示器可能是昂贵的，并且单个显示器的结果也不是无缝的[7]。使用多个显示器创建虚拟环境更加可行，并且所产生的环境是无缝的并且更接近现实。多显示器MR的应用目前正在许多生活领域中使用[8]。MR系统为用户提供更接近现实的沉浸式虚拟环境。技术的进步为每个行业都设定了高标准，MR也不例外。在物质世界中，环境从来都不是静止的。当人们在物理空间中从一个地方移动到另一个地方时，周围的环境总是在变化。为了在虚拟世界中模拟这种环境，重要的是用户不感觉像是在虚拟世界中。为了实现这一目标，重要的是虚拟环境也随着用户的移动而改变，就像现实世界一样。具有静态显示导致在实现MR的这一高级目标中的障碍。因此，开发了其显示随着用户的交互而改变的MR系统的需要。从而提供期望的虚拟环境，其中周围环境根据用户移动而改变。MR系统的当前应用具有固定的类型学，即，显示器和物理环境是固定的。除了具有固定显示之外，这些系统还显示以预定义顺序显示的静态内容。如前所述，固定显示会限制创建沉浸式虚拟环境。这种应用的一些例子在军事，娱乐和医学等领域[9]。这些MR系统不具有根据用户需求处理实时变化的内容的能力。管理实时内容在跨多个显示器的视图同步方面造成了严峻的困难[5]。对更多交互式MR系统的需求正在增加，而利用现有的固定显示器难以实现该目标。移动和自适应显示可以开启MR行业的新趋势，具有无限的可能性[10]。为了应对上述挑战，本文提出了一种有效的自适应MR系统由多个显示器。这些显示器连接到可移动的墙壁上。所考虑的系统提供动态变化的虚拟环境与可移动显示。为了实时处理多个显示器的移动和内容的同步，使用了基于代理-中介的框架[11]。该框架由中介和多个代理组成。每一个代理都连接到一个可移动的显示墙。代理收集来自用户的交互数据，并将其各自的交互信息发送给中介器。中介作为系统的主控制器分析交互数据，并在需要时更新代理的位置。在接收到这些指示时，代理相应地改变显示墙的位置。除了管理显示墙的位置外，mediator还负责同步每个显示器上显示的内容。用于跨多个显示器管理内容的技术是部分内容管理技术[8]。使用这种技术，mediator将原始图形内容分布在4Fahad等人/ IERI Procedia 6（2014）2代理取决于交互数据。随后，代理在呈现之后显示接收到的内容。在随后的章节中更详细地讨论所提议的系统。本文的其余部分组织如下。第2节介绍了拟议的系统框架。第三部分介绍了系统的实现和工作情况，最后第四部分对本文进行了总结.2. 拟议系统该系统使用动态智能媒体墙（SMW）来改变周围的环境。这些SMW包含一个高清显示器，一个麦克风，以听取用户的命令，一个摄像头的手势识别，一个扬声器的声音效果和一个3D深度传感器。这些SMW可以滑动和旋转[12]。为了控制SMW的移动和管理在每个SMW上显示的内容的同步，使用基于代理-中介的框架。将多个SMW放置在封闭的房间中，用户进入面向SMW的房间。用户向SMW做出手势或给出语音命令。每个SMW都有一个代理，每个代理收集用户交互数据。SMW的移动和SMW上显示的同步使用基于代理-中介的通信框架控制[11]。建议的系统实时显示SMW上的内容。在多显示器系统中，复杂图形内容的渲染是计算上昂贵的任务。为了解决这个问题，跨多个显示器的分布式渲染技术被称为部分内容管理技术[8]。代理-中介框架和部分内容管理技术的简要说明如下。所提出的系统中使用的框架如图1所示。这是一个基于代理中介的框架，其中一个中介与多个代理交互。代理连接到称为SMA的SMW。每个代理都包含一个摄像头，3D深度传感器，麦克风和扬声器。这些设备用于收集用户的交互数据并与用户交互。在收集交互数据之后，SMA将该数据转发给其调度器。Dispatcher是Agent的一个模块，负责将交互数据发送给Mediator。中介器又通过其接收器模块接收该交互数据。中介器的接收器模块在收集来自代理的整个交互数据之后将其传递到中介器的处理单元（PU）。PU的主要任务是对代理的移动进行决策，并将部分内容分配给每个SMA。中介器的PU在分析SMA发送的交互数据后做出这些决定。一旦计算出输出结果部分图形内容以及移动方向，则将变化转发给调度器。如果不需要代理的移动，则移动信息可以为空。然后，调度器将接收到的数据转发给相应的代理。代理还通过其接收器模块接收来自中介器的数据。代理的接收器模块将数据转发到其PU。PU分析数据并改变SMW的位置，如果它在消息中被指示。除了具有位置信息之外，从中介器接收的数据还包含部分内容数据。每个代理的PU渲染这些内容并将其显示在其高清晰度显示器上。该过程重复地继续，确保内容的平滑和同步显示以及SMW的移动，这取决于用户交互输入。复杂的图形内容渲染是计算上昂贵的任务。在多显示器MR系统中，每个显示器必须在其可以被查看之前呈现内容。因此，如果内容很复杂，呈现它们可能会降低代理的性能，最终降低系统性能。在所提出的系统中，这个问题可以通过使用分布式内容渲染技术来处理。在这种技术中，mediator包含内容。在收集了Agent的交互数据后，对内容进行了划分。这些划分的内容被发送到每个代理。然后，每个代理呈现接收到的内容并显示它们。该过程在每次用户交互时重复，因此保持视图在所有显示器之间同步。代理仅呈现总内容的一小部分，因此提高了系统性能。Fahad等人/ IERI Procedia 6（2014）25图1.拟议的基于代理人-调解人的沟通框架3. 系统实现本节介绍对拟议系统的评价。实现的系统是由一个调解员和五个代理连接到SMW。这些法定工人被安置在一个封闭的房间里，中间是调解员。系统设置如图2（a）所示。该系统在使用内容创作工具（COSMOS）创建的各种虚拟内容上进行了测试[12]。COSMOS的快照如图2（b）所示。Mediator拥有所有内容，并根据用户的响应在每个代理上更新这些内容。SMW在收到调解员的指示后做了摆动或滑动运动。图2（c）示出了包含所有内容的中介视图，图2（e）示出了单个代理的视图，图2（d）呈现了中介中的主面板，其示出了每个代理显示的视图。该系统的实施，以评估所提出的系统的效率。它使用各种内容和用户的不同输入进行了测试。该系统无缝运行，创造了一个身临其境的虚拟环境。每个可移动SMW上的显示是同步的。这种同步化和SMW的运动是由中介体控制的。此外，mediator不断更新代理的内容和位置。分布式内容渲染提高了系统的性能，给人更真实的环境感觉。该系统是可扩展的，即，可以和任何数量的特工合作6Fahad等人/ IERI Procedia 6（2014）2（一）（b）第（1）款（c）第（1）款（d）其他事项（五）（c）第（1）款（b）第（1）款（d）其他事项（五）（一）（c）第（1）款图2.实验设置和系统预览4. 结论提出了一种基于多显示器的混合现实系统。该系统使用可移动的墙壁来创建沉浸式虚拟环境。系统内的通信使用基于代理-中介的通信框架进行。该系统由多个代理连接到一个集中式调解器。视图的同步和显示器的移动由中介器管理。系统实施的结果是一个无缝和计算成本效益的系统。该系统有能力添加任何数量的显示器，使其可扩展。这样的MR系统可以用于生活的许多领域。此外，通过可移动显示器，系统创建的环境感觉逼真。该系统的唯一问题是网络带宽消耗很高，因为每个代理上的内容都在不断更新。当代理的数量更大并且内容更复杂和详细时，这种带宽消耗可能成为一个主要问题。确认这项工作得到了工业战略技术开发计划10041772的支持，该计划是由科学部ICT未来规划（MSIP）资助的基于交互式架构的自适应混合现实空间的开发。Fahad等人/ IERI Procedia 6（2014）27引用[1] Milgram，P.，&黄文，混合实境视觉显示器之分类。资讯与系统国际交流协会，1994年，第77卷，第12期，第1321-1329页。[2] Kersten-Oertel，M.，Jannin，P.，&柯林斯，D。L，DVV：图像引导手术中混合现实可视化的分类法。Visualization and Computer Graphics，IEEE Transactions on，2012，18（2），332-352。[3] Cremer，J.，Severson，J.，Gelo，S.，KEARNEY，J.，麦克德莫特，M. &里奇奥，R，这个古老的数字城市”：虚拟历史锡达拉皮兹，爱荷华州约1900年。2000，Proc. VSMM 2000，27-34。[4] Nakevska，M.，胡，J，Langereis，G.，&Rauterberg，M，爱丽丝在沉浸式混合现实环境中的冒险。在混合和增强现实（ISMAR），2012年IEEE国际研讨会上（pp. 303-304）。[5] Lukasik，E. (2008，九月）。在混合现实中重建乐器。在信号处理算法，架构，安排和应用（SPA）IEEE，2008年（pp.201-206）。[6] 舒普湖安德鲁斯角，Dickey-Kurdziolek，M.，约斯特，B.，&塑造未来的显示：显示尺寸和曲率对用户性能和洞察力的影响。Human–Computer Interaction, 2009, 24(1-2),[7] 施塔德岛G.，Walker，J.，纽伯角，&Hamann，B，交互式基于集群的多屏幕渲染软件平台的调查和性能分析。在虚拟环境ACM研讨会的会议记录，2003年（第10页）。261-270）。[8] Fahad，Azhar，M.，Sajjad，M.，马哈茂德岛权，S。一、Lee，J.W.，&拜克，S。W，通过基于Agent-Mediator的通信在多视图系统中图形内容渲染技术的比较分析。在无处不在的信息技术和应用，施普林格柏林海德堡，2014年，（pp. 573-579）。[9] ScreenX，（http：//screenx.co.kr/）。[10]Kang，B.，Rodrigue，M.，Höllerer，T.，&Lim，H.海报：用于混合现实界面的深度传感器实时手势识别。[11]Sajjad M，Lee J.J，Gu B.W，Mehmood I，Fahad，Lee M.Y，Jang Y，Baik S.W，基于自适应混合现实空间的代理-中介框架的同步和高效通信系统，智能社会的ICT（ICISS），2013年国际会议，2013年，第一卷，不，第1、4、13- 1,4页。[12]Sajjad M，Lee J.J，Yun J，Lim C和Baik S.W，基于Agent的自适应混合现实空间通信框架，韩国下一代计算研究所杂志，2013，9（4），35-48。