虚拟现实智能硬件2020年12月第4引文：张宏新，张进，尹雪，周侃，潘志庚，Abdennour EI RHALIBI.实验教育中虚拟现实的云到端渲染和存储管理。虚拟现实智能硬件，2020，2（4）：368-380DOI：10.1016/j.vrih.2020.07.001·文章·实验教学中虚拟现实的云到端渲染和存储管理韩洪信1*，韩敬忠1，徐毅毅1，韩敬忠1，张忠忠1，张根培2，刘德荣31. 浙江大学计算机辅助图形学国家重点实验室，浙江杭州31005782. 杭州师范大学阿里巴巴商学院，浙江杭州3100363. 英国利物浦约翰摩尔斯大学*通讯作者，zhx@cad.zju.edu.cn投稿时间：2020年4月14日受理时间：2020年7月8日国家重点研发项目（2018 YFB 1004904）;国家自然科学基金项目（U1909204）。摘要背景实时三维渲染和交互是虚拟现实实验教学的重要内容。不幸的是，标准的终端计算方法使计算成本过高。因此，减少或分配这些要求需要迫切关注，特别是在COVID-19大流行的情况下。方法在这项研究中，我们设计了一个云到端渲染，一种虚拟现实实验教学存储系统，包括后台和交互两种模式。云服务器在后台渲染项目，并将结果以视频流的形式发送到终端。然后在终端对交互式模型进行轻量化渲染和混合。提出了一种改进的三维变形和孔洞填充算法，以提高用户视点变化时的图像质量。结果我们构建了三个场景来测试图像质量和网络延迟。实验结果表明，该系统能够以更高的图像质量和更低的延迟比任何其他云渲染系统的三维实验教学场景。结论本研究首次将云技术和轻量级渲染技术应用于虚拟现实实验教学。结果表明，我们的系统提供了良好的渲染体验，而不超过计算成本。关键词 端到端渲染;云存储;虚拟现实;实验教学1引言中国幅员辽阔，教育机会不均衡[1]。教学设备和设施普遍不足，特别是在中国西部地区和农村地区。因此，网络教育是实现教育公平的有效途径。此外，自COVID-19疫情爆发以来，许多学校被迫提供在线教育。传统的在线教育方法（例如，多媒体和现场教学）是不够的现代2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.comHongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn369实验教育需要。与其他课堂技术相比，实验教学旨在通过实践来提高观察力和操作力。学生可以在教育设施远程进行实验。虚拟现实（VR）是一种模拟环境，其中使用计算机图形来创建可以响应用户输入的逼真虚拟世界[2]。实验教育中的VR提供了身临其境，逼真和直观的体验。现有的技术包括Lila[3]，虚拟化学气相沉积（CVD）学习平台[4]，虚拟计算机集成制造（CIM）实验室（VCIMLAB）[5]和RoboUALab[6，7]。以往的工作侧重于具体的知识转让领域。然而，没有一个国家建立了一个普遍的系统来支持各种实验教育。当前的解决方案使用预设模型在终端渲染场景。然而，在一个完全有能力的教育系统中，可能会有许多复杂的实验场景。然后，将所有的计算负担都放在终端上就变得难以置信了。一个真正的动态通用系统必须能够支持存储容量小、计算能力低的移动设备和终端。本研究的目的是提供一个云到端的渲染和存储系统，以提供低延迟的高质量教育体验。我们将实验教学场景分为两个部分：背景和交互模型。云渲染[8]用于渲染后台计算。渲染结果然后使用实时消息协议（RTMP）[9]传输到终端。轻量级渲染用于交互式模型。最后，在终端将绘制结果进行合并。轻量级渲染利用面向终端的自适应算法，根据计算能力和网络延迟传输渲染模型。我们还提出了一个改进的3D变形和孔洞填充算法，显着提高图像质量时，用户的观点发生变化。2相关工作2.1虚拟现实实验教学系统有很多有用的VR实验教学系统。过去的研究集中在改善知识转移。例如，学者们在终端应用了传统的实时3D渲染技术。然而，这可能会对终端计算机的计算能力造成负担。在引言中，列出了几个现存的系统。虚拟CVD学习平台[4]模拟CVD过程来教授科学和统计学基础。该平台的3D场景非常简单，并使用2D界面进行关键交互。VCIMLAB[5]是一个教育软件应用程序，由常见的CIM硬件，机器人，机器和计算机系统的模型组成。学生可以使用实时操作原理操作VR模型。RoboUALab[6，7]是一个虚拟远程实验室（Java applet），用于执行模拟机械手，允许学生练习工业机器人命令。尽管这些研究取得了进展，传统的3D渲染功能，只处理特定的教育领域是相当有限的。需要一个通用的虚拟现实实验教学系统2.2云渲染云渲染使用云计算集群来渲染3D模型数据并将结果传递给最终用户。这个想法最早是在WireGL[8]中提出的，它通过多个命令呈现客户端提交的内容。Humphreys等人提出了基于WireGL系统的Chromium 流处理框架。云渲染广泛用于基于云的游戏[10]。OnLive[11]是第一个云游戏平台。[12][13][14][15][16][17][18][19]在中国，阿里云和浙江370虚拟现实智能硬件2020年12月第4大学开发了阿里云渲染服务，腾讯推出了腾讯即时播放。到目前为止，很少有研究调查这种类型的云渲染实验教育。2.2.1云到端视频流使用云渲染时，必须传输大量高清（HD）图像数据。为了获得流畅的显示体验，帧率应该大于30fps。如果帧缓冲器分辨率为1920×1080，则传输速度将大于10Mbps。这给网络带来了巨大的压力。视频流可以更快速、更高效地传输高清图像数据。主要的编码标准有H.261、H.263和H.264。帧内和帧间压缩广泛用于这些。OnLive[11]使用视频流传输渲染结果。GamingAnyWhere[15]使用高度优化的H.264高级视频编码器，以更少的延迟提供更好的视频质量。该技术在服务器和终端之间提供了一个成熟的云渲染解决方案.终端仅解码视频流并逐帧显示2D图像。使用这种方法，不再需要大量的图形计算能力。2.2.2轻量级3D建模轻量级渲染包括轻量级3D建模和基于图像的渲染（IBR）。 3D轻量级建模简化了具有大量面和复杂细节的3D模型。它过滤掉不必要的冗余信息，同时保留必要的结构信息。Hoppe[16]提出了一种通过边折叠和点分裂获得3D模型细节层次的算法。Ma等人提出了一种基于改进的循环细分方法的几何简化算法，并在移动设备上快速重建生成的渐进网格[17]。Liang等人提出了一种基于移动最小二乘法的显示分辨率算法，用于移动设备和实时渲染和交互[18]。这些算法降低了所需的带宽，提高了在移动设备上渲染复杂3D模型的效率。IBR[19]使用深度和颜色图。Shi提出了一个基于IBR的实时远程渲染系统[20]。由此，终端仅接收2D图像和3D深度图像。当渲染视点在有限范围内变化时，终端执行3D变形以获得新的渲染结果。2.3存储管理云和点对点（P2P）分布式存储技术是不一样的。云存储分为公共云存储、私有云存储和混合云存储。几乎所有的云存储公司都使用主从复制模型和写时复制技术来确保高可用性。为了确保数据一致性和高并发性，大多数使用数据一致性协议（例如。例如，在一个实施例中，Paxos[21]，Raft[22]，Zookeeper[23]）。虽然云存储现在已经相当成熟，但并不能保证数据保持100%的安全和可靠。P2P分布式存储以其高带宽利用率和低故障率而著称。存在许多这样的分布式存储产品（例如，星际文件系统（IPFS）和透明加密文件系统）。与云存储相比，P2P分布式存储系统中的每个节点都可以贡献空间。但是，很难让用户贡献空间。因此，云和P2P分布式存储的组合将为云到端渲染提供更可靠的存储系统。3执行3.1整体架构本研究为虚拟现实实验教学提供了一个云到端的渲染和存储系统的371HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn总体架构如图1所示。实验教学场景可分为背景模式和交互模式。一般来说，背景部分比较复杂，模型文件比较大。交互式模型是实验工具。它们相对较小，必须经常操作和渲染。因此，我们使用云渲染的背景和轻量级渲染的交互式模型。图1我们提出的云到端渲染框架的整体架构。在云中，图形应用程序渲染背景并将渲染结果捕获为视频。然后，收集的视频在压缩和编码后通过RTMP[9]传输到终端。交互式三维模型的预渲染和自适应收集的图像或网格和压缩的基础上的网络状态和渲染能力的终端。在终端，客户端通过传输控制协议/互联网协议（TCP/IP）接收背景视频流和模型数据。视频解码模块将视频解码成图像帧。对于模型数据流，模型解压缩模块首先对数据进行解压缩。然后，最终终端基于数据格式呈现内容。最后，视频和模型图像被组合以显示完整的3D场景。当用户平移，旋转，或缩放的交互式模型，我们的系统使用改进的3D变形方法，提供新的渲染结果，而无需网络重传。为了提高图像质量，本文还提出了一种基于多视点和双变形的孔洞填充算法。当后台发生变化时，终端会将变化发送到云端。云应用程序再次呈现它，并将结果返回给最终终端。使用协同设计活动交换文件格式对场景进行分解和标准化。因此，我们建立了一个分布式存储系统，集成云存储和IPFS，以提高可靠性和灵活性。用户通过Restful应用程序编程接口（API）获取场景。3.2云到端渲染云到端渲染降低了3D渲染的图形计算要求。通过这种方法，云服务器将背景图像转换为视频流并预渲染交互模型。然后，终端对交互式模型进行轻量化渲染，并将所有结果组合在一起。3.2.1视频流和解码(1) 连接. 在服务器和客户端之间发生一次握手服务器在372虚拟现实智能硬件2020年12月第4预定义端口，接收客户端的连接申请，建立网络连接，并发送成功消息。(2) 视频采集在握手之后，服务器收集视频流。第一步是确定帧速率。如果应用程序每秒捕获30帧，则视频流帧速率为30fps。我们使用图形设备接口作为屏幕捕获设备。每个帧的图像和时间戳保存到红-绿-蓝（RGB）缓存阵列中。图2云到端渲染框架的视频流。(3) 视频压缩编码。FFmpeg用于将捕获的图像压缩和编码为格式化的视频。采集期间，所有原始视频数据均存储在缓存阵列中。使用YUV4： 2：0对原始RGB图像进行采样，以降低传输比特率。264视频编码器是一种基于16×16宏块的混合编码框架。利用帧内或帧间预测对当前帧Fn中的每个块进行编码以获得预测块P。在帧内预测模式中，当前帧Fn被编码、解码和重构为uF ′n。然后从uF'n的帧内预测获得预测块P。在帧间预测模式中，通过运动估计和补偿从一个或多个编码参考帧uF ′n-1计算预测块P通过从当前宏块减去预测块P来获得残差块Dn。在对Dn进行变换和量化之后，获得量化系数X。在重新排序和熵编码X之后，编码结果和必要的附加信息（例如，例如，在一个实施例中，预测模式，运动矢量信息和量化步长）被形成为最终的码流，该码流以网络抽象层（NAL）格式被发送和存储。在终端，我们使用H。264视频解码器，如图3所示。它通过NAL接收编码码流。然后，它对数据进行解码和重新排序以获得量化系数X，并对X执行反量化和反变换以获得与编码器中相同的残差块D'n。最后，解码器基于码流中的附加信息使用帧内或帧间预测来获得与编码器相同的预测块P。在将预测块P和残差块D'n相加以获得重构块uF'n之后，可以通过使用滤波器来去除图像块效应来获取输出视频帧图3在我们的云到端渲染框架中进行视频编码和解码。3.2.2模型 收集 和传输交互式模型从3D场景中分离出来，并基于基于深度图像的渲染进行预渲染373HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn（DIBR）在云服务器上。在建立连接之后，云应用加载相关的交互模型。摄像机的初始位置为（0，0，0），然后向左和向右移动L个单位，2个L单位，3个L单位，...，n个摄像机的位置是V=乌斯季夫一世|i∈<$0，2n+ 1.为每个视点渲染模型，渲染结果如下：图4用于交互式模型渲染的相机移位示例。T=ti=Ii，Di|i∈，2n+1，i=render（S，vi），其中Di是Ii的深度图像。当L足够小并且n足够大时，参考图像集合包含更多的模型细节。由于在终端使用轻量渲染，因此必须通过互联网将参考图像集从云端传输到终端。因此，图像集的数量不能太大。从实验来看，使用我们的孔洞填充算法时，只需要几个分散的参考图像集就可以达到高质量，这在第3.2.4节中进行了描述。在我们的研究中，L设置为4，n设置为1。因为原始图像集很大，所以云应用程序使用H。264来编码颜色图序列，并且zlib用于压缩深度图序列。然后，终端接收模型数据并使用H.264和zlib来处理数据。3.2.3混合现实场景三维背景视频和交互模型数据流在终端使用场景描述语言（SDL）混合。整个过程如图5所示。对 于 背 景 视 频 流 ， 每 个 YUV 420 视 频 帧 被 解 码 为 一 个 AV 帧 。 然 后 从 AVFrame 创 建 一 个SDL_texture。然后，终端应用程序将每个SDL_texture复制到着色器中，以完成背景渲染。我们使用第3.2.4节中描述的改进的3D扭曲算法来轻量化渲染交互式模型。当用户操作模型时，相机 信 息 将 更 新 并 基 于 ReferenceImage[] 再 次 渲 染 。 渲 染 图 像 采 用 SDL_Surface 格 式 ， 并 通 过SDL_TextureFromSurface （ ） 转 换 为 SDL_Texture 。 SDL_SetColorKey （ ） 移 除 背 景 色 ，SDL_RenderCopy（）将SDL_Texture复制到着色器中。我们使用事件驱动的方法来显示最终图像。然后创建一个线程，虚拟现实智能硬件2020年12月第4374 图5混合现实场景的程序图。每33.3ms 通知一次。此通知通知主函数显示适当的帧。对于每次刷新，从视频流读取新的AVFrame，并且更新交互式模型的渲染结果。最后，SDL_RenderPresent（）混合这两部分，并将混合后的图像呈现给用户。3.2.4改进 3D 扭曲算法3D变形算法使用深度信息和相机参数将图像点投影到3D空间。然后根据摄像机参数从不同视点将三维空间点投影到虚拟成像平面上。该过程可由以下等式描述：v2=M2V=M2M1-1v1（1）其中，M1是从世界空间坐标到屏幕坐标的变换矩阵，并且M2是从世界空间坐标到屏幕坐标的变换矩阵。为了得到v2，一个4×4矩阵和一个4×1向量的乘法运算需要16次浮点乘法和12次浮点加法。对于1280×720甚至1920×1080的高分辨率2D图像，成本很高。因此，我们使用三个加法来改进翘曲算法。我们设置A = [a b c d]，乘法可以写为：ii00 0pixeli，j=A=0+j+0+=ia+jb+kc+d i、克雷奇10000克雷奇001 其中e i∈a=（i-1）∈a+a，j∈b=（j-1）∈a+b. Then，wecan nge tpixeli-1，j：pixeli-1，j=i-1a+jb+ki-1，jc+d.（3）基于等式（2）和（3），我们可以得到像素i，j_i和像素pixeli-1，j之间的关系：pixeli，j=pixeli-1，j+ki，j-ki-1，jc+a，（二） HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn375（4）虚拟现实智能硬件2020年12月第4374其中ki，j是（i，j）的深度值，OpenGL将其存储在深度缓冲区Z缓冲区中。假设gi，j∈φ0，255是f（i，j）的广义值. 则n，gi，j=δ（ki，j）. Definevarray[i]=i∈c，i∈[0，255]. 等式（4）可以简化如下：i，j=pixeli-1，j+varrayδi，j-ki-1，+apixeli，j= pixeli，j-1+ varray_i，j-k_i，j-1+b。（五）因为像素（i，j）=varray（i，j）δ（k）0，0，0，k+d是恒定的，所以可以基于等式（5）递归地计算像素（i，j），同时对行或列中的像素进行3D变形。然后，只需要三个加法来计算翘曲。在3D变形之后，由于遮挡和采样不足，存在来自缺失信息的孔为了提高图像质量，孔洞填充算法利用多个视点并提供双重扭曲。终端从每个交互式模型的不同视点获取分散的图像集，如第3.2.2节所从图像集中，我们找到两个最近的视点，v左和v右，为目标视点，vdst和v左≤vdst≤v右。然后，我们计算从vleft到vdst的变换图像Wleft和从vright到vdst的变换图像Wright。基于等式（6）计算最终目标图像1-αWlefti,j+αWrighti,j,Wlefti,j≠ 0 ∧Wrighti,j≠ 0WleftW右0，Wleft（六）、其中，W（i，j）是最终图像在点（i，j）处的像素值，Wleft（i，j）和Wright（i，j）分别是左目标图像和右目标图像在点（i，j）处的像素值。α是权重系数，t是摄像机的平移参数。3.3存储管理t-t左t-t左（七）存储系统的体系结构如图6所示。它可以分为四个部分：(1) 微服务系统由API网关、负载均衡器和其他组件组成。它的主要职责是统一外部接口和负载平衡。(2) 分布式存储子系统包括IPFS组件、外部存储服务器和外部云存储。它为整个系统提供基本的存储服务。(3) 分布式检索子系统包括IPFS网络、检索服务器和知识地图。此外，需要存储内容元数据来扩展知识图谱。它根据用户的请求返回模型。(4) 用户系统包括IPFS网络和用户权限服务器。它为整个系统提供用户级安全性。IPFS文件系统是我们存储模块高效运行的基石，它的性能直接决定了存储模块的整体性能。4结果4.1应用我们使用云到端的系统来构建虚拟现实实验教育样本。我们创造了两个场景，Wi，j=α=虚拟现实智能硬件2020年12月第4376图6存储系统的体系结构。比较服务器和客户端之间的渲染结果（图7和图8）。与原始云渲染结果相比，最终终端的图像质量非常好。图7服务器（左）和客户端（右）的实验场景。图8服务器（左）和客户端（右）的矿井场景。因为这两个教育场景都很简单，所以我们构建了一个更复杂的场景：森林。客户端呈现的图像和云之间没有明显的区别（图9）。我们的系统可以明显地支持复杂的场景，高图像质量。4.2图像质量我们每50帧收集一次数据，每个场景获得40张图像。峰值信噪比（PSNR）和结构相似性（SSIM）指HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn377数结果见图10和图11。我们的系统形象虚拟现实智能硬件2020年12月第4378图9服务器（左）和客户端（右）的森林场景。图103D背景图113D背景的SSIM。质量与OnLive相当（表1）。表1与OnLive的平均PSNR和SSIM比较对于模型部分，我们使用不同的孔洞填充算法从不同的角度收集结果。摄像机的初始位置为（0.0，0.0，2.0）。我们用改进的填洞技术我们的OnLive峰值信噪比3735SSIM0.990.95算法用于（0.4，0.0，2.0）、（0.0，0.0，2.0）和（0.4，0.0，2.0）处的位置。我们对（0.0，0.0，2.0）使用单视点空洞填充算法。结果如图12和13所示。传统的孔洞填充算法在视点靠近目标物体时绘制出的图像效果较好。然而，当相机移动得更远时，质量会变得更差。即使在这种情况下，我们的方法的图像质量也更好4.3延迟延迟被定义为从终端发生交互事件到呈现新图像的时间。因为我们对交互式模型使用轻量级渲染，HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn379用户可以直接进行交互虚拟现实智能硬件2020年12月第4380图123D模型图133D模型的SSIM。与他们在终端，而无需等待云响应。因此，我们的交互式模型的延迟等于轻量级渲染所需的时间。我们比较了我们实现结果如表2所示表2与GamingAnyWhere对于背景部分，潜伏期相似。而交互模型采用轻量级渲染，用户操作后可以直接渲染。因此，仅需时间我们的GamingAnyWhere模型响应延迟（ms）38141背景响应延迟（ms）134141需要考虑3D翘曲和孔洞填充。OnLive对待模特和背景是一样的。因此，延迟等于背景的延迟。对于相同的网络环境，我们的系统给用户更好的体验，低延迟。5结论我们提出了一个云到端的渲染和存储系统，为实验教育提供低延迟的高质量3D体验。我们分析了典型实验教育应用程序使用的场景，并分别对场景的不同方面进行了云渲染和轻量化渲染。在轻量化渲染部分，我们使用了一种改进的3D变形和孔洞填充算法。本研究的结果表明，我们的系统呈现的三维实验教育场景具有高图像质量和低延迟。这是第一次将云渲染和轻量级渲染用于VR实验教育的研究。我们相信我们的方法是通用的，足以适应许多其他应用领域，包括混合现实。HongxinZHANGetal：在指数化的情况下，针对虚拟现实的Cloud-to-endrendereringemanamama meme memetenn381这项研究的主要局限性是，它是不容易的，适用于任意的3D场景的工具。一方面，背景和交互模型需要预先手动分离。另一方面，DIBR也有局限性。例如，它只允许用户在固定方向上平移、旋转和缩放模型。因此，很难满足所有可能的用户交互需求。进一步的工作应该集中在应用该算法自动识别和分离背景和模型图像，并允许用户进行更多的交互操作。引用1杨俊，黄翔，刘翔.中国教育不平等现象分析。国际教育发展杂志，2014，37：2DOI：10.1016/j.ijedudev.2014.03.0022Burdea G，Coiffet P.虚拟现实技术，纽约，威利，1994年3李文辉，李文辉. LiLa：一个关于网络实验的欧洲项目。在：自动化，通信和控制论在科学与工程2009/2010。柏林，海德堡，施普林格柏林海德堡，2010年，307DOI：10.1007/978-3-642-16208-4_274[10]杨文，李文，李文.利用虚拟实验室加强学生在实验设计方面的学习。IEEE Transactions on Education，2008，51（1）：76DOI：10.1109/te.2007.9068945Hashemipour M，Manesh H F，Bal M.一个模块化的工程实验教学虚拟现实系统。计算机在工程教育中的应用，2011，19（2）：305DOI：10.1002/cae.203126Jara C A，Candelas F A，Puente S T，Torres F.使用虚拟和远程实验室的自动化和机器人本科生的实践经验。计算机教育，2011，57（4）：2451-2461 DOI：10.1016/j.compedu.2011.07.0037Torres F，Candelas F A，Puente S T，Pomares J，Gil P，Ortiz F G.体验虚拟环境和远程阿利坎特大学的机器人教学实验室。国际工程教育杂志，2006，22（4）：7668Eldrdgem H G.一个可扩展的集群图形系统。见：2001年ACM SIGRAPH会议记录。ACM出版社，洛杉矶，2001年9雷晓华，姜晓华，王春华.基于RTMP的流媒体处理软件的设计与实现。2012第五届国际图像与信号处理大会，2012年，192 - 196DOI：10.1109/cisp.2012.646998110[10]李文辉，李文辉. Chromium：一个在集群上进行交互式渲染的流处理框架。2002，21（3）：69311OnLive。http://www.onlive.com，201212外开http://www.gaikai.com，201213尤比图斯http：//www.ubitus.com/，201314奇诺http：//www.ciinow.com/，201415黄春英，徐春华，张永春，陈国泰. GamingAnywhere：开放的云游戏系统。在：第四届ACM多媒体系统会议上的会议记录-MMSys '13。奥斯陆，挪威，纽约，ACM Press，2013，36-47 DOI：10.1145/2483977.248398116霍普湾渐进网格。在：第23届计算机图形学和交互技术年会-SIGGRAPH '96。New York，ACM Press，1996，99DOI：10.1145/237170.23721617杨志华，李志华.网格优化。在：第20届计算机图形学和交互技术年会的会议记录-SIGGRAPH '93。北京：北京大学出版社，1993，19 -26虚拟现实智能硬件2020年12月第438218马建平，罗晓南，陈波，陈华华.一种移动三维图形的几何简化方法。计算机研究与发展学报，2008，45（8）：139519Jr. L M.一种基于图像的三维计算机图形学方法。博士（Ph.D.）北卡罗来纳大学教堂山分校，1997年20Shi S，Nahrstedt K，Campbell R.交互式移动图形的实时远程绘制系统。 ACM Transactions on MultimediaComputing，Communications，and Applications，2012，8（3s）：1-20 DOI：10.1145/2348816.234882521兰波特湖兼职议会ACM计算机系统学报（TOCS），1998，16（2）：133-169 DOI：10.1145/279227.27922922Ongaro D，Ousterhout J.，《寻找可理解的共识算法》。在：2014 {USENIX}年度技术会议（{USENIX}{ATC}14）。2014年，305 - 31923Hunt P，Konar M，Junqueira F P，Reed B. ZooKeeper：互联网规模系统的无等待协调。USENIX年度技术会议。201024放大图片作者：John M.简单的针孔摄像机校准。国际成像系统与技术杂志，1994，5（1）：1DOI：10.1002/ima.185005010225王毅，张永青.视频处理和通信。200226王志，陆立刚，博维克.基于结构失真测量的视频质量评价。信号处理：图像通信，2004，19（2）：121DOI：10.1016/s0923-5965（03）00076-6
