基于 GPU-hadoop 的海洋环境信息可视化并行计算框架研究与实现
4
体系框架基础上实现海洋环境信息可视化,同时对 GPU-hadoop 体系的任务分配调
度进行优化,提高集群的整体计算性能,从而提升可视化效率。本文的主要任务有:
(1) 搭建出 Hadoop 与 GPU 相结合的框架体系,并将海洋环境信息可视化计算成
功部署到该框架中。
(2) 使用数据动态处理器和流操作,提升整个框架的计算效率。
(3) 在分析 hadoop 特性和 GPU 优势的基础上,研究了将 GPU 合理结合 hadoop
的可行方案,并根据我们实验环境和可行性,提出了一套完整的将 GPU 结
合 hadoop 的解决方案,该方案不仅对海洋环境信息可视化有效,对其他项
目也有很强的适用性。
(4) 使用守护进程和基于 GPU 处理能力的优化方法,有效地提高了 GPU-hadoop
体系下的计算任务分配调度效率,从而使整体的计算能力得到很大的提升,
基于 GPU 的流场可视化相比于 CPU 模式下的流场可视化的加速比可达到 15
倍。
1.5 本文组织结构
第 1 章 综述,介绍了研究 GPU-hadoop 体系的背景和必要性,简述了国内外
对 GPU 和 hadoop 相结合的研究,以及 GPU 的发展历程。
第 2 章 关键技术介绍,对 hadoop 的 MapReduce、HDFS、GPU 的 Cuda 编程
模型和存储器模型进行了详细的分析。
第 3 章 hadoop 和 GPU 相结合的并行框架体系,本章介绍了海洋环境信息实验
云平台的具体配置情况,分析了 hadoop 嵌入 GPU 的原因,介绍了 hadoop 融入 GPU
并行计算的可行方案,并详细叙述了基于 GPU-hadoop 体系的处理流程和优化方法。
最后详细介绍了 GPU-hadoop体系下实现海洋环境信息可视化的具体流程和实现方
法。
第 4 章 并行体系下任务调度研究,分析了 GPU-hadoop 平台下任务调度优化
的原因,详细介绍了我们提出的使用守护进程优化和基于 GPU 计算能力的优化方
法。
第 5 章 实验结果对比与分析,在我们搭建的海洋环境信息可视化实验云平台
中,对比测试了基于 GPU 模式和基于 CPU 模式的可视化计算,并测试了两种优化
万方数据