内存云大块数据并行存取策略及其实现

"基于内存云的大块数据对象并行存取策略通过解决内存云对大块数据对象存储的限制，实现了高效的数据存取。该策略将大块数据拆分为1MB的小块，客户端生成数据摘要，然后利用并行存储算法在内存云中分布存储。在读取时，先读取摘要，再并行读取小块数据并合并成原始大块数据。实验显示，这种方法在保持内存云架构不变的情况下，存储时间约为16~18微秒，读取时间约为6~7微秒。在InfiniBand网络环境下，该并行算法的加速比显示出接近线性的增长，确保了大块数据能在微秒级别下进行快速、高效的存取。" 内存云存储是一种新兴的云存储技术，它利用高速内存作为主要的存储介质，提供极低延迟的访问性能。然而，内存云通常限制每个数据对象的最大大小为1MB，这限制了其处理大块数据的能力。针对这一问题，研究者提出了一种新的并行存取策略，旨在优化大块数据在内存云中的存储和检索。 策略的核心是数据对象的分割与并行操作。在存储阶段，大块数据被分割成多个1MB的小块，每个小块在客户端生成一个数据摘要。这些小块和它们对应的摘要随后通过并行算法被分布存储到内存云集群的不同节点上。这样做的好处是可以充分利用内存云的并行处理能力，同时避免了单一大数据对象对内存云体系结构的冲击。 在读取阶段，客户端首先请求数据摘要。一旦获取到摘要，就可以并行地从内存云中读取对应的小块数据对象。这些小块在客户端被重新组合成原始的大块数据对象。这种设计显著减少了数据读取时间，使得大块数据的存取效率得以提升。 实验结果显示，此策略在不改变内存云基础架构的前提下，取得了优秀的性能表现。存储时间压缩至16到18微秒，读取时间仅为6到7微秒，这意味着即使面对大块数据，也能实现亚毫秒级的响应速度。在InfiniBand这种高性能网络环境下，这种并行算法的加速效果更加明显，其加速比的增长趋势接近线性，这进一步证明了该策略的有效性和实用性。 此外，该研究由多个科研项目资助，包括国家自然科学基金，涉及的研究方向包括云存储、内存计算、网络安全、高性能计算等。研究团队成员包括硕士和博士研究生，以及教授和博士生导师，他们在云存储、内存计算、分布式计算等领域有着深入的研究。 基于内存云的大块数据对象并行存取策略提供了一种有效的方法来扩展内存云的存储能力，解决了大块数据的存储和访问挑战。通过并行化处理，这种策略显著提高了内存云处理大块数据的效率，对于需要处理大量数据的云服务和应用具有重要价值。