单机异步流式图处理框架S-Maiter

"流式处理的异步图处理框架.pdf" 本文主要探讨了在处理大规模图数据时，如何通过一种新型的流式处理的异步图处理框架来提高计算效率和性能。分布式图计算虽然常见，但在面临负载均衡、调试和优化等问题时，其效率并不总是最优。研究者提出了一种名为ASP（Asynchronous Stream Processing）的累加迭代计算模型，该模型结合了流式处理和单机并行处理技术，旨在减少对分布式计算的依赖。 ASP模型的核心在于实现对磁盘的完全顺序访问，它允许数据在被顺序加载的同时进行异步更新计算。这一设计减少了磁盘I/O操作的随机性，提高了数据读取效率。基于ASP模型，作者们开发了一个名为S-Maiter的流式处理异步图处理框架。S-Maiter利用I/O线程优化、内存资源监控以及shard级优先级调度等技术，有效提升了处理大图数据的能力。 在实际应用中，S-Maiter在处理包含1300万个顶点和5亿条边的大图数据时，仅使用1台PC机就能达到与16台PC机上运行的分布式Maiter相似的性能。此外，与另一个流行的大图处理系统GraphChi相比，S-Maiter的性能提升了1.5倍，显示了其在处理大图数据方面的显著优势。 关键词：外存处理、异步累加模型、I/O优化、流式处理。按照中图法分类号，这篇文章属于TP311类，即计算机软件及计算机应用。中文引用格式为：李金吉, 张岩峰, 巩树凤, 于戈, 高立新. 流式处理的异步图处理框架. 软件学报, 2018, 29(3): 528−544. http://www.jos.org.cn。 这篇论文揭示了在处理大规模图数据时，通过流式处理和异步计算模型可以实现高效且优化的单机解决方案，挑战了分布式计算的传统观念，并为未来的大图处理技术提供了新的研究方向。