Tegra论文:商业集群上的动态图处理新方法
藏经阁论文《Tegra:商业集群上的时变图处理》(Tegra Time-evolving Graph Processing on Commodity Clusters)由来自UC Berkeley的Anand Iyer、Joseph Gonzalez、Qifan Pu和Ion Stoica四位作者在2017年Spark Summit East会议上发表。该研究聚焦于在普通集群上处理实时变化的图数据,这是随着大数据时代和物联网发展背景下,图数据库日益重要的一个课题。 图在各种领域广泛应用,例如社交网络分析(如Gnutella网络子图)、生物系统(如单细胞生物的代谢网络和研究结核病的关联),显示出对图处理技术的广泛需求。据Forrester Research预测,到2017年底,有超过25%的企业将依赖图数据库管理系统(Graph DBMS)。这促使了众多开源和研究原型的发展,如Giraph、Pregel、GraphLab、GraphX等,这些框架致力于提高分布式图处理的效率和灵活性。 然而,现实世界中的图并非静态,动态性是其显著特征。论文讨论了地球地震发生密度这类实时数据如何体现这一特性。处理时变图不仅涉及传统的图形查询优化,还涉及到机器学习在实时数据集上的应用,这是一个具有挑战性的基本权衡问题。处理时变图能够揭示出许多商业和科研上的洞见,比如网络流量分析、疾病传播模式、社交行为洞察等。 论文作者Anand Iyer的研究背景包括博士生身份,以及他在AMP/RISELab的关于时变图处理的课题。他曾参与智能手机协作能源诊断(carat.cs.berkeley.edu)、近似查询处理(BlinkDB)以及移动网络分析等项目,这为他深入理解时变图处理提供了丰富的实践经验。 《Tegra:商业集群上的时变图处理》旨在探讨如何通过现有的计算基础设施,如商用集群,高效且实时地处理不断变化的图数据,这对于现代企业和学术界来说是一个关键的技术挑战,也是推动数据科学和人工智能领域的重要研究方向。
剩余36页未读,继续阅读