Spark并行密度峰值聚类算法SFSDP：一种高效的大规模数据聚类方法

"基于Spark并行的密度峰值聚类算法" 本文介绍了一种名为SFSDP（Spark-based Parallel FSDP）的聚类算法，该算法是针对FSDP（Fast and Scalable Density Peaks）聚类算法的时间复杂度优化。FSDP算法在处理大数据集时，由于需要对所有数据对象计算局部密度和最小距离，导致计算效率较低。SFSDP算法通过引入Apache Spark的并行计算框架，有效地解决了这一问题。 SFSDP首先将原始数据集通过空间网格划分成多个小的数据分区，确保每个分区的数据量相对均衡。这样的划分有利于并行处理，减少了计算局部密度和最小距离时的数据交互成本。接着，每个分区独立应用改进后的FSDP聚类算法，这一步骤可以充分利用Spark的分布式计算能力，显著加快聚类过程。在每个分区内部完成聚类后，算法会进一步合并这些局部簇集，形成全局的簇集结构，从而得到完整的聚类结果。 SFSDP算法的优势在于其并行化处理和良好的扩展性。实验结果显示，相比于原始的FSDP算法，SFSDP在处理大规模数据集时表现出更高的效率，同时在保持聚类准确性方面也有优秀的表现。此外，由于采用了Spark框架，SFSDP具有很好的可伸缩性，能够适应不同规模的数据集，适应了大数据时代的聚类需求。 此研究由国家自然科学基金和七〇二所青年创新基金资助，由孙伟鹏、吴锡生和孟斌共同完成。其中，孙伟鹏和吴锡生分别从事数据挖掘和人工智能领域的研究，孟斌专注于数据挖掘工作。文章发表于2020年，对基于Spark的并行聚类算法进行了深入探讨，为大数据环境下的聚类分析提供了新的解决方案。 关键词：聚类、密度峰值、空间划分、并行、Spark 中图分类号：TP301.6 文献标志码：A 文章编号：1001-3695（2020）01-034-0163-04 doi：10.19734/j.issn.1001-3695.2018.04.0377 该研究对于理解如何利用分布式计算技术优化聚类算法，特别是在大数据环境中的应用，具有重要的理论和实践价值。