海量小数据处理：分布式聚类与负载均衡新算法

本文主要探讨了在处理海量小数据时，如何通过分布式聚类优化与负载均衡算法提高SensorFS系统的性能。SensorFS面临的问题是集中式的传感器聚类算法导致主节点成为系统瓶颈，并且处理大量传感器数据时效率低下。作者汪明明和陈庆奎提出了一种改进方案，包括分布式传感器聚类算法和细粒度负载均衡策略。 文章指出，改进的分布式传感器聚类算法将主节点的角色限制在初始化写调度，后续传感器的写请求直接与ChunkServer节点交互。每个ChunkServer节点内部利用传感依赖图进行聚类，形成多个传感器类别，然后由主节点进行全局聚类。这样的设计减少了主节点的压力，提高了处理速度。 同时，为了进一步优化性能，作者提出了基于传感器类别的细粒度负载均衡算法。通过监测各传感器生成数据的速度，动态计算服务器负载，并以传感器类为单位进行数据迁移。这种方法可以更有效地分配系统资源，避免热点问题，提高读写性能。 实验结果显示，这些改进的算法显著提升了Hadoop分布式文件系统在处理海量小数据时的读写性能，证明了其在实际应用中的有效性。 关键词: 海量小数据；分布式系统；聚类；负载均衡；传感器 参考文献格式（中文）: 汪明明，陈庆奎. 海量小数据分布式聚类优化与负载均衡算法[J]. 计算机工程, 2018, 44(2): 40-45. 参考文献格式（英文）: WANG Mingming, CHEN Qingkui. Distributed Clustering Optimization and Load Balancing Algorithm for Massive Small-size Data[J]. Computer Engineering, 2018. 这篇研究论文深入研究了处理海量小数据时的挑战，并提出了一套创新的解决方案，对于提升大数据环境下分布式系统的效率和稳定性具有重要的理论和实践意义。