Spark平台上的分布式交通流预测模型DUTP-GBDT

"基于Spark的分布式交通流数据预测系统" 在大数据背景下，智能交通系统的建设对实时、精确的交通流预测提出了迫切需求。本文提出的“分布式城市交通流预测与梯度优化决策树”（DUTP-GBDT）模型，旨在利用Spark平台解决这一问题。Spark作为一个强大的分布式计算平台，以其高效性、可靠性和弹性扩展能力，为大规模数据分析提供了理想的环境。 DUTP-GBDT模型的核心是梯度优化决策树（Gradient Boosting Decision Tree），它是一种迭代的增强学习方法，通过构建一系列弱预测器（决策树）并组合它们的预测结果，来提升整体预测的准确性。在分布式环境下，为了提高训练效率，研究者提出了三种优化策略：切分点抽样、特征装箱和逐层训练。切分点抽样旨在减少计算量，特征装箱是对特征进行离散化处理，以降低维度和复杂性，而逐层训练则能有效管理分布式计算中的通信开销。 在模型构建过程中，DUTP-GBDT利用了多种特征，如时间特征（如小时、分钟等）、道路状况特征（如交通拥堵程度、车道数量等）和天气特征（如温度、降雨等），这些特征参数对于准确预测交通流量至关重要。通过与传统模型如遗传算法支持向量机（GA-SVM）、遗传算法K近邻（GA-KNN）和多源流数据融合算法（MSTAR）进行比较，DUTP-GBDT模型在Spark上的实现不仅提高了预测精度，还显著提升了训练速度。 此外，该研究还指出，DUTP-GBDT模型在分布式环境下的性能提升，充分满足了城市交通流预测系统对于实时性、准确性和处理大规模数据的需求。这表明，结合Spark的分布式计算能力和梯度优化决策树模型的特性，可以有效地处理复杂的交通流预测问题，为智能交通系统的构建提供了有力的技术支撑。 关键词：交通流预测、分布式计算、Spark平台、梯度优化决策树模型 该研究由赛尔网络下一代互联网技术创新项目（NGII20160306）和广西科技攻关项目（PD160189）资助，作者来自桂林电子科技大学计算机与信息安全学院和广西可信软件重点实验室。