在线随机调度与数据重分布：云-边缘大数据处理的高效策略

本文主要探讨了在云-边缘系统中处理跨域大数据作业调度的技术挑战及其解决方案。随着大数据应用的普及，数据量的爆炸性增长使得传统的集中式处理方式难以满足实时性和低延迟的需求。因此，研究者针对这一问题，提出了一个名为"ranTA"的在线随机调度算法，其核心目标是通过最小化系列跨域作业的平均完成时间来优化作业调度。 ranTA算法充分利用了跨域资源的异构性，实时计算出每个计算任务调度到不同位置的偏好，将其转化为任务的概率调度策略。这种调度方式能够动态适应不断变化的资源环境，提高任务分配的效率。同时，为了防止"热点"数据对边缘集群性能造成瓶颈，研究团队进一步开发了一种基于ranTA的捎带式数据重分布机制，即ranTA-data。ranTA-data机制允许部分数据在任务执行过程中被暂时保留在云数据中心，这样可以平衡负载，减少局部热点问题，从而进一步优化整体作业完成时间。 实验结果表明，ranTA和ranTA-data组合的在线随机化算法与传统方法相比，显著降低了系列作业的平均完成时间，达到了接近30%的性能提升。这表明，该技术在处理跨域大数据作业调度时，不仅提高了单个任务的效率，还有效改善了整个作业序列的执行效果，对于构建高效、灵活的云-边缘系统具有重要的理论价值和实践意义。 文章的研究背景包括国家自然科学基金的支持，由多位来自电力科学研究院、电力技术公司以及南京大学计算机科学与技术系的研究人员共同合作完成。他们分别在分布式系统、大数据处理、边缘计算和分布式大数据处理系统等领域有着深厚的学术积累。该研究不仅关注技术本身，也体现了跨学科的合作与理论与实践的紧密结合。 这篇论文对云-边缘系统中的跨域大数据作业调度进行了深入研究，通过ranTA算法和ranTA-data机制的创新设计，为解决大规模分布式数据处理中的延迟问题提供了一种有效途径，对提升云计算和边缘计算的协同效率具有重要的指导意义。