![](https://csdnimg.cn/release/download_crawler_static/88590874/bg14.jpg)
框架
1.1
介绍
在本论文的第一部分中,我们处理调度技术,以部署科学工作流在大型并行或分布式平台受到
故障停止处理器故障,例如,大规模集群。科学工作流,也称为
任务图
,是
HPC
(高性能计
算)应用程序的原型这些任务是部分排序的,因为某些任务的输出可能需要作为某些其他任务
的输入。总而言之,应用程序被构造为DAG(有向无环图),其节点是任务,其边缘执行依
赖关系。节点按计算要求(以触发器为单位)加权,而边按通信数据的大小(以字节为单位)
加权。给定一个工作流和一个平台,将任务映射到处理器上并调度它们以使总执行时间或
完工
时间最
小化的问题在过去受到了相当大的关注。
如引言部分所述,考虑到故障数量的增加,最近重新审视了经典的映射和调度问题,以考
虑在执行期间可能发生错误的事实。在故障停止错误的情况下(例如,由于断电或某些其他硬
件问题而导致的崩溃),处理器的执行停止,其存储器的所有内容丢失,并且计算必须在重新
引导后在同一处理器上或在备用处理器上从头开始。处理此类故障的实际方法是检查点
/
重新
启动(
C/R
),通过该方法,在整个执行过程中将应用程序状态保存到稳定存储,例如共享文
件系统。因为工作流是以任务的DAG结构化的,所以它们是C/R方法的良好候选者。首先,任
务可以单独和异步地检查点。第二,不需要检查任务的整个内存占用,只需要检查其输出数
据。
检查点策略增加了时间上的冗余,因为中间结果存储在任务执行之间,并且计算可以稍后
重新执行。在愿意花费在检查点上的时间量和在错误情况下重新执行所浪费的时间量在这一部
分中,我们考虑了以下问题:在易失效处理器上调度工作流执行,并决定检查点的任务。目标
是最小化期望的执行时间,或makespan。
在实践中使用的常见策略是
检查点一切
,或CKPT ALL:每个任务的所有输出数据都保存在
稳定存储器上(在这种情况下,我们说“任务是检查点”)。例如,在生产工作流管理系统
(WMS)[1,2,32,38,109,110]中,默认行为是将所有输出数据保存到文件中,并从文件
中读取所有输入数据,这正是
CKPT ALL
策略。虽然这种策略可以在出现故障时快速重启,但它
的缺点是最大化了检查点开销。在另一端,这将是一个
没有检查点
的策略,或者
3