并行文件系统故障恢复研究：Lustre与BeeGFS的日志机制分析

"本文主要探讨了高性能并行文件系统(HPC)中的故障恢复和日志机制，重点关注了Lustre和BeeGFS这两个广泛应用的PFS。通过开发名为PFAUlT的黑盒故障注入工具，作者们系统地模拟了存储节点的故障情况，以研究这些系统的响应和恢复能力。研究揭示了Lustre的LFSCK组件和BeeGFS的BeeGFS-FSCK组件在处理故障时存在的问题，可能导致系统不稳定或进一步的I/O错误。作者进行了深入的异常症状分析，并为Lustre开发了一套新的补丁。此外，他们还分析了大量的日志数据，指出了PFS在故障日志记录方面的不足。这项工作得到了NSF的资助，目的是推动社区对PFS可靠性的研究，并助力改进HPC的性能和稳定性。" 在高性能并行文件系统(HPC)中，故障恢复和日志机制是确保服务连续性和数据完整性的关键组成部分。Lustre和BeeGFS是两个被广泛采用的PFS，它们在处理大规模数据和计算任务时展现了出色的性能。然而，由于PFS的复杂性和高并发特性，它们在面临故障时的应对策略往往没有得到充分研究。 PFAUlT的创建是一个创新的步骤，它允许研究人员在不干扰PFS正常运行的情况下，模拟各种故障场景。这种透明且易于部署的工具对于理解不同存储节点故障对PFS的影响至关重要。通过PFAUlT，研究人员发现了Lustre的LFSCK组件在检测和修复PFS不一致性时可能出现的自身问题，如系统挂起或引发内核恐慌。同样，BeeGFS的BeeGFS-FSCK组件也被发现存在类似的问题，这可能影响到故障后的系统恢复。 深入的故障分析不仅找出了问题，还推动了实际的解决方案。作者为Lustre开发的新补丁集有望改善其故障处理能力。同时，对日志数据的详细分析揭示了PFS在记录故障事件时的局限性，这对于优化日志系统和提高故障诊断效率具有重要意义。 美国国家科学基金会( NSF )的资助支持了这项工作，旨在提升PFS的可靠性，特别是在二级存储组织和计算机系统可靠性方面。通过这样的研究，期望能激发更多的学术讨论，推动技术进步，最终使高性能计算环境更加稳定和可靠。