HDFS上的多用户并行文件IO：设计与优化

"基于HDFS的多用户并行文件IO的设计与实现.pdf" 这篇论文主要探讨了如何在Hadoop的HDFS(Hadoop Distributed File System)分布式文件系统中实现多用户并行文件I/O操作，以提高大数据处理的效率。作者金松昌在国防科学技术大学攻读计算机科学与技术硕士期间，由方滨兴和杨树强教授指导，完成了这项研究。 传统的HDFS使用锁机制来控制文件的并行访问，这导致了在同一文件上的读写操作不能并行进行，从而限制了系统的性能。针对这一问题，论文提出了一个创新的非锁机制的并行文件I/O模型，特别针对海量日志类型数据的特性进行优化。日志数据通常具有大量的写入操作和顺序读取的模式，这种模型旨在克服HDFS的局限，实现多用户对同一文件的并行读写和读读并行。 论文的主要贡献包括以下几点： 1. 深入研究了Hadoop的相关工作，特别是对HDFS的内部运作进行了细致的分析，识别出其在支持多用户并行文件读写方面的局限。 2. 提出了一种新的并发控制策略，这个策略不再依赖互斥机制。对于海量日志数据，这种策略能够允许多个用户同时进行读写操作，即使这可能会在一定程度上牺牲数据读取的完整性。 3. 实现了一个经过改进的HDFS版本，该版本支持多用户并行I/O。实验结果显示，这个改进显著提升了多用户并行文件I/O的性能。 关键词涵盖了海量数据管理、分布式文件系统、Hadoop以及并行文件I/O，这些都是当前大数据处理领域的核心议题。论文的研究成果对于提升大数据环境下的并行处理能力，特别是在处理大量日志数据时，具有重要的理论和实践意义。