厦门大学林子雨：HDFS操作实验详解及教程

实验2是厦门大学林子雨教授编著的《大数据技术原理与应用（第3版）》教材配套的实验指南，主要目标是让学生通过实践熟悉Hadoop分布式文件系统（HDFS）的基本操作。实验设计旨在帮助学生深入理解HDFS在Hadoop架构中的核心作用，即作为一个高度容错、高吞吐量的分布式存储系统，用于大规模数据的管理和处理。 首先，实验强调了对HDFS操作的理解，包括但不限于使用HDFS提供的Shell命令。学生需要掌握如何通过`hdfs dfs -test -e`命令检查文件是否存在，并根据需要选择是追加到已存在的文件末尾（`hdfs dfs -appendToFile`）还是替换原有文件（`hdfs dfs -copyFromLocal`）。这涉及到基础的文件管理，如上传文本文件和处理文件操作的权限问题。 此外，实验还鼓励学生使用Java API进行HDFS操作，这是Hadoop开发中的重要技能。尽管章节没有详细列出JavaAPI的具体使用，但学生可能需要学习如何通过Hadoop的Java接口（如`org.apache.hadoop.fs.FileSystem`）进行文件读写、目录操作等高级功能。 实验平台要求为Linux环境，推荐使用Ubuntu 16.04或18.04，确保安装了Hadoop 3.1.3版本、JDK 1.8以及Eclipse作为Java开发工具。这为实际操作提供了明确的硬件和软件环境。 整个实验设计注重理论与实践相结合，旨在通过实际操作加深对HDFS的理解，提升学生的编程能力和分布式系统管理能力，为后续的大数据技术学习打下坚实的基础。最后，实验还包含教师介绍和个人主页链接，便于学生获取更多教学支持和资源。