Hadoop Java API实战：创建目录与文件上传

"这篇文档主要介绍了如何使用Java API来操作Hadoop分布式文件系统（HDFS），包括创建目录和上传本地文件到HDFS的步骤。" 在Hadoop分布式文件系统中，进行操作通常需要通过Java API来实现。这篇文档的重点是教读者如何编写Java程序来与HDFS交互。以下是对主要知识点的详细说明： 1. Hadoop环境检查与启动： 在进行HDFS操作前，首先需要确保Hadoop服务已经运行。可以通过`jps`命令查看服务状态，如果服务未启动，可以使用`start-all.sh`命令来启动所有Hadoop服务。 2. 创建Java工程并导入依赖： 在Eclipse中创建一个Hadoop工程，新建一个名为`com.hdfs`的包。在工程中创建一个名为`libs`的文件夹，将所需的Hadoop相关JAR包复制进去，并将这些JAR包添加到项目的构建路径中，以确保编译时能引用到Hadoop的类库。 3. 编写Java类`HdfsTest`： - `HdfsTest`类包含了两个关键方法：`init()`和`testMkdir()`。 - `init()`方法用于初始化HDFS的`FileSystem`对象。使用`FileSystem.get()`方法，传入HDFS的URI（例如`hdfs://192.168.0.202:9000`）、Hadoop配置（`newConfiguration()`）以及登录用户名（这里为"root"）来获取`FileSystem`实例。 - `testMkdir()`方法用于创建目录。调用`FileSystem`对象的`mkdirs()`方法，传入一个`Path`对象表示要创建的目录路径（例如`/javaApi/mk/dir1/dir2`）。返回值为布尔类型，表示创建目录是否成功。 4. 上传本地文件到HDFS： 上传本地文件到HDFS可以通过`FileSystem`对象的`copyFromLocalFile()`方法实现。此方法需要源文件路径和目标HDFS路径作为参数。例如，如果要将本地的`/root/HelloWorld.txt`文件上传到`/javaApi`目录下，代码可能如下： ```java public void testUploadFile() throws Exception { fs.copyFromLocalFile(new Path("/root/HelloWorld.txt"), new Path("/javaApi/HelloWorld.txt")); System.out.println("文件上传成功"); } ``` 这样，`HelloWorld.txt`文件就会被移动到HDFS的`/javaApi`目录下。 总结来说，本教程详细阐述了使用Java API操作Hadoop分布式文件系统的基本步骤，包括创建目录和上传文件。这些基本操作对于任何需要在HDFS上进行数据处理的Java应用来说都是至关重要的。