IDEA+Maven 实现 HDFS 的文件上传、下载

在 IntelliJ IDEA 中利用 Maven 实现 Hadoop Distributed File System (HDFS) 文件上传和下载，你需要做以下几个步骤：

1. **设置环境**:
- 安装并配置好 Java 和 Maven。确保你有 Apache Hadoop 和 Hadoop Client（如 hdfs-client 或 hadoop-common）的库版本。
- 配置你的系统变量，包括 HADOOP_HOME 和 PATH，以便运行 HDFS 命令。

2. **添加依赖**:
在 `pom.xml` 文件中添加 Hadoop 相关的 Maven 仓库和依赖：

   <dependencies>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-client</artifactId>
           <version>your-hadoop-version</version>
       </dependency>
   </dependencies>

3. **编写代码**:
使用 Hadoop 的 `FileSystem` API 来操作 HDFS。以下是一个简单的示例，展示了如何上传和下载文件：

   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.FileSystem;
   import org.apache.hadoop.fs.Path;

   public class HDFSUtil {
       private static final String HDFS_URI = "hdfs://localhost:9000"; // 根据实际情况修改

       public static void uploadFileToHDFS(String localFilePath, String remotePath) throws Exception {
           Configuration conf = new Configuration();
           FileSystem fs = FileSystem.get(conf);
           Path outputPath = new Path(HDFS_URI + remotePath);
           fs.copyFromLocalFile(new Path(localFilePath), outputPath);
       }

       public static void downloadFileFromHDFS(String remoteFilePath, String localDestinationPath) throws Exception {
           Configuration conf = new Configuration();
           FileSystem fs = FileSystem.get(conf);
           Path inputFile = new Path(HDFS_URI + remoteFilePath);
           fs.copyToLocalFile(inputFile, new Path(localDestinationPath));
       }
   }

4. **测试**:
创建一个主类实例化 `HDFSUtil` 类，并调用对应的上传和下载方法：

   public static void main(String[] args) {
       try {
           HDFSUtil.uploadFileToHDFS("local/path/to/file.txt", "/remote/path");
           HDFSUtil.downloadFileFromHDFS("/remote/path/file.txt", "local/download/directory");
       } catch (Exception e) {
           e.printStackTrace();
       }
   }