第2关：利用Java API把电商数据上传到HDFS

在第二关中，要将电商数据上传到Apache Hadoop分布式文件系统（HDFS），通常会使用Java API，特别是Hadoop的Hadoop Distributed File System (HDFS) Client API。以下是简要步骤：

1. **设置环境**:
- 首先，确保已安装Hadoop，并配置好环境变量，包括`hadoop-client`库路径。

2. **创建HDFS连接**:
使用`Configuration`类加载HDFS配置信息，例如核心-site.xml中的集群地址 (`fs.defaultFS`)。

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://your-cluster-host:port");
FileSystem fs = FileSystem.get(conf);

3. **读取本地文件**:
确定你要上传的电商数据文件路径，然后使用`FileInputStream`打开它。

Path filePath = new Path("localFilePath");
FileStatus fileStatus = fs.getFileStatus(filePath);
BufferedReader reader = new BufferedReader(new InputStreamReader(fs.open(fileStatus.getPath())));

4. **创建HDFS文件流**:
创建一个新的`DataOutputStream`，这将在HDFS上创建一个新的文件或追加到现有文件。

String hdfsDestinationPath = "hdfsDestinationPath";
DataOutputStream outputStream = fs.create(new Path(hdfsDestinationPath));

5. **复制数据**:
将本地文件内容逐行读入并写入到HDFS文件流中。

String line;
while ((line = reader.readLine()) != null) {
    outputStream.writeBytes(line);
}

6. **关闭资源**:
当数据传输完成之后，记得关闭所有连接。

outputStream.close();
reader.close();
fs.close();