将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

时间: 2023-07-08 21:52:34 浏览: 126

本地文件上传到HDFS

5星 · 资源好评率100%

### 本地文件上传到HDFS知识点详解 #### 一、Hadoop HDFS简介 Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，主要用于存储大量的数据，并且能够提供高吞吐量的数据访问能力，非常适合大规模数据集上的应用。HDFS被设计成适合运行在商用硬件上，其具有强大的容错能力。 #### 二、FileSystem API概述在Hadoop中，`FileSystem` API是用于操作HDFS的核心接口。通过这个API，用户可以进行文件的读写、复制等操作。本文将详细介绍如何使用`FileSystem` API来完成从本地文件系统向HDFS上传文件的过程。 #### 三、关键概念解析 1. **Configuration对象**：在使用`FileSystem` API之前，首先需要创建一个`Configuration`对象，该对象包含了Hadoop集群的相关配置信息。 2. **URI**：Uniform Resource Identifier（统一资源标识符），用于指定文件系统的位置，例如HDFS的地址。 3. **FileSystem对象**：`FileSystem`是用户操作HDFS的核心类，可以通过它执行文件系统的基本操作。 4. **Path对象**：表示文件或目录的路径。 #### 四、代码分析下面是对给定代码的详细解析： ##### 1. 导入必要的包 ```java import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ``` 这些包为处理HDFS提供了必要的工具，如处理异常、配置管理、路径管理和文件系统操作。 ##### 2. 定义主类和方法 ```java public class FileSystemDemo1 { public static void main(String[] args) throws IOException, URISyntaxException { //... } } ``` `main`方法是程序的入口点，用于初始化并调用文件上传方法。 ##### 3. 文件路径设置 ```java String source = "/home/wu/hadoop_file/hadoop_music_file/music3.txt"; String dest = "hdfs://192.168.128.130:9000/user/hadoop/music/"; ``` `source`变量表示本地文件路径，`dest`变量表示HDFS的目标路径。 ##### 4. 文件上传方法实现 ```java public static void copyFromLocal(String source, String dest) throws IOException, URISyntaxException { Configuration conf = new Configuration(); URI uri = new URI("hdfs://192.168.128.130:9000"); FileSystem fileSystem = FileSystem.get(uri, conf); Path srcPath = new Path(source); Path dstPath = new Path(dest); if (!(fileSystem.exists(dstPath))) { fileSystem.mkdirs(dstPath); } String filename = source.substring(source.lastIndexOf('/') + 1, source.length()); try { fileSystem.copyFromLocalFile(srcPath, dstPath); System.out.println("File " + filename + " copied to " + dest); } catch (Exception e) { System.err.println("Exception caught!:" + e); System.exit(1); } finally { fileSystem.close(); } } ``` - **读取Hadoop配置**：通过`Configuration`对象加载Hadoop配置。 - **获取文件系统实例**：使用`FileSystem.get()`方法获取HDFS文件系统的实例。 - **路径检查与创建**：检查目标路径是否存在，若不存在则创建相应的目录结构。 - **文件名提取**：从完整路径中提取出文件名。 - **文件上传**：调用`copyFromLocalFile()`方法将本地文件上传到HDFS。 - **资源释放**：确保关闭`FileSystem`对象，释放资源。 #### 五、总结通过上述代码，我们可以看到使用`FileSystem` API进行文件上传的过程。这种操作在大数据处理场景中非常常见，特别是在需要从多个数据源收集数据并集中存储时尤为重要。此外，理解这些API对于开发基于Hadoop的应用程序至关重要，可以帮助开发者更高效地管理和操作分布在HDFS中的大量数据。

您可以使用以下命令将本地文件 `/root/college/accidents.csv` 上传至HDFS的 `/crash` 目录下： ``` sudo -u hdfs hdfs dfs -put /root/college/accidents.csv /crash/ ``` 这将使用 `hdfs` 用户身份将文件上传到HDFS中的 `/crash` 目录。请确保在执行此命令之前已经创建了 `/crash` 目录，并且 `hdfs` 用户具有足够的权限将文件上传到该目录中。

阅读全文

将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

相关推荐

上传文件到HDFS

HDFS文件的上传

sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: hdfs: command not found

sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: unknown user: hdfs sudo: unable to initialize policy plugin

sudo -u hadoopusr hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: unknown user: hadoopusr sudo: unable to initialize policy plugin

hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ put: Call From hadoop000/172.18.32.73 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

hdfs dfs -put /root/college/accidents.csv HDFS://crash/ put: No FileSystem for scheme: HDFS

hdfs dfs -put /root/college/accidents.csv hdfs://crash/ -put: java.net.UnknownHostException: crash Usage: hadoop fs [generic options] -put [-f] [-p] [-l] <localsrc> ... <dst>

hdfs hdfs dfs -put /root/college/accidents.csv /crash/ Error: Could not find or load main class hdfs

数据地址：/root/college/accidents.csv 将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

usermod -d /home/hdfs hdfs usermod: no changes

地级市GDP及产业结构数据-最新.zip

2006-2023年上市公司资产误定价Misp数据集（4.9万样本，含原始数据、代码及结果，最新）.zip

Altera和Xilinx FPGA的从串配置模式比较

Spring Boot 教程源码项目：含多种功能示例.zip

R语言高级建模课程全集-最新整理.zip

Python绘制三维心形图案的技术方法

2024年下半年软考中级网络工程GRE与IPSEC的联动配置思路文档

四大政策效应评价方法全集-最新.zip

最新推荐

地级市GDP及产业结构数据-最新.zip

高清艺术文字图标资源，PNG和ICO格式免费下载

管理建模和仿真的文件

DMA技术：绕过CPU实现高效数据传输

SGM8701电压比较器如何在低功耗电池供电系统中实现高效率运作？

mui框架HTML5应用界面组件使用示例教程

"互动学习：行动中的多样性与论文攻读经历"

【数据传输高速公路】：总线系统的深度解析

如何结合PID算法调整PWM信号来优化电机速度控制？请提供实现这一过程的步骤和代码示例。

Vue.js开发利器：chrome-vue-devtools插件解析