将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

时间: 2023-07-08 15:52:44 浏览: 231

本地文件上传到HDFS

5星 · 资源好评率100%

### 本地文件上传到HDFS知识点详解 #### 一、Hadoop HDFS简介 Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，主要用于存储大量的数据，并且能够提供高吞吐量的数据访问能力，非常适合大规模数据集上的应用。HDFS被设计成适合运行在商用硬件上，其具有强大的容错能力。 #### 二、FileSystem API概述在Hadoop中，`FileSystem` API是用于操作HDFS的核心接口。通过这个API，用户可以进行文件的读写、复制等操作。本文将详细介绍如何使用`FileSystem` API来完成从本地文件系统向HDFS上传文件的过程。 #### 三、关键概念解析 1. **Configuration对象**：在使用`FileSystem` API之前，首先需要创建一个`Configuration`对象，该对象包含了Hadoop集群的相关配置信息。 2. **URI**：Uniform Resource Identifier（统一资源标识符），用于指定文件系统的位置，例如HDFS的地址。 3. **FileSystem对象**：`FileSystem`是用户操作HDFS的核心类，可以通过它执行文件系统的基本操作。 4. **Path对象**：表示文件或目录的路径。 #### 四、代码分析下面是对给定代码的详细解析： ##### 1. 导入必要的包 ```java import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ``` 这些包为处理HDFS提供了必要的工具，如处理异常、配置管理、路径管理和文件系统操作。 ##### 2. 定义主类和方法 ```java public class FileSystemDemo1 { public static void main(String[] args) throws IOException, URISyntaxException { //... } } ``` `main`方法是程序的入口点，用于初始化并调用文件上传方法。 ##### 3. 文件路径设置 ```java String source = "/home/wu/hadoop_file/hadoop_music_file/music3.txt"; String dest = "hdfs://192.168.128.130:9000/user/hadoop/music/"; ``` `source`变量表示本地文件路径，`dest`变量表示HDFS的目标路径。 ##### 4. 文件上传方法实现 ```java public static void copyFromLocal(String source, String dest) throws IOException, URISyntaxException { Configuration conf = new Configuration(); URI uri = new URI("hdfs://192.168.128.130:9000"); FileSystem fileSystem = FileSystem.get(uri, conf); Path srcPath = new Path(source); Path dstPath = new Path(dest); if (!(fileSystem.exists(dstPath))) { fileSystem.mkdirs(dstPath); } String filename = source.substring(source.lastIndexOf('/') + 1, source.length()); try { fileSystem.copyFromLocalFile(srcPath, dstPath); System.out.println("File " + filename + " copied to " + dest); } catch (Exception e) { System.err.println("Exception caught!:" + e); System.exit(1); } finally { fileSystem.close(); } } ``` - **读取Hadoop配置**：通过`Configuration`对象加载Hadoop配置。 - **获取文件系统实例**：使用`FileSystem.get()`方法获取HDFS文件系统的实例。 - **路径检查与创建**：检查目标路径是否存在，若不存在则创建相应的目录结构。 - **文件名提取**：从完整路径中提取出文件名。 - **文件上传**：调用`copyFromLocalFile()`方法将本地文件上传到HDFS。 - **资源释放**：确保关闭`FileSystem`对象，释放资源。 #### 五、总结通过上述代码，我们可以看到使用`FileSystem` API进行文件上传的过程。这种操作在大数据处理场景中非常常见，特别是在需要从多个数据源收集数据并集中存储时尤为重要。此外，理解这些API对于开发基于Hadoop的应用程序至关重要，可以帮助开发者更高效地管理和操作分布在HDFS中的大量数据。

您可以使用以下命令将本地数据/root/college/accidents.csv上传至HDFS的/crash目录下： ``` hdfs dfs -put /root/college/accidents.csv /crash/ ``` 其中，hdfs dfs -put是将本地文件上传至HDFS的命令，/root/college/accidents.csv是本地文件的路径，/crash/是HDFS中的目标目录。执行完毕后，您可以使用以下命令查看/crash目录下是否存在accidents.csv文件： ``` hdfs dfs -ls /crash/ ```

阅读全文

将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

相关推荐

上传文件到HDFS

HDFS文件的上传

sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: hdfs: command not found

sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: unknown user: hdfs sudo: unable to initialize policy plugin

sudo -u hadoopusr hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: unknown user: hadoopusr sudo: unable to initialize policy plugin

hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ put: Call From hadoop000/172.18.32.73 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

hdfs dfs -put /root/college/accidents.csv HDFS://crash/ put: No FileSystem for scheme: HDFS

hdfs dfs -put /root/college/accidents.csv hdfs://crash/ -put: java.net.UnknownHostException: crash Usage: hadoop fs [generic options] -put [-f] [-p] [-l] <localsrc> ... <dst>

hdfs hdfs dfs -put /root/college/accidents.csv /crash/ Error: Could not find or load main class hdfs

数据地址：/root/college/accidents.csv 将本地数据/root/college/accidents.csv上传至HDFS://crash目录下

usermod -d /home/hdfs hdfs usermod: no changes

YOLO算法-城市电杆数据集-496张图像带标签-电杆.zip

(177406840)JAVA图书管理系统毕业设计(源代码+论文).rar

(35734838)信号与系统实验一实验报告

YOLO算法-椅子检测故障数据集-300张图像带标签.zip

基于小程序的新冠抗原自测平台小程序源代码（java+小程序+mysql+LW）.zip

YOLO算法-俯视视角草原绵羊检测数据集-4133张图像带标签-羊.zip

(171674830)PYQT5+openCV项目实战：微循环仪图片、视频记录和人工对比软件源码

新建 文本文档.docx

最新推荐

YOLO算法-城市电杆数据集-496张图像带标签-电杆.zip

(177406840)JAVA图书管理系统毕业设计(源代码+论文).rar

Java毕业设计项目：校园二手交易网站开发指南

管理建模和仿真的文件

【MVC标准化：肌电信号处理的终极指南】：提升数据质量的10大关键步骤与工具

能否提供一个在R语言中执行Framingham数据集判别分析的详细和完整的代码示例？

Blaseball Plus插件开发与构建教程

"互动学习：行动中的多样性与论文攻读经历"

【天线性能提升密籍】：深入探究均匀线阵方向图设计原则及案例分析

C#怎么把图片存入名为当前日期的文件夹里

新建文本文档.docx