scp -r /var/log/hadoop/tmp/hdfs/nn/* slave01:/var/log/hadoop/tmp/hdfs/nn/

时间: 2023-10-10 22:12:52 浏览: 135

Hadoop（HDFS文件系统）命令操作

### Hadoop HDFS 文件系统命令操作详解 #### HDFS 概念与组成 **1.1 概念** HDFS，即 Hadoop Distributed File System，是一种分布式文件系统，主要用于存储大规模数据集。它通过目录树结构来组织文件，并且是由多台服务器联合起来共同提供服务的，每台服务器在集群中扮演特定的角色。 **1.2 组成** - **NameNode**：负责管理整个文件系统的元数据，包括文件的目录树信息、每个文件对应的块信息等。 - **DataNode**：存储实际的数据块。为了保证数据的安全性和可用性，通常会在不同的 DataNode 上为每个数据块创建多个副本。 - **Secondary NameNode**：辅助 NameNode 运作，主要负责定期合并 NameNode 的元数据文件，并帮助 NameNode 备份数据，减轻 NameNode 的压力。 **1.3 HDFS 文件块大小** HDFS 中文件是以块的形式存储在 DataNode 上的，块的大小可通过 `dfs.blocksize` 参数配置。在 Hadoop 2.x 版本中，默认值为 128MB，在更早的版本中则为 64MB。较大的块大小可以减少寻址开销，因为传输数据的时间远大于定位数据块所需的时间。 #### 命令行操作 HDFS 提供了一系列命令行工具，用户可以通过这些命令来操作 HDFS 中的文件和目录。 **2.1 基本语法** 基本命令格式为 `bin/hadoop fs [具体命令]`。 **2.2 参数大全** HDFS 支持多种命令行参数，下面是部分常用的命令及其解释： - **-appendToFile <localsrc> <dst>**：将本地文件追加到 HDFS 文件的末尾。 - **-cat [-ignoreCrc] <src>**：显示 HDFS 文件的内容。忽略 CRC 校验。 - **-checksum <src>**：显示文件的校验和。 - **-chgrp [-R] GROUP PATH**：更改文件或目录的所有组。 - **-chmod [-R] <MODE[,MODE]>|OCTALMODE> PATH**：更改文件或目录的权限。 - **-chown [-R] [OWNER][:[GROUP]] PATH**：更改文件或目录的所有者。 - **-copyFromLocal [-f] [-p] <localsrc> <dst>**：从本地复制文件到 HDFS。 - **-copyToLocal [-p] [-ignoreCrc] [-crc] <src> <localdst>**：从 HDFS 复制文件到本地。 - **-count [-q] <path>**：统计指定目录下的文件数量和大小。 - **-cp [-f] [-p] <src> <dst>**：在 HDFS 内部复制文件或目录。 - **-createSnapshot <snapshotDir> [<snapshotName>]**：为指定目录创建快照。 - **-deleteSnapshot <snapshotDir> <snapshotName>**：删除指定目录的快照。 - **-df [-h] [<path>]**：显示文件系统的磁盘空间使用情况。 - **-du [-s] [-h] <path>**：显示指定文件或目录的磁盘使用情况。 - **-expunge**：清理已删除的文件。 - **-get [-p] [-ignoreCrc] [-crc] <src> <localdst>**：从 HDFS 获取文件并保存到本地。 - **-getfacl [-R] <path>**：显示文件或目录的访问控制列表 (ACL)。 - **-getmerge [-nl] <src> <localdst>**：合并 HDFS 中的多个文件为本地的一个文件。 - **-help [cmd]**：显示命令的帮助信息。 - **-ls [-d] [-h] [-R] [<path>]**：列出指定目录的内容。 - **-mkdir [-p] <path>**：在 HDFS 中创建目录。 - **-moveFromLocal <localsrc> <dst>**：从本地移动文件到 HDFS。 - **-moveToLocal <src> <localdst>**：从 HDFS 移动文件到本地。 - **-mv <src> <dst>**：在 HDFS 内部移动或重命名文件或目录。 - **-put [-f] [-p] <localsrc> <dst>**：将本地文件上传到 HDFS。 - **-rm [-f] [-r|-R] [-skipTrash] <src>**：删除 HDFS 中的文件或目录。 - **-rmdir [--ignore-fail-on-non-empty] <dir>**：删除空目录。 - **-setfacl [-R] [{-b|-k}{-m|-x<acl_spec>} <path>] | [--set <acl_spec> <path>]**：设置文件或目录的 ACL。 - **-setrep [-R] [-w] <rep> <path>**：更改文件或目录的副本数。 - **-stat [format] <path>**：显示文件的状态信息。 - **-tail [-f] <file>**：显示文件的最后几行。 - **-test -[defsz] <path>**：测试文件或目录的状态。 - **-text [-ignoreCrc] <src>**：以文本形式显示文件内容。 - **-touchz <path>**：创建一个新的空文件。 - **-usage [cmd]**：显示命令的用法。 **2.3 常用命令实操** - **-help**：输出这个命令的参数帮助信息。例如： ```bash bin/hdfs dfs -help rm ``` - **-ls**：显示目录信息。例如： ```bash hadoop fs -ls / ``` - **-mkdir**：在 HDFS 上创建目录。例如： ```bash hadoop fs -mkdir -p /hdfs/路径 ``` - **-moveFromLocal**：从本地剪切并粘贴到 HDFS。例如： ```bash hadoop fs -moveFromLocal /本地/路径 /hdfs/目标路径 ``` 通过以上介绍可以看出，HDFS 提供了丰富的命令行工具，可以帮助用户高效地管理和操作分布在不同节点上的大量数据。熟悉并掌握这些命令对于进行大数据处理工作至关重要。

要将/var/log/hadoop/tmp/hdfs/nn/目录下的所有文件复制到slave01服务器的/var/log/hadoop/tmp/hdfs/nn/目录下，可以使用以下命令： ```shell scp -r /var/log/hadoop/tmp/hdfs/nn/* slave01:/var/log/hadoop/tmp/hdfs/nn/ ``` 这将递归地复制源目录中的所有文件到目标目录。

阅读全文

scp -r /var/log/hadoop/tmp/hdfs/nn/* slave01:/var/log/hadoop/tmp/hdfs/nn/

相关推荐

java操作hadoop的hdfs的各种操作

Hadoop之HDFS的shell操作

Hadoop HDFS配置

云计算平台Hadoop部署：同步文件夹与HDFS解析

hadoop-0.20.2安装手册

实验1-安装Hadoop1

hadoop搭建

hadoop安装

hadoop练习题--带答案.pdf

hadoop安装学习

使用i-stack搭建1+3集群：Hadoop环境配置与JDK安装

Hadoop集群安装手册：从零到运行

VirtualBox 中部署Hadoop分布式集群：三步走与问题解决方案

Hadoop集群配置教程：详解主机映射与SSH设置

Hadoop完全分布式安装手册：4台虚拟机实战

Cloudera Hadoop 5.8.3集群搭建教程：三台Ubuntu虚拟机

HDFS安全模式实战指南：8个集群维护技巧助你提升效率

最新推荐

单片机与DSP中的瑞萨 M16C/6S系列单片机

bash脚本中将密码传递给ssh/scp命令方法详解

A级景区数据文件json

JHU荣誉单变量微积分课程教案介绍

管理建模和仿真的文件

【实战篇：自定义损失函数】：构建独特损失函数解决特定问题，优化模型性能

如何在ZYNQMP平台上配置TUSB1210 USB接口芯片以实现Host模式，并确保与Linux内核的兼容性？

Naruto爱好者必备CLI测试应用

"互动学习：行动中的多样性与论文攻读经历"

【强化学习损失函数探索】：奖励函数与损失函数的深入联系及优化策略