Hadoop2安装教程与常用Shell命令指南

本文主要介绍了如何在 CentOS/Redhat Linux 6.4_x64 系统上安装 Hadoop 2，并提供了相关的 shell 命令。内容包括配置主机名、网络设置、时间同步以及创建用户和目录，还提到了 Hadoop 的版本备份和切换。 在安装 Hadoop 2 之前，首先要确保操作系统是支持的 CentOS 或 Redhat Linux 版本。然后，对主机名进行设置，将 hostname 设置为 `ha-nn-001`，并更新 `/etc/sysconfig/network` 文件中的 `HOSTNAME` 变量。同时，编辑 `/etc/hosts` 文件，添加所有节点的 IP 地址和主机名映射，以便于集群内的通信。 时间同步对于 Hadoop 集群至关重要，特别是 NameNode。可以通过 NTP 协议来实现。在 `/etc/ntp.conf` 文件中，取消注释并指定一个已知的 NTP 服务器，如 `ha-nn-001`，然后启动和启用 ntpd 服务。为了确保集群内部通信不受防火墙干扰，需要关闭 iptables 服务，并禁用 SELinux。 接下来创建 Hadoop 用户组和用户。首先创建 `hadoop` 组，然后创建用户 `hadoop`，并将家目录设为 `/hadoop`。为确保用户权限正确，使用 `chown` 命令将 `/hadoop` 目录的所有权更改为 `hadoop` 用户和组。 在安装 Hadoop 时，通常需要下载 Hadoop 的 tarball 文件，并将其解压到合适的目录，如 `/hadoop`。在执行此操作前，建议先创建一个备份目录，例如 `hadoopv1-bak`，将当前的 Hadoop 文件移动到备份目录，然后解压缩新版本到 `/hadoop` 目录下。最后，切换到 `hadoop` 用户，执行相关命令来初始化和启动 Hadoop。 在 Hadoop 集群中，NameNode 是关键组件，负责存储元数据和管理文件系统的命名空间。DataNode 是数据存储节点，它们会根据客户端的请求读写数据块。Hadoop 的 Shell 命令主要用于集群的管理和监控，如启动、停止 Hadoop 服务，查看集群状态，以及执行 MapReduce 任务等。 常用的一些 Hadoop Shell 命令包括： 1. `hdfs dfsadmin -report`：显示集群的状态，包括 DataNodes 数量、存储容量等。 2. `hadoop fs -ls <path>`：列出指定路径下的文件和目录。 3. `hadoop fs -put <local_file> <hdfs_path>`：将本地文件上传到 HDFS。 4. `hadoop fs -get <hdfs_path> <local_path>`：将 HDFS 上的文件下载到本地。 5. `hadoop fs -rm <hdfs_path>`：删除 HDFS 上的文件或目录。 6. `sbin/start-dfs.sh` 和 `sbin/stop-dfs.sh`：分别用于启动和停止整个 Hadoop DFS 服务。 理解并掌握这些基本的安装步骤和 Shell 命令，将有助于管理和维护一个稳定高效的 Hadoop 集群。