hadoop-daemon.sh 无命令

时间: 2023-04-24 07:00:32 浏览: 505

DOCX

CentOS下Hadoop-0.20.2集群配置文档.docx

在配置Hadoop-0.20.2集群于CentOS系统时，首先需要了解集群的基本网络环境。在这个案例中，集群由三个节点组成：一个NameNode和两个DataNode。它们通过局域网相互连接，可以相互ping通。每个节点都运行着CentOS操作系统，并且有一个名为hadoop的用户，该用户拥有管理员权限。在每个节点的/home/hadoop/install目录下，存放着hadoop-0.20.2的安装文件。为了实现Hadoop集群的正常运行，第一步是配置SSH无密码登录。SSH（Secure Shell）协议用于节点间的安全通信，NameNode需要能够无密码登录DataNode，反之亦然，以便进行数据同步和集群管理。为此，首先要在所有节点上安装SSH并启动服务，通过执行"sudo yum install ssh"和"sudo yum install rsync"安装SSH和rsync，然后重启SSH服务。接下来，配置NameNode无密码登录所有DataNode。在NameNode节点上，使用ssh-keygen命令生成RSA密钥对。默认情况下，私钥保存在/home/hadoop/.ssh/id_rsa，公钥保存在/home/hadoop/.ssh/id_rsa.pub。为了实现无密码登录，需要将NameNode的公钥复制到每个DataNode的.ssh/authorized_keys文件中。如果该文件不存在，需要创建。完成这一步后，可以通过"ssh 节点ip地址"命令测试无密码登录是否成功。同样的步骤也适用于配置DataNode无密码登录NameNode。只需将DataNode的公钥复制到NameNode的.ssh/authorized_keys文件中。在进行SSH无密码登录配置时，还需要确保/etc/ssh/sshd_config配置文件启用了公钥认证。如果没有修改此文件，通常默认情况下公钥认证是开启的。集群配置的另一个关键部分是安装JDK并配置Java环境变量。在所有节点上，都需要安装JDK 1.6，可以使用"sudo yum install jdk1.6.x"命令进行安装。安装完成后，需要设置JAVA_HOME环境变量，使其指向JDK的安装路径，例如"/usr/java/jdk1.6.x"。同时，还需将JDK的bin目录添加到PATH环境变量中，以便系统可以在任何地方调用Java命令。总结来说，配置Hadoop-0.20.2集群在CentOS上的主要步骤包括： 1. 确保集群节点间网络连通。 2. 在所有节点上安装SSH和rsync，启动SSH服务。 3. 在NameNode上生成RSA密钥对，并将公钥复制到DataNode的.ssh/authorized_keys文件。 4. 在DataNode上生成RSA密钥对，并将公钥复制到NameNode的.ssh/authorized_keys文件。 5. 验证SSH无密码登录功能。 6. 在所有节点上安装JDK 1.6，并配置Java环境变量。完成以上步骤后，Hadoop集群的基础环境就已经准备就绪，可以进一步配置Hadoop的配置文件（如hadoop-site.xml和core-site.xml），以及NameNode和DataNode的启动脚本，以实现完整的Hadoop分布式文件系统（HDFS）和MapReduce服务。

"hadoop-daemon.sh 无命令" 的意思是执行 hadoop-daemon.sh 命令时没有指定具体的子命令。hadoop-daemon.sh 是 Hadoop 的一个脚本文件，用于启动、停止、重启 Hadoop 的各个组件（如 NameNode、DataNode、ResourceManager、NodeManager 等）。如果没有指定具体的子命令，那么该脚本就不知道要执行什么操作，就会提示 "无命令" 的错误信息。因此，使用 hadoop-daemon.sh 命令时需要指定具体的子命令，例如启动 NameNode 组件的命令为：hadoop-daemon.sh start namenode。

阅读全文

相关推荐

CSDN会员

开通CSDN年卡参与万元壕礼抽奖

海量 VIP免费资源千本正版电子书商城会员专享价千门课程&专栏

全年可省5,000元立即开通