RHEL 5.4-64bit 服务器上配置 Hadoop 2.0.5 集群环境

版权申诉
0 下载量 26 浏览量 更新于2024-07-02 收藏 1.71MB DOCX 举报
"Hadoop集群配置在RHEL 5.4-64bit服务器上" Hadoop是一种分布式计算框架,主要用于处理大规模数据集。为了在RHEL 5.4-64bit服务器上配置Hadoop集群,需要完成以下步骤。 首先,需要创建账户,使用root登陆所有机器后,创建hadoop用户,并设置密码。然后,使用hadoop用户登录并创建相关的目录,包括数据节点存放的路径、代码及工具存放的路径等。 在创建目录后,需要定义需要数据及目录的存放路径,这包括数据节点存放目录、代码及工具存放目录等。同时,需要设置可写权限,以确保hadoop用户可以访问这些目录。 接下来,需要安装JDK,JDK是Hadoop的运行环境。首先,需要下载JDK安装程序,上传到/usr/java下,然后执行安装命令,配置环境变量,并将JAVA_HOME设置为/usr/java。 在安装JDK后,需要配置Hadoop集群。Hadoop集群包括一个Master节点和多个Slave节点,Master节点负责总管分布式数据和分解任务的执行,而Slave节点负责分布式数据存储以及任务的执行。在配置Hadoop集群时,需要根据实际情况配置NameNode、DataNode、JobTracker和TaskTracker等组件。 在配置Hadoop集群时,需要注意以下几点: *_Master节点主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行。 * _Slave节点配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。 * 需要配置备用的Master节点,以防止Master服务器宕机。 配置Hadoop集群需要完成账户创建、目录创建、JDK安装、Hadoop配置等步骤。同时,需要根据实际情况配置Hadoop集群的组件,以确保Hadoop集群的高效运行。 知识点: * Hadoop集群的配置 * RHEL 5.4-64bit服务器的使用 * 账户创建和权限设置 * JDK的安装和配置 * Hadoop组件的配置,包括NameNode、DataNode、JobTracker和TaskTracker等 * Hadoop集群的高效运行需要备用的Master节点 配置Hadoop集群需要具备一定的计算机知识和经验,需要根据实际情况配置Hadoop集群的组件,以确保Hadoop集群的高效运行。

为什么会这样[user_mongo@nosql01 replicaset]$ cd /opt [user_mongo@nosql01 opt]$ ll total 0 drwxr-xr-x. 3 root root 25 Mar 16 17:08 servers drwxr-xr-x. 2 root root 51 Mar 16 17:10 software [user_mongo@nosql01 opt]$ tar -zxvf /opt/software/mongodb-linux-x86_64-rhel70-4.4.12.tgz -C /opt/servers/mongodb_demo/replicaset/ mongodb-linux-x86_64-rhel70-4.4.12/LICENSE-Community.txt tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/LICENSE-Community.txt: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/MPL-2 tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/MPL-2: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/README tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/README: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/THIRD-PARTY-NOTICES tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/THIRD-PARTY-NOTICES: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/bin/install_compass tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/bin/install_compass: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/bin/mongo tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/bin/mongo: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/bin/mongod tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/bin/mongod: Cannot open: No such file or directory mongodb-linux-x86_64-rhel70-4.4.12/bin/mongos tar: mongodb-linux-x86_64-rhel70-4.4.12: Cannot mkdir: Permission denied tar: mongodb-linux-x86_64-rhel70-4.4.12/bin/mongos: Cannot open: No such file or directory tar: Exiting with failure status due to previous errors [user_mongo@nosql01 opt]$ tar -zcvf /opt/software/mongodb-linux-x86_64-rhel70-4.4.12.tgz -C /opt/servers/mongodb_demo/replicaset/ tar: Cowardly refusing to create an empty archive Try `tar --help' or `tar --usage' for more information.

2023-06-01 上传