Hadoop集群搭建详细步骤

hadoop搭建步骤 Hadoop是Apache开源项目中的一个分布式计算框架，主要用于处理大数据。下面是Hadoop搭建步骤的详细介绍： 环境准备 * 操作系统：CentOS-5.4-x86_64-bin-DVD.iso * Java版本：1.6.0_26 * Hadoop版本：hadoop-0.21.0 网络配置 * 对所有机器上手工设置静态IP * 编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，添加以下内容： + DEVICE=eth0 + BOOTPROTO=static + HWADDR=00:0C:29:12:0B:0E + IPADDR=10.10.166.* + NETMASK=255.255.255.0 + GATEWAY=10.10.166.1 + TYPE=Ethernet + IPV6INIT=no + IPV6_AUTOCONF=no + ONBOOT=yes * 编辑/etc/resolv.conf文件，配置DNS： + nameserver 10.103.10.1 + nameserver 10.103.10.2 * 重启网络服务：servicenetworkrestart或/etc/init.d/networkrestart 主机名解析 * 对每台机器的/etc/hosts文件，增加以下内容： + 10.10.166.100 master + 10.10.166.101 slave1 + 10.10.166.102 slave2 Java安装 * 新建/usr/java文件夹 * 把jdk-6u26-linux-x64.bin拷贝到该文件夹 * 增加执行权限：chmod a+x jdk-6u26-linux-x64.bin * 运行./jdk-6u26-linux-x64.bin * 对/etc/profile末尾增加环境变量： + export JAVA_HOME=/usr/java/jdk1.6.0_26 + export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar + export PATH=$PATH:$JAVA_HOME/bin * 运行source /etc/profile生效，查看java命令来测试是安装成功 SSH安装 * 这个版本下ssh已经自动安装了，如果没安装可以用sudo yum install ssh命令安装 Hadoop用户组和用户创建 * 创建hadoop用户组和用户 Hadoop安装 * 安装Hadoop，详细步骤略... 通过上述步骤，可以完成Hadoop的搭建工作。需要注意的是，Hadoop的搭建需要多台机器，至少需要一台Master节点和两台Slave节点。同时，需要手工设置静态IP和配置DNS。另外，Java和SSH也是必不可少的组件。