我是基于阿里云的云服务器配置的 Hadoop,
配置是:1 核、2G 运存、40G 存储;系统是 Ubuntu16.04,64 位。
如果在配置过程有什么问题,先自己解决,解决不了及时向我反映。
下面进入正题
安装配置 Hadoop 环境之前,先要知道 Hadoop 有三种运行模式:
1. 单机模式(standalone)
单机模式是 Hadoop 的默认模式。当首次解压 Hadoop 的源码包时,Hadoop 无法了解
硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有 3 个 XML 文件均为空。
当配置文件为空时,Hadoop 会完全运行在本地。因为不需要与其他节点交互,单机模式就
不使用 HDFS,也不加载任何 Hadoop 的守护进程。该模式主要用于开发调试 MapReduce
程序的应用逻辑。
2. 伪分布模式(Pseudo-Distributed Mode)
伪分布模式在“单节点集群”上运行 Hadoop,其中所有的守护进程都运行在同一台机器
上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS 输入输
出,以及其他的守护进程交互。
3. 全分布模式(Fully Distributed Mode)
Hadoop 运行在一个集群上。
我安装的是单机模式
1. 创建 Hadoop 用户 hduser
(1) $ sudo useradd -m hduser -s /bin/bash
这条命令创建了可以登陆的 hduser 用户,并使用 /bin/bash 作为 shell。
注:每一个$后面就是一条语句,写的时候不写$,#之后是注释,也不写,以后不再赘述
(2) $ sudo passwd hduser
接着,这条语句是设置密码,可任意设置,简单点设置自己的名字就行,按提示输入两次密
码。
(3) $ sudo adduser hduser sudo
接着,这条语句是为 hadoop 用户增加管理员权限,方便部署。
(4) $ sudo su hduser
输入上述语句,在输入密码后,就进入了 hduser 用户。
2. 安装 SSH、配置 SSH 无密码登陆
(1) $ sudo apt-get install openssh-server
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,
并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server,利