centos7安装hadoop单机
时间: 2024-12-25 08:16:42 浏览: 2
在 CentOS 7 中安装 Hadoop 单机版主要包括几个步骤,假设你已经连接了网络并且有必要的权限:
1. **更新系统**:
```
sudo yum update -y
```
2. **安装 Java**:
Hadoop需要Java运行环境,你可以选择官方推荐版本(如JDK 8 或更高),例如:
```
sudo yum install java-1.8.0-openjdk-devel -y
```
3. **下载Hadoop**:
从Apache官网下载适合CentOS 7的Hadoop二进制包,通常建议下载Hadoop 2.x系列(如Hadoop 2.7或以上),然后解压到一个目录,比如`/usr/local/hadoop`:
```
wget http://www.apache.org/dist/hadoop/common/hadoop-2.x/stable/hadoop-2.x.y.tar.gz
tar -zxvf hadoop-2.x.y.tar.gz -C /usr/local/
```
4. **配置Hadoop**:
- 创建必要的目录结构:`sudo mkdir -p /usr/local/hadoop/etc/hadoop`
- 配置核心-site.xml、hdfs-site.xml和mapred-site.xml等文件。这通常涉及修改`core-site.xml`中的`fs.default.name`设置为`hdfs://localhost:9000`,`hdfs-site.xml`中的`dfs.replication`设置为1,以及`mapred-site.xml`中的相关设置。
- 编辑`vim /etc/profile`添加Hadoop环境变量,例如:
```bash
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.265-0.b17.el7_7.x86_64
export PATH=$JAVA_HOME/bin:$PATH:/usr/local/hadoop/bin
```
5. **启动Hadoop服务**:
- 初始化HDFS集群:`cd /usr/local/hadoop && ./sbin/hadoop namenode -format`
- 启动守护进程:`./sbin/start-dfs.sh` 和 `./sbin/start-yarn.sh`
6. **验证安装**:
使用命令行工具如`jps`检查Hadoop进程是否正在运行,通过浏览器访问`http://localhost:50070`查看Hadoop Web UI。
阅读全文