centos7安装单机hadoop
时间: 2024-10-18 11:01:16 浏览: 21
centos7 安装 hbase单机版
5星 · 资源好评率100%
在 CentOS 7 系统上安装单机 Hadoop 需要几个步骤,因为 Hadoop 包含多个组件,包括 HDFS(Hadoop Distributed File System)和 YARN(Yet Another Resource Negotiator)。以下是基本的安装流程:
1. **更新系统**:
```
sudo yum update -y
```
2. **安装依赖包**:
```
sudo yum install -y java-1.8.0-openjdk-devel tar curl wget
```
3. **下载 Hadoop**:
```
mkdir hadoop
cd hadoop
wget http://mirrors.aliyun.com/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz
```
4. **解压并配置**:
```
tar xzf hadoop-3.2.3.tar.gz
cd hadoop-3.2.3
cp conf.dist/* conf
vi conf/core-site.xml # 修改dfs.name.dir属性,指定HDFS数据目录
vi conf/hdfs-site.xml # 可选,设置其他HDFS配置
```
5. **配置环境变量**:
在~/.bashrc 或 ~/.bash_profile文件中添加以下内容:
```bash
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=$(pwd)
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true"
```
6. **启动守护进程**:
```
bin/start-dfs.sh
bin/start-yarn.sh
```
7. **验证安装**:
使用`jps`命令检查是否运行了NameNode、DataNode、ResourceManager和NodeManager等进程。
阅读全文