centos安装hadoop
时间: 2023-10-19 22:28:40 浏览: 99
要在 CentOS 中安装 Hadoop,可以按照以下步骤进行操作:
1. 安装 Java
```
sudo yum install java-1.8.0-openjdk-devel
```
2. 下载 Hadoop
```
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
```
3. 解压 Hadoop
```
tar -xzvf hadoop-3.3.0.tar.gz
```
4. 配置环境变量
```
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
其中,`/path/to/hadoop` 是你 Hadoop 解压的路径。
5. 配置 Hadoop
```
cd $HADOOP_HOME/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
cp core-site.xml.template core-site.xml
cp hdfs-site.xml.template hdfs-site.xml
```
6. 修改配置文件
在 `core-site.xml` 中添加以下内容:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
在 `hdfs-site.xml` 中添加以下内容:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/path/to/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/path/to/hadoop/data/dfs/datanode</value>
</property>
</configuration>
```
注意:需要将 `/path/to/hadoop` 改成你的 Hadoop 安装路径。
7. 格式化 Hadoop 文件系统
```
hdfs namenode -format
```
8. 启动 Hadoop
```
start-dfs.sh
start-yarn.sh
```
注意:hdfs 的启动依赖于 yarn,所以需要先启动 yarn。
9. 验证 Hadoop 是否启动成功
在浏览器中访问 http://localhost:9870/,如果能够看到 Hadoop 的 Web 界面,则说明 Hadoop 启动成功。
注意:以上步骤可能因为操作系统、Hadoop 版本等因素而有所不同。建议在使用 Hadoop 之前,详细阅读官方文档并按照官方文档进行操作。
阅读全文