centos 安装hadoop
时间: 2023-08-26 15:07:10 浏览: 113
以下是在 CentOS 上安装 Hadoop 的步骤:
1. 下载 Hadoop 安装包
在 Hadoop 官网上下载最新版本的 Hadoop 安装包,解压到一个目录下,例如 `/usr/local/hadoop`。
2. 配置 Java 环境
Hadoop 是用 Java 开发的,所以需要先配置 Java 环境。可以使用以下命令安装 OpenJDK:
```
sudo yum install java-1.8.0-openjdk-devel
```
安装完成后,可以使用以下命令检查 Java 是否安装成功:
```
java -version
```
3. 配置 Hadoop
在 Hadoop 安装目录下,编辑 `etc/hadoop/hadoop-env.sh` 文件,设置 `JAVA_HOME` 变量为 Java 的安装路径:
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
```
在 Hadoop 安装目录下,编辑 `etc/hadoop/core-site.xml` 文件,添加以下内容:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
在 Hadoop 安装目录下,编辑 `etc/hadoop/hdfs-site.xml` 文件,添加以下内容:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
4. 启动 Hadoop
使用以下命令启动 Hadoop:
```
sbin/start-dfs.sh
```
使用以下命令检查 Hadoop 是否启动成功:
```
jps
```
如果输出中包含 `NameNode`、`DataNode` 和 `SecondaryNameNode`,则表示 Hadoop 启动成功。
5. 测试 Hadoop
使用以下命令创建一个目录:
```
bin/hdfs dfs -mkdir /test
```
使用以下命令上传一个文件:
```
bin/hdfs dfs -put etc/hadoop/hadoop-env.sh /test
```
使用以下命令列出目录中的文件:
```
bin/hdfs dfs -ls /test
```
如果能够看到上传的文件,则表示 Hadoop 安装和配置成功。
注:以上步骤仅为 Hadoop 安装和配置的基本步骤,具体安装和配置步骤可能因版本不同而有所不同,具体可以参考 Hadoop 官方文档。
阅读全文