ubuntuHadoop伪分布式配置
时间: 2023-11-05 18:54:13 浏览: 119
要在Ubuntu上进行Hadoop的伪分布式配置,您可以按照以下步骤进行操作:
1. 安装Java开发工具包(JDK):
```
sudo apt update
sudo apt install default-jdk
```
2. 下载并解压Hadoop:
```
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
```
3. 配置环境变量:
打开 `~/.bashrc` 文件,并在末尾添加以下内容:
```
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
然后运行以下命令使环境变量生效:
```
source ~/.bashrc
```
4. 修改Hadoop配置文件:
- 打开 `hadoop-env.sh` 文件:
```
sudo nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
```
找到 `export JAVA_HOME=` 行,并将其设置为Java安装的路径,例如:
```
export JAVA_HOME=/usr/lib/jvm/default-java
```
- 打开 `core-site.xml` 文件,并添加以下内容:
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
- 打开 `hdfs-site.xml` 文件,并添加以下内容:
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
- 打开 `mapred-site.xml.template` 文件,并将其另存为 `mapred-site.xml` 文件。在新文件中添加以下内容:
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
- 打开 `yarn
阅读全文