给出具体步骤及其命令3.4 部署hadoop服务器 在创建好5台Linux服务器后,可以开始部署hadoop服务器。具体步骤如下: 1)在其中一台Linux服务器上下载hadoop软件包,并解压到指定目录。 2)在hadoop配置文件中进行必要的配置,比如设置hadoop的工作目录、配置hadoop的节点等。 3)在其他4台Linux服务器上也需要安装hadoop软件包,并进行相应的配置。 4)启动hadoop集群,并进行测试。
时间: 2024-01-22 09:19:37 浏览: 110
从零开始部署hadoop_3.1.1集群.docx
具体步骤及其命令如下:
1. 在其中一台Linux服务器上下载hadoop软件包,并解压到指定目录。
```bash
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -zxvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
```
2. 在hadoop配置文件中进行必要的配置,比如设置hadoop的工作目录、配置hadoop的节点等。
```bash
cd /usr/local/hadoop/etc/hadoop/
sudo vi core-site.xml
```
在文件中添加以下内容:
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
```
```bash
sudo vi hdfs-site.xml
```
在文件中添加以下内容:
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/datanode</value>
</property>
</configuration>
```
```bash
sudo vi mapred-site.xml
```
在文件中添加以下内容:
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
```bash
sudo vi yarn-site.xml
```
在文件中添加以下内容:
```xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
</configuration>
```
3. 在其他4台Linux服务器上也需要安装hadoop软件包,并进行相应的配置。
同样的操作,将hadoop-3.3.1.tar.gz下载解压到/usr/local/hadoop目录下,并复制上述配置文件到/etc/hadoop/目录下。
4. 启动hadoop集群,并进行测试。
```bash
cd /usr/local/hadoop/sbin/
sudo ./start-dfs.sh
sudo ./start-yarn.sh
```
启动完成后,可以通过Web界面访问hadoop集群的状态信息,URL为http://localhost:9870/。同时,可以通过以下命令测试hadoop集群是否正常工作:
```bash
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 16 1000
```
其中,参数16表示计算π值时使用的MapReduce任务数,参数1000表示每个MapReduce任务的计算次数。运行时间较长,需要耐心等待。
阅读全文