Hadoop开发环境搭建；分布式文件系统HDFS的实验目的

Hadoop开发环境搭建：
1.下载并安装Java JDK
2.下载并解压Hadoop
3.配置环境变量
4.修改Hadoop配置文件
5.启动Hadoop

HDFS的实验目的是为了熟悉HDFS的基本操作，包括创建目录、查看目录、上传文件等。具体操作如下：
1.启动Hadoop
2.创建一个目录

hadoop fs -mkdir /task

3.查看目录

hadoop fs -ls /

4.上传一个文件

touch task.txt
hadoop fs -put task.txt /task

5.查看上传的文件

hadoop fs -ls /task

相关问题

Hadoop分布式环境搭建实验小结

Hadoop分布式环境搭建实验小结如下：
为了搭建一个Hadoop分布式环境，我们需要进行以下步骤：

1. 安装Java：首先，我们需要在所有节点上安装Java开发工具包（JDK），因为Hadoop是使用Java编写的。确保所有节点上的Java版本一致。

2. 配置SSH免密登录：Hadoop集群中的不同节点之间需要进行通信和数据传输，为了方便操作，我们需要配置SSH免密登录，即使得各节点之间可以无需密码即可相互登录。

3. 下载和解压Hadoop：从官方网站下载Hadoop的二进制版本，并解压到每个节点的相同目录中。确保解压路径和文件权限设置正确。

4. 配置Hadoop环境变量：在每个节点上，我们需要设置Hadoop的环境变量，包括JAVA_HOME、HADOOP_HOME、PATH等。这样才能方便地使用Hadoop命令。

5. 配置Hadoop的核心配置文件：在每个节点上，我们需要修改Hadoop的核心配置文件，其中包括hadoop-env.sh、core-site.xml、hdfs-site.xml等文件。这些配置文件定义了Hadoop的基本运行参数，如文件系统类型、数据存储位置等。

6. 配置Hadoop集群的主从节点：在Hadoop集群中，有一个或多个主节点（NameNode）和多个从节点（DataNode）。我们需要在核心配置文件中指定哪些节点是主节点，哪些节点是从节点。

7. 格式化Hadoop文件系统：在主节点上，我们需要初始化Hadoop的文件系统，这将创建必要的目录结构和文件。这一步只需要执行一次。

8. 启动Hadoop集群：最后，我们可以启动Hadoop集群，在各个节点上运行Hadoop的不同组件，如NameNode、DataNode、ResourceManager、NodeManager等。

配置开发环境 - Hadoop安装与伪分布式集群搭建

在进行Hadoop开发前，需要先配置好Hadoop的开发环境，包括安装Hadoop和搭建伪分布式集群。以下是Hadoop安装和伪分布式集群搭建的步骤：

1. 下载Hadoop

在Hadoop官网下载最新版本的Hadoop压缩包。当前最新版本是3.3.1。

2. 解压缩Hadoop

将下载的Hadoop压缩包解压缩到本地目录，比如/opt/hadoop。解压缩后，会得到一个hadoop-3.3.1目录。

3. 配置Hadoop环境变量

在~/.bashrc文件中添加以下内容：

export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin

然后执行source ~/.bashrc，使配置生效。

4. 配置Hadoop

进入Hadoop的安装目录，修改配置文件。以下是必须修改的配置文件：

- core-site.xml

在Hadoop安装目录的/etc/hadoop/目录下，创建core-site.xml文件，并添加以下内容：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

这个配置指定了Hadoop的默认文件系统为HDFS，并且HDFS的访问地址为localhost:9000。

- hdfs-site.xml

在Hadoop安装目录的/etc/hadoop/目录下，创建hdfs-site.xml文件，并添加以下内容：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

这个配置指定了HDFS的副本数为1。

- mapred-site.xml

在Hadoop安装目录的/etc/hadoop/目录下，创建mapred-site.xml文件，并添加以下内容：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

这个配置指定了MapReduce的框架为YARN。

- yarn-site.xml

在Hadoop安装目录的/etc/hadoop/目录下，创建yarn-site.xml文件，并添加以下内容：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

这个配置指定了NodeManager的辅助服务为mapreduce_shuffle，并且指定了ShuffleHandler类。

5. 格式化HDFS

在Hadoop安装目录下，执行以下命令：

$ hdfs namenode -format

这个命令会格式化HDFS，清空HDFS中的所有文件。

6. 启动Hadoop

在Hadoop安装目录下，执行以下命令：

$ start-all.sh

这个命令会启动Hadoop的所有组件，包括NameNode、DataNode、ResourceManager、NodeManager等。

7. 验证Hadoop是否正常工作

在浏览器中访问http://localhost:8088/，可以看到YARN的Web界面。在浏览器中访问http://localhost:50070/，可以看到HDFS的Web界面。

至此，Hadoop的安装和伪分布式集群搭建完成。可以开始进行Hadoop的开发了。