安装和配置Hadoop集群的实验小结

安装和配置Hadoop集群的实验小结如下：

1. 准备环境：每个节点上都需要安装Java JDK，可以使用命令`sudo apt-get install default-jdk`进行安装。

2. 下载Hadoop：从官网下载Hadoop安装包，解压到每个节点上的相同目录下。

3. 配置Hadoop环境变量：在每个节点上的`/etc/profile`文件中添加以下内容：

   export HADOOP_HOME=/path/to/hadoop
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 配置Hadoop集群：在主节点上的`/path/to/hadoop/etc/hadoop`目录下，编辑`core-site.xml`和`hdfs-site.xml`文件。其中，`core-site.xml`中需要设置Hadoop的文件系统，默认为HDFS；`hdfs-site.xml`中需要设置HDFS的副本数、数据块大小等参数。

5. 启动Hadoop集群：在主节点上使用命令`start-dfs.sh`启动HDFS，使用命令`start-yarn.sh`启动YARN。

6. 验证Hadoop集群：可以使用命令`jps`查看各节点的进程，其中包括NameNode、DataNode、ResourceManager、NodeManager等进程。也可以通过Web UI查看Hadoop集群的状态，主节点的Web UI地址为`http://localhost:50070`。

7. 测试Hadoop集群：可以使用Hadoop自带的`hadoop-mapreduce-examples`程序进行测试。例如使用命令`hadoop jar /path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 2 5`计算圆周率。

以上是安装和配置Hadoop集群的基本步骤和注意事项。在实际部署中，还需要考虑Hadoop的安全性、高可用性、性能优化等方面的问题，需要更加深入的学习和实践。