hadoop安装与配置详解

hadoop是一个开源的分布式计算平台，它可以处理大规模数据集并行计算。下面是hadoop的安装与配置详解：

1. 下载hadoop安装包，可以从官网或者镜像站点下载，下载地址为：https://archive.apache.org/dist/hadoop/common/

2. 解压hadoop安装包，可以使用以下命令解压：tar -zxvf hadoop-x.x.x.tar.gz

3. 配置hadoop环境变量，可以在/etc/profile文件中添加以下内容：

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

4. 配置hadoop集群，可以在hadoop的conf目录下修改以下配置文件：

core-site.xml：配置hadoop的核心参数，如文件系统、端口等。
hdfs-site.xml：配置hadoop分布式文件系统的参数，如副本数、块大小等。
mapred-site.xml：配置hadoop的MapReduce参数，如任务跟踪器、任务分配器等。
yarn-site.xml：配置hadoop的资源管理器和节点管理器的参数。

5. 启动hadoop集群，可以使用以下命令启动：

start-dfs.sh：启动hadoop分布式文件系统。
start-yarn.sh：启动hadoop资源管理器和节点管理器。

6. 验证hadoop集群是否正常运行，可以使用以下命令：

jps：查看hadoop进程是否启动。
hadoop fs -ls /：查看hadoop分布式文件系统根目录下的文件列表。