hadoop单机部署

Hadoop单机部署是指在一个独立的计算机上安装并运行Apache Hadoop框架，通常用于测试、学习和小规模数据处理。以下是单机部署的基本步骤：

1. **下载Hadoop**: 从Apache官网下载适合的操作系统版本的Hadoop，比如Hadoop Core、HDFS（Hadoop Distributed File System）和MapReduce。

2. **配置环境变量**：在操作系统环境变量中添加Hadoop的bin目录，以便在命令行中轻松访问Hadoop工具。

3. **安装HDFS**：解压Hadoop包，并进入HDFS文件夹。启动NameNode (dfs namenode -format) 初始化分布式文件系统，然后运行DataNode (start-dfs.sh) 启动数据节点服务。

4. **配置核心服务**：编辑`core-site.xml`配置文件，设置Hadoop的一些基本属性，如namenode地址和datanode的副本因子等。

5. **启动守护进程**：运行Hadoop的主守护进程，如`start-all.sh` 或者分别启动YARN的ResourceManager, NodeManager, JobHistoryServer等。

6. **验证集群状态**：通过JPS命令检查Hadoop服务是否正常启动，以及使用hadoop fs -ls等命令来确认HDFS是否可以读写文件。

7. **测试**：上传一些文件到HDFS，运行简单的MapReduce任务，以验证Hadoop的单机功能是否正常。