Hadoop 安装配置

Hadoop 是一个开源的大数据处理框架，主要用于分布式存储和并行计算。安装配置 Hadoop 需要以下步骤：

1. **下载安装包**:
- 访问 Apache Hadoop 的官方网站（https://hadoop.apache.org/）下载最新的稳定版本或适合需求的版本。

2. **选择安装类型**:
- 根据你的应用场景，可以选择单机模式 (Hadoop Single Node) 或者完整的分布式集群 (Hadoop Distributed Clustering)。

3. **操作系统支持**:
- Hadoop 支持 Linux、macOS 和 Windows（需要使用 Cygwin），确保你的环境支持 Java，因为 Hadoop 是基于 Java 的。

4. **安装 Java**:
- Hadoop 需要 Java Development Kit (JDK)，确保已经安装并且版本正确。

5. **配置环境变量**:
- 在终端或命令提示符中设置 `JAVA_HOME` 变量指向 JDK 安装目录，以及添加到 PATH 中。

6. **下载和解压 Hadoop**:
- 下载 `.tar.gz` 或 `.zip` 文件，然后解压缩到你希望放置 Hadoop 的位置。

7. **配置核心文件**:
- 对于 Hadoop 2.x 或更高版本，编辑 `core-site.xml` 文件，定义 HDFS 名称节点地址等核心参数。
- 对于 MapReduce，编辑 `mapred-site.xml` 和 `yarn-site.xml` 文件，配置 JobTracker 和 ResourceManager。

8. **启动服务**:
- 在 Hadoop 目录下运行 `sbin/start-all.sh`（Linux/Mac）或 `bin\start-dfs.cmd` 和 `bin\start-yarn.cmd`（Windows），开始 HDFS 和 YARN 服务。
- 使用 `jps` 命令检查进程是否正在运行。

9. **验证安装**:
- 可以尝试上传一个小文件到 HDFS 并读取回来，或者运行一个简单的 MapReduce 示例，确认一切正常。

10. **监控和日志**:
- 配置 Hadoop 监控工具（如 Ganglia 或 Nagios）并查看 logs 文件夹中的错误报告，以跟踪系统的健康状况。