hadoop 搭建

Hadoop是一个开源的大数据处理框架，它最初由Apache软件基金会开发，主要用于分布式存储和批处理计算。搭建Hadoop主要包括两个主要部分：Hadoop Distributed File System (HDFS) 和MapReduce。

1. **环境准备**：
- 安装Java Development Kit (JDK)
- 下载并安装Hadoop，通常选择最新的稳定版本

2. **配置文件**：
- 修改`core-site.xml`：设置Hadoop的名称节点（NameNode地址），以及其他核心配置。
- 修改`hdfs-site.xml`：配置HDFS的副本数、日志路径等。
- 修改`mapred-site.xml`：针对MapReduce的配置，如任务调度策略等。

3. **启动服务**：
- 启动HDFS集群：运行`start-dfs.sh` 或者 `sbin/start-dfs.sh`
- 启动YARN（资源管理器）和MapReduce：运行`start-yarn.sh` 或者 `sbin/start-yarn.sh`

4. **验证安装**：
- 使用Hadoop命令行工具`hadoop fs -ls /`检查文件系统是否正常工作。
- 测试MapReduce应用程序，比如运行WordCount示例。