hadoop详细安装与配置

Hadoop是一个开源的大数据处理框架，主要用于分布式存储和处理海量数据。以下是Hadoop的一般安装和配置步骤，这里假设你是在Linux系统上进行：

**安装前准备：**
1. 确保你的系统已经安装了Java Development Kit (JDK) 和Git。

**安装Hadoop（版本举例Hadoop 2.x）**：
1. **下载Hadoop**: 从Apache官方网站下载最新版的Hadoop源码包，如`hadoop-3.x.y.tar.gz`。
2. **解压并移动文件**：在合适的目录下（如 `/usr/local/hadoop`）解压缩，并创建软链接到 `hadoop` 目录下。
3. **配置环境变量**：编辑 `~/.bashrc` 或者 `.bash_profile` 添加Hadoop环境变量，例如：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin

**配置核心组件**（HDFS和MapReduce）：
1. **修改Hadoop配置**：进入 `conf` 文件夹，编辑 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`。
2. **设置名称节点（NameNode）和数据节点**：对于HDFS，通常在一台机器上作为namenode运行，其他机器作为datanode。需要配置 `dfs.replication` 和 namenode地址。
3. **启动守护进程**：使用 `start-dfs.sh` 或 `sbin/start-hadoop.sh` 启动HDFS服务。
4. **验证集群状态**：通过 `jps` 查看守护进程是否运行，使用 `hadoop dfsadmin -report` 检查HDFS元数据和文件块分布。

**安装YARN（Hadoop 2.x 版本）**：
1. **配置YARN**：在`yarn-site.xml`中添加YARN的相关配置，比如资源调度策略。
2. **启动YARN服务**：在Hadoop主节点上，运行 `start-yarn.sh` 启动YARN。
3. **检查YARN状态**：同样可以使用 `jps` 查看守护进程，以及 `yarn application -list` 显示应用列表。

**相关问题--:**
1. YARN是什么，它与HDFS有何区别？
2. 如何查看Hadoop的日志信息？
3. Hadoop如何处理数据的并行计算？