Hadoop 伪分布模式安装配置详解

"本文档主要介绍了在虚拟机环境下，如何在CentOS 6.4操作系统上进行Hadoop的安装和配置，重点是伪分布模式。文档首先提到了Hadoop的三种安装模式，然后详细阐述了伪分布模式的安装步骤，包括解压缩Hadoop安装包，设置环境变量，以及修改配置文件等关键环节。" 在Hadoop的世界里，安装和配置是初学者必须要面对的第一步。本文档聚焦于Hadoop的"伪分布模式"安装，这是一种在单台机器上模拟分布式环境的方法，非常适合学习和测试。在这个模式下，虽然所有组件都在同一台机器上运行，但能够模拟出多节点交互的效果，这对于理解和调试Hadoop的工作原理极其有用。 首先，安装过程始于将Hadoop的压缩包（例如，hadoop-1.10.24.tar.gz）通过WinSCP工具从宿主机传输到Linux系统的/usr/local目录下。然后，解压文件并重命名为"hadoop"，使得其路径变为"/usr/local/hadoop"。接着，为了使得系统能识别Hadoop的安装位置，我们需要设置环境变量HADOOP_HOME。这通常通过编辑"/etc/profile"文件来实现，同时可以创建一个别名如"cdha"以便快速进入Hadoop目录。 修改环境变量后，必须运行"source"命令以使改动生效。接下来，查看Hadoop的目录结构，重点关注"bin"和"conf"两个目录。"bin"目录包含可执行文件，而"conf"目录则存放所有的配置文件。 配置文件的修改是Hadoop伪分布模式安装的关键步骤。主要涉及四个文件，它们都位于$HADOOP_HOME/conf目录下： 1. `hadoop-env.sh`：在这里设置JAVA_HOME环境变量，确保Hadoop能找到Java的安装位置，通常去掉注释并指向实际的Java安装目录。 2. `core-site.xml`：这是Hadoop的核心配置文件，定义了Hadoop的临时目录（`hadoop.tmp.dir`）以及HDFS的默认名称节点地址（`fs.default.name`）。 3. `hdfs-site.xml`：用于配置HDFS的相关参数，比如副本数量和数据节点的行为。 4. `mapred-site.xml`：配置MapReduce框架，如JobTracker和TaskTracker的位置等。 每个配置文件的修改都需要根据实际的系统环境和需求来进行，确保所有配置的正确性对于Hadoop的正常运行至关重要。在完成这些步骤后，就可以启动Hadoop服务，开始在伪分布模式下探索和使用Hadoop的功能了。