Hadoop系统安装与程序开发实战指南

"本次课程主要讲解了Hadoop系统的安装、运行和程序开发，包括单机、集群两种安装方式，以及Hadoop集群的远程作业提交与执行。由南京大学计算机科学与技术系的黄宜华和顾荣主讲，并得到了Google(北京)与Intel公司的支持。课程涵盖的内容有Hadoop系统所需的软件环境，如Linux操作系统、SSH和Java，以及Hadoop的三种运行模式：单机、单机伪分布和集群分布。在不同模式下，程序可能需要相应的配置调整才能运行。安装步骤涉及JDK的安装、Hadoop的下载与配置、SSH的配置、HDFS文件系统的格式化、Hadoop环境的启动和测试程序的运行。" 在Hadoop系统安装过程中，首先需要确保具备适合的软件环境，这通常是指Linux操作系统，例如RHEL 7.0，或者在Windows上通过虚拟机运行Linux。SSH（SecureShell）是必备的，用于远程管理和节点间的安全共享访问。Java也是必需的，如Java 1.7。Hadoop系统可以在三种模式下安装和运行： 1. **单机方式**：在一台运行Linux或Windows虚拟Linux的机器上安装并运行Hadoop。 2. **单机伪分布方式**：在单机上模拟分布式环境，通过多个Java进程模拟NameNode、DataNode、JobTracker、TaskTracker等节点。 3. **集群分布模式**：在真实的多台Linux或Windows虚拟Linux的集群环境中运行。 安装Hadoop的基本步骤包括： 1. 安装JDK：这是运行Hadoop的前提。 2. 下载并安装Hadoop：选择合适的版本，根据官方指南进行安装。 3. 配置SSH：确保能进行安全的远程访问。 4. 配置Hadoop环境：设置HADOOP_HOME，PATH等环境变量。 5. 格式化HDFS文件系统：初始化Hadoop分布式文件系统。 6. 启动Hadoop环境：启动NameNode、DataNode等服务。 7. 运行测试程序：如WordCount，验证Hadoop安装是否成功。 8. 查看集群状态：通过命令行工具检查各节点的状态。 对于单机和单机伪分布方式的安装，还需额外完成以下步骤： 1. 安装单机操作系统，如Linux或虚拟Linux。 2. 安装SSH服务，确保远程管理功能可用。 3. 安装Java，将其添加到系统路径中。 4. 创建专门的Hadoop用户组和用户，以提高安全性。 在单机和伪分布模式下编写的程序，一般可以直接在分布式集群中运行，但可能需要根据实际集群的配置进行适当的修改，例如修改配置文件（如hdfs-site.xml和mapred-site.xml）中的地址和端口信息。这种灵活性使得开发者能够在本地环境中快速调试和测试程序，然后无缝迁移到生产环境。