Hama 分布式安装与配置指南

"Hama 安装笔记记录了在分布式模式下安装Hama的过程，主要步骤包括参考hadoop安装文档、配置环境变量、修改Hama配置文件、启动与停止Hama服务，以及验证安装是否成功。涉及到的节点信息有三个：hadoop-1 (192.168.1.160), hadoop-2 (192.168.1.161), hadoop-3 (192.168.1.162)。" Hama是一个基于Bulk Synchronous Parallel (BSP)模型的开源大数据处理框架，它与Hadoop类似，但专为图计算和某些科学计算任务优化。在Hama中，BSP类似于MapReduce的并行计算模型，但提供更强的同步控制。 1. Hadoop的预安装： 在安装Hama之前，需要先安装Hadoop。根据描述中的信息，需要参照“hadoop安装.txt”文档来完成Hadoop的安装。这里假设已经按照文档在三台节点上正确部署了Hadoop集群，节点地址分别是192.168.1.160 (hadoop-1)，192.168.1.161 (hadoop-2) 和192.168.1.162 (hadoop-3)。 2. 配置环境变量： 配置Hama的环境变量是安装过程的关键步骤。需要在全局环境变量配置文件（如`/etc/profile`或用户的`.bash_profile`）中添加以下两行： ``` export HAMA_HOME=/home/hadoop/hama-0.6.0 export PATH=$PATH:$HAMA_HOME/bin ``` 这使得系统能够找到Hama的安装目录及其可执行文件。 3. 配置Hama： - 修改`hama-env.sh`文件，设置Java路径，例如`export JAVA_HOME=/usr/java/jdk1.6.0_38`，确保使用的是Hama支持的JDK版本。 - 编辑`hama-site.xml`配置文件，设置关键参数： - `bsp.master.address`指定BSP Master的地址，这里是hadoop-1。 - `hama.tmp.dir`定义临时目录，用于存储中间数据，如 `/home/hadoop/hamatmp`。 - `fs.default.name`配置HDFS的默认命名节点，指向hadoop-1的NameNode。 - `hama.zookeeper.quorum`设置ZooKeeper集群地址，这里是hadoop-1和hadoop-2。 4. 启动和停止Hama： - 启动Hama服务，使用命令`/bin/start-bspd.sh`，这将在每个Groom Server节点（这里是hadoop-1, hadoop-2, hadoop-3）上启动服务。 - 停止Hama服务，使用命令`/bin/stop-bspd.sh`。 5. 验证安装： 通过运行一个示例程序（如π计算）来测试Hama安装是否正常。例如，运行`hama-examples-0.6.0.jar pi`，计算π的值。如果程序运行成功并返回结果，表明安装和配置工作已完成。 6. 监控BSP Master状态： 可以通过访问BSP Master的Web界面（http://hadoop-1:40013/bspmaster.jsp）来监控Hama集群的状态，查看作业进度和其他相关信息。 7. 默认配置的调整： 提到的`hama-default.xml`文件包含了Hama的默认配置选项，例如`hadoop.tmp.dir`和`hama.tmp.dir`等，这些配置可以根据实际需求进行调整。 总结来说，这个Hama安装笔记详细描述了从零开始构建Hama分布式环境的步骤，涵盖了从环境准备、配置到运行示例应用的全过程，对于理解Hama的部署和使用具有指导意义。