HOD基础安装教程：从下载到配置Torque

Hadoop on Demand (HOD) 是一种在需要时按需提供的 Hadoop 集群解决方案，它允许用户根据实际需求动态扩展或缩减集群规模。本篇文章详细介绍了HOD的基本安装步骤，主要涉及以下关键知识点： 1. **安装Torque**： - 首先，你需要从Cluster Resources网站下载Torque软件包，这是一个任务调度系统，为Hadoop on Demand提供了任务管理和调度功能。 - 安装过程包括解压下载的tar.gz文件，使用`./configure`进行配置，然后构建安装，通过`make`和`makeinstall`命令。注意，这些命令应在root权限下执行，因为Torque的一些配置文件会被安装到`/var/spool/torque`目录下。 2. **生成客户端和服务器安装包**： - 安装完成后，切换回Torque用户，创建针对客户端（node1和node2）的安装包，确保所有机器的平台相同。 - 列出`torque-package-`开头的文件，确认存在客户端和服务器相关的包，如`torque-package-clients-linux-i686.sh`等。 3. **配置和启动服务**： - 在master节点上，执行`torque.setuproot`初始化设置，然后进入相应目录（server_priv和mom_priv），分别进行服务器（PBS Server）和队列管理器（PBS Mom）的配置。 - 配置完成后，启动必要的服务，如`pbs_mom`、`qterm`、`pbs_server`和`pbs_sched`，这些命令表明系统正在初始化和准备运行任务调度。 4. **在slave节点上安装和配置**： - 在slave1和slave2等其他节点上，重复上述客户端安装包的生成过程，并进行相同的配置步骤，如`./torque-package-mom-linux-i686.sh`安装和`viconfig`配置队列管理器。 5. **监控和管理**： - 安装过程中，通过`vnodes`命令检查所有可用的节点，`logevent255`可能表示设置了特定的日志级别。`pbs_mom-c`用于配置队列，而`qterm-tquick`则可能是快速查看或终止任务的快捷方式。 通过以上步骤，你已经完成了Hadoop on Demand的基本安装和配置，现在可以开始利用Torque的功能，实现动态扩展的Hadoop集群，根据工作负载需求调整计算资源。请注意，这只是一个基础的安装指南，实际部署时可能需要根据你的具体环境进行定制和安全配置。