CentOS环境下Storm集群安装全记录

"这篇文章是关于在虚拟机上安装storm集群的详细步骤，涵盖了从环境准备到各个组件的安装和配置，包括zookeeper、storm以及相关的依赖安装。" 在搭建storm集群的过程中，首先需要确保系统环境的正确性。在这个案例中，安装环境是在Linux虚拟机上进行，需要安装Java Development Kit (JDK)。这里使用的是jdk-7u15-linux-i586版本，解压后需将其路径添加到系统环境变量中，以便后续软件能够找到JDK。 接着，需要配置主机名与IP地址映射，将虚拟机的IP地址分别设为js01（nimbus节点）和js02（supervisor节点），并在/etc/hosts文件中添加对应的条目，以确保集群内部的通信正常。 接下来是zookeeper的安装，zookeeper是storm集群的重要组成部分，用于协调任务分配和状态管理。从Apache官方网站下载zookeeper的稳定版（这里为3.4.6），解压并配置zoo.cfg文件。配置文件中的"dataDir"和"dataLogDir"分别指定了数据和日志存储目录，"server.x"定义了集群中的服务器角色和端口。在data目录下创建myid文件，写入对应节点的ID（这里是1122）。然后更新环境变量，启动zookeeper服务，并通过jps命令检查QuorumPeerMain进程是否正常运行，最后通过zkCli.sh工具验证zookeeper是否工作正常。 storm的安装需要先安装Python和相关开发库，如在CentOS中，通过yum命令安装python2.6.6、gcc-c++、uuid-devel、libuuid-devel和libtool。这些是storm依赖的必要组件。 在安装storm之前，还需要安装zeromq，它是storm通信的基础。从zeromq官网下载对应版本的源代码，解压后编译安装。然后安装jzmq，这是Java对zeromq的封装，storm会用到。 至此，storm集群的关键组件已经准备就绪。下一步是配置storm自身，包括nimbus和supervisor节点。nimbus负责任务调度，supervisor管理worker进程。storm的配置文件通常位于conf目录下，需要根据实际网络环境和服务器配置进行调整。最后，启动nimbus和supervisor服务，storm集群就部署完成了。 这个过程记录了storm集群从无到有的完整步骤，包括每个环节的细节，对于初学者来说是一份非常实用的安装笔记。在实际操作中，还需注意监控和调试，确保storm集群的稳定运行。