CentOS 6.4上安装Storm、ZMQ与Zookeeper的详细步骤

本篇文档是关于在CentOS 6.4系统上安装Storm实时计算框架的详细步骤记录。Storm是一个开源的分布式流处理系统，主要依赖于ZMQ（ZeroMQ）和ZooKeeper进行通信和协调工作。以下是安装过程中的关键步骤： 1. 安装ZMQ依赖： - 首先，解压下载的zeromq-2.1.7源码包，并进入解压后的目录。 - 在编译时遇到错误，提示缺少C++编译器。由于系统中没有安装gcc-c++，因此通过yum命令安装了gcc-c++和相关开发包，如libstdc++-devel和libuuid-devel。 - 通过`./configure`命令配置ZMQ，然后执行`make`和`makeinstall`安装。 2. 安装JZMQ： - JZMQ是ZMQ的一个Python绑定，这里同样需要安装libtool等自动构建工具。 - 下载并解压jzmq源码，配置并编译安装，确保autogen.sh能正常运行。 3. 安装Python（可能不是必须的，但为了 Storm 完整功能可能需要Python支持）： - 由于某些Storm组件可能需要Python，所以也进行了Python 2.6.6的安装，通过./configure、make和makeinstall完成。 4. 安装Storm核心组件： - 从Dropbox下载storm-0.8.2的压缩包，解压后处理storm.yaml文件，这通常是Storm配置的核心部分。 - 需要安装Nimbus和Supervisor，这两个是Storm集群的管理组件，是部署和运行topology的关键。 总结，整个安装过程包括了对ZMQ和JZMQ的基本依赖，以及为了支持Storm可能需要的Python环境。在实际操作中，确保所有依赖库和版本都正确匹配是非常重要的，尤其是编译步骤可能会遇到各种问题，需要仔细检查错误并采取相应的解决措施。最后，配置storm.yaml文件以适应本地环境，这是启动和运行Storm集群的基础。