两台机器Flume集群搭建与配置详解

本文档主要介绍了如何在两台Hadoop服务器（hadoop12和hadoop13）上搭建Flume集群，以便实现实时的数据传输和处理。Flume是一个分布式、可靠且可扩展的海量日志收集系统，它能够有效地收集、路由和存储大量数据。在本教程中，我们将分步骤进行以下操作： 1. **下载Flume安装包**： 在hadoop12服务器上，使用`wget`命令从Apache官方镜像站点下载Flume 1.7.0的二进制包：`wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz`。确保下载的版本适用于你的环境。 2. **解压并部署Flume**： 将下载的tar.gz文件解压到指定目录`/usr/app/flume1.6`，然后将Flume文件夹复制到两台服务器上：`scp -r /usr/app/flume1.6 hadoop13:/usr/app/flume1.6`。这一步确保了Flume在两台服务器上都有副本。 3. **修改配置文件**： - 首先，配置基础环境变量，如`JAVA_HOME`，在`flume-env.sh`文件中设置为`export JAVA_HOME=/usr/app/jdk1.8.0_77`。 - 然后，复制并定制`flume-env.sh`和`flume-config.properties`模板，以适应集群需求。 - 最后，在hadoop13服务器上，使用`vim`编辑器对配置文件进行个性化设置，以便接收来自hadoop12的数据。 4. **配置Flume集群**： - 创建一个名为`spoolDir`的目录，用于存放Flume的日志数据：`mkdir /usr/app/flume1.6/flume-1.7.0/logs`。 - 编辑`push.conf`和`pull.conf`配置文件，定义源（source）、处理器（channel）和 sink（sink）。对于hadoop12，配置一个source从数据源接收数据，并将其推送到hadoop13；对于hadoop13，配置一个sink来接收hadoop12发送过来的数据，并展示出来。 5. **验证Flume安装**： 通过运行`./flume-ng version`命令在每台服务器上检查Flume的版本，确认安装和配置无误。 6. **源代码与构建信息**： 提供了Flume的源代码仓库地址（`https://git-wip-us.apache.org/repos/asf/flume.git`），以及Flume的编译信息，包括修订版号、编译日期和校验和，这些信息有助于跟踪源代码的状态和可靠性。 本文档详细地指导了如何在两台Hadoop服务器上搭建Flume集群，从下载安装、配置文件定制、目录创建到最后的验证过程，旨在确保集群功能的正常运作和数据的有效传输。这对于理解和管理大规模分布式日志系统非常重要。