Flume实战：将Nginx日志无缝传输至HDFS

本文档详细介绍了如何在Linux环境（CentOS 7）上将Nginx的日志通过Flume传输到Hadoop HDFS。首先，我们从Nginx的安装和配置开始： 1. Nginx编译安装： - 从官方下载Nginx 1.4.0的源代码压缩包(.tar.gz)并上传到服务器。 - 解压文件到`/usr/local/src/nginx-14.0`目录。 - 使用`./configure`进行预编译，可能需要安装GCC、PCRE、openssl等开发库（如`yum install gcc pcre-devel openssl-devel`）来解决编译时的错误。 - 完成预编译后再次运行`./configure`，然后执行`make`和`make install`编译并安装Nginx。 - 启动Nginx服务，并使用`ps -ef | grep nginx`和`netstat -anpt | grep nginx`检查其运行状态。 - 测试Nginx是否正常工作，可以通过浏览器访问服务器IP。 2. Flume的安装与配置： - 下载Apache Flume 1.8.0的官方安装包到`flume.1.8.0/`目录。 - 解压Flume安装包。 - 创建Flume的配置文件`nginx-hdfs.conf`，其中包含以下关键配置： - `a1.sources`定义了一个名为`r1`的源，类型是`cn.edu360.flume.source.TailFileSource`，用于监听Nginx日志文件 `/usr/local/nginx/logs/access.log`。 - 设置偏移量文件路径`a1.sources.r1.offsetFile`，用于跟踪数据读取的位置。 - 指定数据流向的通道`a1.channels`和 sink（k1），确保数据能正确传递到HDFS。 接下来，配置Flume连接到HDFS： - 需要设置HDFS的相关配置，如HDFS的URI、用户名、密码等。 - 在Flume配置中添加sink部分，指定HDFS作为数据目标，确保路径、格式等参数正确。 - 启动Flume，让它按照配置文件中的设置开始接收并转发Nginx日志到HDFS。 最后，监控Flume的运行状态，确认数据是否成功写入HDFS。如果遇到任何问题，可能需要检查网络连接、权限设置以及HDFS的配置，确保一切就绪。 这篇文章详细描述了如何在CentOS 7环境中配置Nginx以生成日志，然后利用Flume作为中间件将这些日志实时地传输到Hadoop HDFS，以便于后续的数据分析和处理。