切换至flume安装目录/opt/flume，启动flume服务

时间: 2023-12-20 22:04:47 浏览: 188

Flume日志采集手册.docx

一、Flume简介 1、基础描述 2、架构模型二、安装过程 1、安装包 2、解压命名 3、配置文件 4、修改配置 5、环境测试三、应用案例 1、案例描述 2、创建kafka配置 3、修改sink配置 4、创建kafka的Topic 5、启动Kakfa消费 6、启动flume配置 ### Flume日志采集系统详解 #### 一、Flume简介 **1、基础描述** Flume是由Cloudera开发的一款开源工具，主要用于大规模的日志数据采集、聚合和传输。其设计之初就是为了处理大规模的数据流，能够高效地从各种来源（如web服务器、应用程序等）收集日志数据，并将其传输到指定的目的地，如Hadoop的HDFS、HBase或其他的数据存储系统。 Flume的特点主要包括： - **分布式**：能够支持大规模的日志数据收集。 - **高可用性**：通过冗余和容错机制确保数据传输的可靠性。 - **可扩展性**：支持灵活配置，能够根据需求调整数据流的流向和目的地。 - **易于管理**：提供了丰富的监控和管理工具，方便运维人员监控系统的运行状态。 **2、架构模型** Flume的核心组件包括Agent、Source、Channel和Sink。其中： - **Agent**：是Flume中的最小工作单元，负责从数据源接收数据并将其传输到目的地。 - **Source**：数据接收者，负责从数据源读取数据，可以支持多种类型的数据输入，如HTTP、Syslog等。 - **Channel**：作为数据的临时存储区，它位于Source和Sink之间，起到缓存的作用，保证了数据的可靠传输。 - **Sink**：数据输出目的地，负责将数据写入到最终的目标系统，如HDFS、HBase等。 Flume中的Event是数据传输的基本单位，由Header和Body两部分组成，其中Header用于存储元数据信息，而Body则包含了实际的数据内容。此外，Flume还支持多级Agent之间的连接，即一个Agent的Sink可以作为另一个Agent的Source，这样可以构建复杂的数据流网络，实现数据的多路复用和分发。 #### 二、安装过程 **1、安装包** 下载Flume的安装包，例如`apache-flume-1.7.0-bin.tar.gz`。 **2、解压命名** 将安装包解压到指定目录，并重命名以便于管理和使用。例如： ```sh [root@hop01 opt]# pwd /opt [root@hop01 opt]# tar -zxf apache-flume-1.7.0-bin.tar.gz [root@hop01 opt]# mv apache-flume-1.7.0-bin flume1.7 ``` **3、配置文件** Flume的配置文件通常位于`/opt/flume1.7/conf`目录下。需要将模板文件`flume-env.sh.template`复制为`flume-env.sh`。 ```sh mv flume-env.sh.template flume-env.sh ``` **4、修改配置** 编辑配置文件`flume-env.sh`，添加JDK路径： ```sh vim flume-env.sh export JAVA_HOME=/opt/jdk1.8 ``` **5、环境测试** 为了测试Flume是否正确安装并配置，需要安装netcat工具并创建测试配置文件。 ```sh sudo yum install -y nc ``` 创建测试配置文件`flume-netcat-test01.conf`： ```properties # this agent a1.sources = sr1 a1.sinks = sk1 a1.channels = sc1 # the source a1.sources.sr1.type = netcat a1.sources.sr1.bind = localhost a1.sources.sr1.port = 55555 # the sink a1.sinks.sk1.type = logger # events in memory a1.channels.sc1.type = memory a1.channels.sc1.capacity = 1000 a1.channels.sc1.transactionCapacity = 100 # Bind the source and sink a1.sources.sr1.channels = sc1 a1.sinks.sk1.channel = sc1 ``` 启动Flume监听端口： ```sh /opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/flume-netcat-test01.conf -Dflume.root.logger=INFO,console ``` 使用netcat工具向55555端口发送数据： ```sh [root@hop01 ~]# nc localhost 55555 hello,flume ``` #### 三、应用案例 **1、案例描述** 本案例主要介绍如何利用Flume将数据采集并传输到Kafka服务中，然后再由Kafka进行数据的分发与消费。 **2、创建Kafka配置** 为了将数据传入Kafka，需要配置Flume的Sink指向Kafka的某个Topic。 **3、修改Sink配置** 修改Flume配置文件中的Sink部分，使其能够将数据写入到Kafka中： ```properties a1.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.sk1.kafka.topic = log_topic a1.sinks.sk1.kafka.brokerList = localhost:9092 ``` **4、创建Kafka的Topic** 在Kafka中创建一个名为`log_topic`的Topic： ```sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic log_topic ``` **5、启动Kafka消费者** 启动Kafka消费者来监听`log_topic`中的消息： ```sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic log_topic --from-beginning ``` **6、启动Flume配置** 启动配置好的Flume任务，将数据从数据源收集并传输到Kafka中： ```sh /opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/flume-kafka-test.conf -Dflume.root.logger=INFO,console ``` 通过上述步骤，我们完成了Flume日志采集系统的基本搭建与配置，并实现了数据从数据源到Kafka的服务流程。这种方案不仅能够有效地处理大规模日志数据的采集与传输，同时也为后续的数据处理提供了极大的灵活性和扩展性。

以下是启动flume服务的步骤： ```shell cd /opt/flume/bin # 进入flume的bin目录 ./flume-ng agent --conf ./conf/ -f ./conf/flume-dir-hdfs.conf -n a1 -Dflume.root.logger=INFO,console # 启动flume服务 ``` 其中，`./flume-ng agent`表示启动flume服务，`--conf ./conf/`表示使用当前目录下的conf目录作为配置文件目录，`-f ./conf/flume-dir-hdfs.conf`表示使用当前目录下的conf目录中的flume-dir-hdfs.conf文件作为配置文件，`-n a1`表示指定agent的名称为a1，`-Dflume.root.logger=INFO,console`表示将日志输出到控制台。

阅读全文

切换至flume安装目录/opt/flume，启动flume服务

相关推荐

Hadoop中Flume安装指南

[root@master conf]# cd /opt/module/flume/lib/ bash: cd: /opt/module/flume/lib/: No such file or directory

flume-ng agent -c conf -f /opt/module/flume/conf/cjq4.conf --name a1 --Dflume.root.logger=INFO,console

修改了主节点的conf文件需要重新执行scp -r /opt/module/flume slave1:/opt/module吗

Info: Sourcing environment configuration script /opt/flume/conf/flume-env.sh Info: Including Hadoop libraries found via (/usr/local/hadoop/bin/hadoop) for HDFS access Info: Including Hive libraries found via () for Hive access

将Master节点Flume安装包解压到/opt/module目录下

[atguigu@node11 flume]$ ./bin/flume-ng version [atguigu@node11 flume]$ ./bin/flume-ng version

根据提示,将 /opt/flume/data 目录下的所有文件采集到 hdfs,你只需在Begin-End区域内配置配置文件即可,其余步骤后台会自动完成。 配置文件要求 : Agent命名为 a1 ; 选择正确的 source 采集所有文件; Chann

pocketsphinx-0.1.15-cp34-cp34m-win32.whl.rar

【java毕业设计】书画拍卖网站源码（ssm+mysql+说明文档）.zip

【java毕业设计】“星辰”旅行分享系统源码（ssm+mysql+说明文档）.zip

最新推荐

pocketsphinx-0.1.15-cp34-cp34m-win32.whl.rar

【java毕业设计】书画拍卖网站源码（ssm+mysql+说明文档）.zip

SSM Java项目：StudentInfo 数据管理与可视化分析

管理建模和仿真的文件

负载均衡技术深入解析：确保高可用性的网络服务策略

怎么解决头文件重复包含

pyedgar：Python库简化EDGAR数据交互与文档下载

"互动学习：行动中的多样性与论文攻读经历"

网络监控工具使用宝典：实时追踪网络状况的专家级技巧

unity 实现子物体不跟随父物体移动和旋转

根据提示,将 /opt/flume/data 目录下的所有文件采集到 hdfs,你只需在Begin-End区域内配置配置文件即可,其余步骤后台会自动完成。配置文件要求 : Agent命名为 a1 ; 选择正确的 source 采集所有文件; Chann