Flume、Logstash、Filebeat 调研报告
1. 概述
数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。
提到数据分析，大部分人首先想到的都是 Hadoop、流计算、机器学习等数据加
工的方式。从整个过程来看，数据分析其实包含了 4 个过程：采集，存储，计
算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具
体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本 。
Flume、Logstash 和 Filebeat 都是可以作为日志采集的工具，本报告将针对这三
者进行分析。
2. Flume
Flume 是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和
移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有
可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个
简单的可扩展数据模型，允许在线分析应用程序。
剩余16页未读，继续阅读
评论0