FlumeNG日志收集与Hive数据仓库实践

"这篇资料主要介绍了日志收集工具FlumeNG在海量数据处理中的应用，以及与Hive数据仓库的结合。文中通过中科普开的大数据课程，展示了Hive在暴风公司数据仓库案例中的实际应用，包括处理大量日志、执行离线数据分析任务等。此外，还提及了数据系统的演进、Hadoop生态组件如Scribe和HBase等的使用，以及Hive的安装配置和元数据管理。" FlumeNG是Apache开发的用于大规模数据收集、聚合和传输的工具，它是FlumeOG的升级版，去除了Master、Zookeeper、Collector和WebUI等复杂组件，简化为Source、Sink和Channel三个核心部分。Source负责数据的获取，如Avro和Exec插件分别支持简单数据接收和执行Shell命令来收集数据。Sink则处理数据的输出，例如将数据写入HDFS或File系统。而Channel作为缓冲区，可以在Source和Sink之间临时存储数据，确保数据的可靠传输。 Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL类似的查询语言HQL进行数据查询。在暴风公司的案例中，Hive承担了离线数据分析的重要角色，每天处理超过1.2TB的日志数据，执行超过3500个任务，数据吞吐量达10TB+。Hive构建于HDFS和MapReduce之上，提供了一种高容错性的存储和分析大量数据的方法。元数据的存储可以选择内置的Derby数据库，也可以配置为MySQL或Oracle等支持JDBC的外部数据库。 在数据系统的演进中，从最初的架构到后来的三代，逐步引入了更多的大数据处理技术，如Pig用于更复杂的离线数据分析，HBase用于部分数据的实时存储，以及Mahout进行数据挖掘。在暴风Hadoop集群架构中，还包括了Scribe用于日志收集，以及与Nginx+PHP的集成，构建了一个全面的数据处理和分析平台。 FlumeNG和Hive在大数据处理中起到了关键作用，它们与Hadoop生态的其他组件协同工作，为企业提供了高效的数据管理和分析能力，支撑了包括数据挖掘、用户细分、推荐系统和广告系统在内的各种业务需求。通过合理的配置和优化，这些工具可以帮助企业有效地处理和利用海量日志数据，实现数据价值的最大化。