Hadoop+ETL

Hadoop+ETL（Extract, Transform, Load）是一个常用的大数据处理框架组合，主要用于大规模数据处理和分析任务：

**Hadoop**：
1. **分布式计算平台**：由Hadoop Distributed File System (HDFS) 提供存储，以及MapReduce作为其核心计算引擎，能够处理PB级别的数据。
2. **高容错性**：通过冗余存储和任务分片，即使部分节点故障也能继续运行。
3. **开源组件**：包括Hadoop HDFS、YARN（Yet Another Resource Negotiator）、Hive、Pig等，用于数据存储、任务调度和数据处理。

**ETL（数据提取、转换、加载）**：
1. **数据抽取**（Extract）：从各种源（如文件、数据库、消息队列）中提取需要的数据。
2. **数据转换**（Transform）：对抽取的数据进行清洗、整合、格式转换，使之适合分析需求，这通常通过Hive、Pig或自定义MapReduce作业完成。
3. **数据加载**（Load）：将处理过的数据装载到Hadoop的HDFS、HBase或其他的分析工具（如Hive表）中，为后续的分析做准备。

Hadoop+ETL的组合使得复杂的数据处理流程得以高效执行，并支持大规模数据的离线分析。