ETL项目中主要做哪些事情

在ETL项目中，主要做的事情包括：提取数据（Extract）、转换数据（Transform）和加载数据（Load）。具体来说，ETL项目需要从不同的数据源中提取数据，对数据进行清洗、转换和整合，最终将数据加载到目标系统中。这个过程需要使用各种工具和技术，如数据抽取工具、数据转换脚本、数据仓库等。

相关问题

hiveSQL做ETL项目流程

HiveSQL做ETL项目的流程通常如下：

1. 需求分析：明确需求，梳理数据源和目标数据表的字段，确定数据清洗和转换规则。

2. 数据准备：收集和整理数据，导入到HDFS中，或将数据源直接挂载到Hive表中。

3. 创建Hive表：在Hive中创建目标表，表结构和字段类型与数据源和需求匹配。

4. 数据清洗和转换：使用HiveQL进行数据清洗和转换，例如数据去重、过滤、聚合、排序、联接、数据类型转换等。

5. 数据导入：将清洗和转换后的数据导入到目标表中，可以使用INSERT INTO语句或者Hive的INSERT OVERWRITE命令。

6. 数据质量检查：对导入的数据进行质量检查，例如检查数据的完整性、准确性、一致性等。

7. 数据分析和报告：使用HiveQL进行数据分析和报告，例如生成报表、可视化分析等。

8. 定期维护：定期进行数据清理和维护，例如删除过期数据、优化Hive表格等。

以上是一个简单的HiveSQL做ETL项目的流程。在实际项目中，可能需要根据具体需求进行调整和优化，例如加入数据校验、异常处理、任务调度等。

etl项目监管报送的表有哪些

我理解您的问题是关于ETL项目监管报送的表的相关信息，下面是一些常见的ETL项目监管报送表：

1. ETL任务执行情况表：记录各个ETL任务的执行情况，包括开始时间、结束时间、执行状态、任务耗时等信息。

2. 数据源清单表：记录所有数据源的相关信息，包括数据源名称、类型、连接信息等。

3. 数据目标清单表：记录所有数据目标的相关信息，包括目标名称、类型、连接信息等。

4. 数据抽取清单表：记录每次数据抽取的相关信息，包括源数据表、目标数据表、抽取时间、抽取数据量等。

5. 数据转换清单表：记录每次数据转换的相关信息，包括转换规则、源数据表、目标数据表、转换时间等。

6. 数据加载清单表：记录每次数据加载的相关信息，包括目标数据表、加载时间、加载数据量等。

以上是一些常见的ETL项目监管报送的表，具体还要根据实际情况进行定义和设计。