数仓的基本架构是什么？

数仓（Data Warehouse）的基本架构通常包括以下几个层次：

1. 数据源层：数据源层是数仓的基础，主要包括各种内外部数据源和数据采集工具。数据源可以是企业应用系统、关系型数据库、非关系型数据库、文件系统等，数据采集工具可以是ETL工具、ELT工具、API接口等。

2. 数据集成层：数据集成层是将来自不同数据源的数据进行整合、清洗和转换的层次。这个层次通常使用ETL（Extract-Transform-Load）或ELT（Extract-Load-Transform）工具来实现，目的是将数据转换成适合分析和查询的格式，同时确保数据的一致性和准确性。

3. 数据存储层：数据存储层是数仓中最核心的层次，主要用于存储已经经过整合、清洗和转换的数据。这个层次通常采用数据仓库或数据湖等技术来实现，同时也可以使用各种数据库类型，如关系型数据库、NoSQL数据库等。

4. 数据处理层：数据处理层主要用于对存储在数据存储层中的数据进行二次加工和处理。这个层次通常使用各种数据处理技术和工具来实现，如数据挖掘、机器学习、统计分析等。

5. 数据可视化和报表层：数据可视化和报表层是数仓最终呈现给用户的层次，主要用于展示处理后的数据和分析结果。这个层次通常采用各种数据可视化工具和BI（Business Intelligence）平台来实现，如Tableau、Power BI等。

相关问题

数仓的基本架构里面BASE层是干啥的

### 回答1：
在数仓的基本架构中，BASE层是指基础数据层。它是数仓中最底层的数据存储和处理层，主要用于存放原始数据和历史数据，是整个数仓的基础。在BASE层中，数据一般以文件的形式或者是数据库的形式存储，主要包括结构化数据（如关系型数据库中的表）、半结构化数据（如XML、JSON等格式）、非结构化数据（如文本、图像、音频、视频等）。其主要作用是提供数据的原始来源，为上层提供数据的基础，同时也为上层提供数据清洗、数据抽取、数据转换和数据加载等相关操作提供支持。

### 回答2：
在数仓的基本架构中，BASE层是指建立在基础设施和数据存储之上，用于进行数据抽取、清洗和加载的层级。它的主要功能是为数仓中的上层应用提供高质量、易于访问的数据。

具体而言，BASE层在数仓架构中的作用包括以下几个方面：

1. 数据源抽取：BASE层负责从各种数据源（如数据库、文件、API等）中提取源数据。这些数据源可能来自关系型数据库、非关系型数据库、日志文件等各种形式。

2. 数据清洗和转换：在BASE层中，对从数据源中抽取的数据进行清洗、删减、合并、转换等操作，以确保数据的质量和一致性。例如，去除重复数据、筛选无效数据、整合不同数据源的相关数据等。

3. 数据加载：清洗和转换之后，将处理后的数据加载到数据仓库中，可以是关系型数据仓库（如Oracle、SQL Server等），也可以是大数据平台（如Hadoop、Spark等）。加载过程中还包括对数据进行分区、分桶、索引等操作，以便提高数据访问的效率。

4. 数据质量管理：BASE层也负责数据质量检查和管理。通过为数据设置约束、规则以及实施数据验证和修复，确保数仓中的数据符合预期标准和规范。

综上所述，BASE层在数仓的基本架构中扮演着数据准备和数据接入的角色，通过抽取、清洗和加载处理数据，为上层的数据分析、报表和业务应用提供可靠、高质量的数据基础。

### 回答3：
数仓的基本架构通常包括了三个层次，分别是基本架构（BASE）、一体化架构（Integrated）和最终用途架构（DA）。

而在基本架构（BASE）层，主要是负责数据的采集（Collect）、存储（Storage）和处理（Processing）。
首先，数据采集是指从各个业务系统中将数据抽取出来，并进行清洗、转换、集成等处理，以确保数据的质量和准确性。这一步骤通常会使用ETL（Extract, Transform, Load）工具来实现。

其次，数据存储是指将经过清洗和转换处理后的数据存储到数据仓库中（如关系型数据库、大数据存储等）。这样可以方便后续的数据分析和查询操作，并且可以将业务数据进行持久化保存。

最后，数据处理是指对存储在数据仓库中的数据进行处理和计算，以生成适用于数据分析和决策支持的结果。这一阶段通常涉及到数据挖掘、数据建模、数据集成等技术，以提取有价值的信息并进行相关分析和预测。

综上所述，基本架构（BASE）层在数仓中起到了数据采集、存储和处理的重要作用。通过这一层的构建，可以实现从不同数据源中采集数据，并将其存储和处理成适用于后续数据分析的形式，为企业决策提供了有力的支持。

数仓的基本架构里面ADM层是干啥的

ADM层（Analytical Data Model）是数仓的基本架构中的一部分，用于实现数据的集成、转换和加载。ADM层通常被视为数仓的第一层，用于将从各个源系统中提取的数据进行初步加工和整合。

ADM层的主要任务是将来自不同源系统的数据转换成数仓所需要的标准数据模型，并对数据进行清洗、去重、校验等处理。ADM层还可以实现数据仓库中的元数据管理、数据质量管理和数据集成管理等功能。

在ADM层中，数据通常被存储在临时性的、面向应用层的表中，这些表的设计和使用都是针对特定的分析应用而进行的。因此，在ADM层中所创建的表并不是最终的目标表，而是为了满足数据集成和数据转换的需要而存在的中间表。