设计数据仓库使用的原始数据是什么
时间: 2023-12-03 10:02:46 浏览: 35
设计数据仓库使用的原始数据与数据库使用的原始数据有所不同。数据仓库使用的原始数据主要指的是从多个数据源中提取、清洗、转换后的数据,通常包含了历史数据、跨部门或跨系统的数据、非结构化数据等。这些数据被存储在数据仓库中,并通过数据仓库管理系统进行管理、分析和查询。数据仓库的设计和使用可以帮助企业更好地理解和分析业务数据,支持企业决策和战略制定,是现代企业中不可或缺的一部分。
相关问题
hive 数据仓库设计
Hive数据仓库设计通常包含三个层次:ODS、DWD和ADS层。其中,ODS层是数据仓库的原始数据层,主要用于存储从各个数据源中抽取的原始数据;DWD层是数据仓库的数据加工层,主要用于对ODS层中的数据进行清洗、转换和集成,生成符合业务需求的数据;ADS层是数据仓库的应用数据层,主要用于支持业务应用的数据查询和分析。此外,Hive数据仓库设计还需要使用ETL工具对数据进行抽取、清洗、转换和加载,以及使用可视化工具对数据进行可视化展示和分析。
对于数据仓库分层的设计
数据仓库分层的设计是一个重要的数据仓库设计原则,常见的数据仓库分层包括三层结构:数据源层、数据仓库层和数据应用层。
1. 数据源层:数据源层是指数据仓库的数据来源,包括外部系统、数据库、文件等,常用的ETL工具用来从数据源层提取数据并进行必要的清洗和转换。
2. 数据仓库层:数据仓库层是指存储和管理数据的层次,包括原始数据存储、数据清洗和转换、数据集成和汇总等环节。具体包括以下几个层次:
- 原始数据层:存储原始数据,一般不对数据进行任何处理和转换。
- 数据清洗与转换层:对原始数据进行清洗、规范化、去重、合并等操作,以提高数据的质量和可用性。
- 数据集成层:将来自多个数据源的数据进行整合和汇总,构建星型或雪花型的数据模型。
- 数据存储层:存储整合后的数据,包括事实表和维度表等。
3. 数据应用层:数据应用层是指数据仓库的应用系统,包括数据分析、数据挖掘、报表、可视化等应用,帮助企业进行数据驱动的决策和业务创新。
数据仓库分层的设计可以提高数据的可管理性、可维护性和可扩展性,也可以降低数据仓库设计的复杂度和成本。同时,数据仓库分层的设计需要根据具体业务需求和数据特点进行灵活调整和优化。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)