DW和DM的JOB没有跑,但是ODS的JOB一直在跑导致抽取重复数据后,重新跑了DW和DM的JOB,那ODS的重复数据是不是也会进到DW和DM
时间: 2024-03-31 08:34:02 浏览: 18
如果ODS的JOB一直在跑,并且导致抽取重复数据后,重新跑了DW和DM的JOB,那么在重新跑DW和DM的JOB时,如果没有对ODS抽取的重复数据进行清洗或去重处理,那么这些重复数据很可能会再次进入DW和DM中。因此,在重新跑DW和DM之前,需要先对ODS的重复数据进行清洗或去重处理,以避免数据重复进入DW和DM。
相关问题
如果DW和DM的JOB没有跑,但是ODS的JOB一直在跑,是不是会导致抽取重复数据
如果DW和DM的JOB没有跑,但是ODS的JOB一直在跑,会导致ODS层的数据一直在更新,但DW和DM层的数据没有及时更新,可能会导致在数据抽取时出现重复数据或遗漏数据的情况。因为DW和DM的JOB没有跑,所以无法及时将ODS层的数据同步到DW和DM层,从而导致问题的发生。因此,在设计数据抽取流程时,应该考虑到所有层级的同步问题,确保数据的准确性和完整性。
ODS层存在数据,但数据未进到DW和DM是什么原因
ODS层存在数据但是数据未进到DW(Data Warehouse)和DM(Data Mart)可能有以下原因:
1. ETL(Extract, Transform, Load)流程中出现错误:ETL流程可能存在数据提取、转换或加载错误,导致数据未能成功进入DW和DM。
2. 数据质量问题:ODS层中的数据可能存在质量问题,如缺失值、重复数据、无效数据等,这些数据不符合DW和DM的要求,因此未能成功进入DW和DM。
3. 数据模型不匹配:ODS层和DW/DM之间的数据模型可能存在差异,导致数据无法被正确映射到DW和DM中。
4. 数据量过大:ODS层中的数据量可能过大,超出了DW和DM的容量限制,导致数据无法被成功加载到DW和DM中。
5. 未被设计为进入DW和DM:有时候ODS层中的数据并不是为了进入DW和DM而设计的,而是为了支持操作型系统的日常业务运营需求而存在的,因此并不需要进入DW和DM。
需要根据具体情况进行分析来确定未进入DW和DM的原因。
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)