如果DW和DM的JOB没有跑,但是ODS的JOB一直在跑,是不是会导致抽取重复数据
时间: 2024-03-31 07:34:02 浏览: 23
如果DW和DM的JOB没有跑,但是ODS的JOB一直在跑,会导致ODS层的数据一直在更新,但DW和DM层的数据没有及时更新,可能会导致在数据抽取时出现重复数据或遗漏数据的情况。因为DW和DM的JOB没有跑,所以无法及时将ODS层的数据同步到DW和DM层,从而导致问题的发生。因此,在设计数据抽取流程时,应该考虑到所有层级的同步问题,确保数据的准确性和完整性。
相关问题
DW和DM的JOB没有跑,但是ODS的JOB一直在跑导致抽取重复数据后,重新跑了DW和DM的JOB,那ODS的重复数据是不是也会进到DW和DM
如果ODS的JOB一直在跑,并且导致抽取重复数据后,重新跑了DW和DM的JOB,那么在重新跑DW和DM的JOB时,如果没有对ODS抽取的重复数据进行清洗或去重处理,那么这些重复数据很可能会再次进入DW和DM中。因此,在重新跑DW和DM之前,需要先对ODS的重复数据进行清洗或去重处理,以避免数据重复进入DW和DM。
ODS层对源数据抽取出现错误怎么解决,并导致DW和DMselect权限被拒绝
如果ODS层对源数据抽取出现错误,则需要通过以下步骤来解决:
1. 确认源数据是否有误:首先需要确认源数据是否有误,如果源数据有误,则需要修复源数据并重新抽取。
2. 检查ODS层抽取程序:如果源数据没有问题,则需要检查ODS层抽取程序,确认程序是否正确,是否存在异常。
3. 检查ODS层数据库连接:如果ODS层抽取程序没有问题,则需要检查ODS层数据库连接,确定数据库连接是否正常。
4. 检查DW和DMselect权限:如果ODS层抽取程序和数据库连接都没有问题,则需要检查DW和DMselect权限是否被拒绝。如果权限被拒绝,则需要联系管理员重新授权。
综上所述,如果ODS层对源数据抽取出现错误,并导致DW和DMselect权限被拒绝,需要通过以上步骤逐一排查,找到问题所在并解决。
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)