数据仓库质量监控配置详解与告警设计

数据仓库监控质量文档详细阐述了在从数据源抽取并存储到Hive数据仓库的过程中如何进行质量监控。文档的核心内容主要包括以下几个方面： 1. **质量监控配置**：该部分是文档的核心，它指导用户如何在XTQ-运营监控管理界面进行数据质量的设置和维护。用户可以在此进行查询、添加或修改监控表数据，确保数据的准确性和完整性。监控配置涉及表名的选择，必须对应实际存在的表，且不支持自定义；支持的报警方式是短信通知，通过输入通知联系人手机号或电子邮件地址。 2. **通知设置**：包括通知类型（目前仅限短信）、通知联系人、通知内容，如短信中的SQL查询（如"sql1"和"sql2"），这些查询在特定插件中起到关键作用，例如检查ODS与源记录的对比、DWD与ODS的差异以及Hive表数据的变化。 3. **告警类别与插件类型**：告警类别定义了触发报警的严重程度，通常选择普通级别。插件类型多样，如ODS与源数据对比、DWD数据验证、Hive表数据历史比较，以及基于自定义SQL查询的结果分析。例如，"当前hive数据和sql1数据比较"用于检查数据的连续性。 4. **监控表结构示例**：mon_quality_data表展示了用于监控的结构，包括dwd全量表和ods增量表的对比，以及检查当前Hive表是否包含数据的逻辑。 5. **阈值与计算方法**：监控过程中，系统会根据预设的最小阀值和最大阀值计算百分比变化，如果结果落在这两个阈值范围内，则认为数据正常，否则触发报警。计算公式是（当前值-参考值）/参考值 * 100。 6. **日期与时间维度**：监控通常与时间有关，比如与前一天的数据进行比较，查询语句会使用特定的日期条件（如WHERE q.db_name = 'DBNAME' AND q.table_name = 'TABLENAME'）。 这份文档提供了详尽的数据质量监控指南，帮助用户确保数据仓库中的数据在不断变化的环境中保持一致性和准确性。通过理解并遵循这些配置和操作步骤，数据团队能够有效地管理和提升数据质量。