"有赞数据治理之提质降本分享"
在数据治理领域,有赞公司通过一系列措施实现了数据质量的提升和成本的有效控制。数据治理主要关注数据的质量和成本,确保数据的稳定性、准确性和生命周期的合理管理,从而降低整体运营成本。在这个过程中,数据治理不仅涉及数据内容的质量,还涵盖了数据的稳定性、及时性以及业务和用户的认可度。
数据治理概述:
数据治理是一个全面的过程,包括了对数据的管理和控制,旨在提升数据质量,确保数据的可用性和价值。它涉及数据的定义、管理、监控和改进,涵盖了“what”(理解数据的内容和范围)、“why”(理解为何需要高质量数据)和“how”(实施策略和流程以达到目标)。
质量保障体系:
1. 内容质量校验:通过系统自动和自定义的质量规则进行数据验证,如非空检查、数值范围、枚举值等,以确保数据的准确性。
2. 数据量波动监控:跟踪文件数、主键唯一性、表行数/大小等,预防数据量异常波动。
3. 规范性检查:关注数据名称、注释等的标准化,提高数据的可读性和一致性。
4. 及时性管理:设置deadline并监控超时情况,确保数据处理的时效性。
5. 准确性评估:统计错误次数和校验失败情况,减少错误数据的出现。
6. 认可度分析:根据下游依赖数、收藏/关注次数、搜索次数和使用次数等指标,评估数据的业务价值。
成本运营机制:
1. 资产成本量化:对Hadoop、Hbase、Flink等资源的存储、计算和时间成本进行量化,确定合理的资源总量和单价。
2. 合理水位设定:通过设定合理水位,确保资源的合理利用,避免浪费。
3. 成本控制:通过优化任务执行效率,例如清理长耗时任务,降低不必要的资源消耗。
提质手段:
1. DDL入口限制:控制数据变更,防止不合规的数据输入。
2. deadline临近预警:提前预警,促使任务按时完成。
3. 静态检查:预防问题的发生,提高数据处理的稳定性。
4. 主题告警和专项推进:针对特定问题进行专项优化,提升数据质量。
5. 质量大盘和红黑榜单:可视化监控数据质量,便于发现问题并及时解决。
提质效果:
1. 稳定性:通过优化,减少了单一告警规则,提升了数据处理的稳定性。
2. 及时性:有效清理超时任务,提高任务执行效率。
3. 规范性:统一命名,提升业务域归属率,减少异常产出。
4. 准确性:显著降低了数据校验失败率,提升了中间层数据质量。
总结与展望:
有赞的数据治理实践展示了如何通过建立质量保障体系和成本运营机制,实现数据质量的提升和成本的降低。未来,数据治理将继续深化,可能涉及到更多元化的数据源、更精细的成本控制策略以及更智能的质量监控手段,以更好地服务于业务发展和决策支持。