网易数据治理实践：从问题到解决方案

"网易数据治理工具产品实践" 在2021年的DataFunSummit上，网易分享了其在数据治理领域的实践经验，特别是针对严选、传媒和音乐业务的数据治理专项。这次分享主要围绕四个部分展开：过往数据治理回顾、当前的治理痛点、产品整体策略以及未来规划。 首先，回顾过往的数据治理工作，网易在2017年至2020年期间经历了业务快速增长，导致计算和存储资源面临瓶颈。为了应对这个问题，网易开始关注如何定义和治理劣质数据以减轻资源压力。他们发现数据生产链路复杂，缺乏统一标准，对数据的全面了解和有效利用存在困难。 针对这些痛点，网易实施了专项治理策略。一方面，他们定义并扫描无用数据，经过业务确认后进行下线，同时进行闭环分析以优化任务消耗。这一过程包括了规则定义、诊断、业务确认、下线操作等步骤。另一方面，他们建立了成本度量体系，将成本转化为费用，通过资产盘点将表和任务具体到责任人，对无认领资产进行下线处理，以优化存储和计算资源。 在产品功能落地方面，网易开发了一系列工具和功能，如任务/表责任人明确、无用数据下线功能、表生命周期设置、计算任务成本分析等。这些功能帮助实现了资源的精细化管理，例如，通过计算任务的成本分析可以更有效地控制资源消耗。此外，还引入了负责人红黑榜和费用与下线指标的监控，通过邮件和内部工具通知来提升治理效率。 在专项治理策略中，网易取得了显著的成效。例如，在云音乐业务的优化中，成功下线了许多近30天未被使用的Hive表，优化了大量的数据存储，降低了不必要的计算资源消耗。这些治理效果通过量化指标得到了评估，证明了数据治理策略的有效性。 展望未来，网易将继续深化数据治理，可能涉及更多的业务领域，并且可能会开发更智能、自动化的数据治理工具，以适应不断变化的业务需求和数据环境。这包括持续优化成本结构，提升数据质量，以及建立更加完善的数据资产管理机制，确保数据的价值得到充分发挥。 总结来说，网易的数据治理实践涵盖了从识别问题、制定策略、开发工具到评估效果的全过程，展现了数据治理在解决业务挑战、提高资源利用率和推动业务价值方面的重要作用。未来，网易将持续关注数据治理的创新，以支持其业务的持续发展。