网易数据中台建设：速度、准确性和成本的挑战与实践

“数据中台，从业务中来，到业务中去.pdf” 本文主要探讨了数据中台的概念、发展背景以及其在业务中的重要性，特别以网易数据中台的建设为例，阐述了数据中台的来源、目标以及建设的必要性。 数据中台的来源： 随着业务对数据的依赖逐渐加深，精细化运营时代来临。高频率的运营活动要求数据研发速度更快，多场景融合使得数据需要通过一致性维度进行分析，形成完整的闭环。数据已经从单纯的数据展现扩展到辅助决策和执行的层面，广泛应用于产品、运营等各个环节，成为业务人员日常工作的关键。数据粘性的增加表明，没有数据，业务无法正常进行。 数据应用的四个阶段： 从早期的BI报表，到数据产品的出现，再到自助取数和增强分析，数据应用的发展反映了企业对数据利用能力的不断提升。2015年，企业主要依赖BI报表；到了2018年，数据产品开始崭露头角；2019年，自助取数成为趋势；2020年，增强分析进一步强化了数据的决策支持功能。 网易电商业务数据应用体系在数据中台建设前的状态是分散的、烟囱式的，各个部门拥有独立的小数仓，这导致了数据查找困难、需求响应慢、报表加载速度慢以及数据质量问题频发。 数据中台建设的动机： 网易在数据中台建设前面临诸多挑战，如需求交付速度慢，平均需要一周时间；数据查找困难，表数量庞大；取数依赖技术人员，效率低下；报表加载速度慢，用户体验差；数据质量问题严重，引发用户投诉；以及大量未被访问的表占用存储空间。 数据中台的目标： 通过建设数据中台，旨在解决上述问题，实现数据的快速交付，提升数据的准确性，减少不必要的存储浪费，同时提高数据的可用性和可信度，最终达到业务效率的提升和成本的节约。 网易数据中台的建设经验： 自2018年末开始，网易构建了数据中台支撑技术体系，支持了网易云音乐、严选、考拉、传媒、有道等多个业务板块的数据中台项目。这一体系的建立不仅提高了数据处理的速度，还优化了数据质量，降低了数据问题的发生，实现了数据资源的有效整合和高效利用。 总结来说，数据中台是企业应对复杂业务需求、提升数据价值的关键。它从业务需求出发，通过集中的数据管理和处理，服务于业务的各个方面，最终再反哺业务，推动企业的数字化转型和持续发展。