阿里巴巴大数据开发平台：赋能业务，挖掘数据价值

"阿里巴巴资深技术专家强琦在云计算大会上分享了关于大数据开发平台的演讲，主要涉及大数据开发背景、平台构建及应用实践。" 在大数据开发背景方面，阿里巴巴面临的数据规模非常庞大，包括数百万张表的结构化数据，总量达到80PB，每月新增数据3PB，覆盖所有业务线，并且还涉及到外部数据。在这种背景下，企业面临的主要挑战包括数据管理（如何找到所需数据），计算能力（负担得起并有效利用），以及数据质量（确保数据的可用性）。 为了解决这些问题，阿里巴巴构建了大数据开发平台。平台的主要目标是提供数据管理服务，使数据变得可寻，通过元数据管理和数据地图实现数据查找，建立质量体系以跟踪数据血缘，并提供数据探索功能。此外，平台还包含了大数据处理能力，如大规模批量计算系统、流计算服务化平台、数据同步中心、实时数据中心和在线KV存储服务，以支持高效的数据处理和分析。 平台还提供了调度服务、即时计算服务、监控、计量、审计和安全服务，以保障系统的稳定运行。同时，为了提高易用性，平台还包括开发者门户IDE和算法平台，使得开发人员能更便捷地进行大数据挖掘和应用开发。 在数据关系方面，平台扮演了赋能者的角色，通过统一中间层ODS和通用数据层减少重复建设，提升数据质量，实现数据的乘法效应。数据市场则通过质量体系、市场机制和应用市场促进数据的共享和共建。 在实施方式上，平台以业务落地为基准，构建开放体系。提供组件API服务，制定接入标准，包括元数据、安全、计量、血缘和授权，同时保持平台的开放性。 数据交换平台在阿里巴巴内部广泛应用于各个业务场景，如信用评估、金融服务、社会化物流、管理SaaS等。它支撑了整个集团的数据基础，包括安全体系、监控系统、审计系统和计量体系。开发者平台则用于应用程序开发和决策分析，而数据中间层通过统一ODS和服务总线整合数据，提供在线数据服务和实时计算DB。此外，平台还涵盖了调度系统、资源调度、数据同步、数据管理、生命周期管理、元数据、流式处理、数据质量和全量计算等功能。 总结来说，阿里巴巴的大数据开发平台是一个全面的数据管理和处理解决方案，旨在解决大数据的挑战，提升数据价值，促进内部业务的发展，并通过开放和标准化的方式推动整个行业的创新。