“CDN数据化实践.pdf”是阿里云-飞天七部的李克在2017年杭州云栖大会上关于CDN（内容分发网络）数据化的深度分享，涵盖了业务背景、数据需求、数据收集、数据分析以及数据应用等关键环节。
一、业务背景
阿里云的CDN服务在全球拥有1200+节点，承载着80T的带宽能力，服务于全球市场，并且涵盖10+不同的子产品，处理着百万级别的用户规模。这样的业务规模对数据的处理能力和实时性提出了极高的要求，包括EB级别的日志处理能力、监控数据的快速响应（如监控千亿级别的指标）以及随着业务的100%增长，对数据准确性和系统稳定性也提出了严苛的标准。
二、数据需求
在CDN服务中，数据需求主要包括以下几个方面：
1. 可靠性：保证数据的完整性和一致性，确保业务决策基于准确无误的数据。
2. 实时性：需要分钟级甚至秒级的实时数据处理能力，以便快速响应变化。
3. 海量数据处理：面对PB乃至EB级别的数据，需要高效的数据存储和处理机制。
4. 数据准确：确保监控数据、日志数据等的精确性，避免误报和漏报。
5. 系统稳定：在处理大规模数据的同时，保持系统的稳定运行，防止服务中断。
三、数据收集
数据收集涉及多个层面，包括CDN节点、源站、用户以及数据中心等多源数据：
1. CDN节点和源站：收集来自全球各地CDN节点和源站的流量、性能等数据。
2. 用户数据：获取用户访问行为、请求、响应等信息。
3. 中心系统：通过SLS（Simple Log Service）、Blink、OSS（Object Storage Service）、RDS（Relational Database Service）、PetaData和ODPS（开放数据处理服务）等工具进行数据汇聚。
四、数据分析
数据分析分为实时和离线两种方式，涉及多种技术和工具：
1. 实时分析系统：利用SLS进行实时流式数据处理，快速反馈业务动态。
2. 离线分析系统：通过ODPS进行大数据批处理，挖掘历史数据价值。
3. 专家系统和机器学习：借助AI技术提升数据分析的深度和智能性，如自动运维、智能调度等。
4. 用户画像和事件中心：构建用户行为模型，分析用户偏好，同时整合各类事件数据。
5. 数据输出：将分析结果用于监控报警、事件中心，为后续的数据应用提供依据。
五、数据应用
数据的应用主要体现在以下几个方面：
1. 决策中心：通过数据中心、专家系统和监控报警进行策略制定和决策支持。
2. 报表分析：提供直观的报表，帮助理解业务状况。
3. 策略执行：调度系统、配置系统、内容管理和安全系统根据分析结果进行策略调整。
4. 数据生产：优化缓存系统、负载均衡、监控系统和日志系统，提高数据的生产和处理效率。
《CDN数据化实践》展示了阿里云如何通过强大的数据处理能力，实现CDN服务的高效运营和智能决策，为客户提供稳定、快速、安全的内容分发服务。通过数据驱动，实现了从数据采集、分析到业务优化的闭环，进一步提升了CDN服务的竞争力。
我的内容管理
展开
