利用AWS构建云端大数据分析平台

"2013年中国数据库大会-44-云端漫步——利用Amazon AWS构建可伸缩的数据分析平台" 在2013年的中国数据库技术大会上，专家们探讨了如何利用Amazon Web Services (AWS) 构建高伸缩性的数据分析平台，特别是针对兰亭集势这样的跨国电商平台所面临的挑战。兰亭集势每天处理大量的跨国数据，包括来自100多个国家的访客流量、庞大的包裹配送、多语言服务以及种类繁多的商品。这带来了大量的数据生成，每天新增数据高达100GB，计算需求达到5TB。 兰亭集势的数据处理特点包括离线分析与实时服务相结合，原始信息非结构化，且主要来源于国外的WebServer点击流和定制的CollectServer追踪信息。此外，其对计算资源的需求具有弹性，既有集群规模不大的情况，也有计算资源利用率不饱和的问题。 传统的数据处理平台存在一些不足，如跨国数据传输成本高、存储和计算能力静态绑定且受限于硬件规模，导致计算资源的浪费与不足并存。为解决这些问题，兰亭集势转向AWS寻求解决方案。 AWS提供了多种服务来构建新的数据处理平台。其中，EC2（Elastic Compute Cloud）提供了可扩展的计算资源，可以根据需求选择不同类型的实例，如高性能计算、高I/O或高存储实例，并提供了按需和预留的租用方式。S3（Simple Storage Service）则提供了几乎无限的存储空间，支持全球分布式存储，具有安全管理和简便操作接口。EMR（Elastic MapReduce）在EC2上运行，允许高效执行MapReduce任务，非常适合大规模数据处理。 通过这种方式，兰亭集势能够实现数据处理平台的弹性伸缩，降低跨国数据传输成本，同时解决了计算能力和存储能力的动态调整问题。这不仅优化了运营效率，还支持了各种数据分析任务，如用户行为分析、品类效能评估、运营指标监控、广告效果评估与自动竞价、商品陈列优化、关联推荐和个性化购物体验等，从而提升了业务决策的准确性和响应速度。