使用AWS与Apache Kylin构建大数据分析平台

“基于 AWS 和 Apache Kylin 实现面向数百万用户的数据分析服务” 本演讲主要探讨了如何利用亚马逊网络服务（AWS）和开源项目 Apache Kylin 构建一个能够服务于数百万用户的高效数据分析平台。在2018年的上海技术峰会上，来自上海鲸科信息技术有限公司的张晨和上海跬智信息技术有限公司的史少锋共同分享了这一实践经验。 首先，他们介绍了一个名为“Strikingly Analytics”的案例，这是一个由Strikingly公司（2012年创立）提供的建站服务，该服务在短短两个月内实现了盈利，并已服务全球数百万客户，月均访问量达到千万级别。2016年，Strikingly在中国推出了本土服务，随后在2017年成为领先的微信小程序平台提供商。其数据分析服务旨在通过访问者流（ClickStream）分析，为商业智能（BI）决策提供数据支持，使不懂技术的客户也能从中受益。 面临的主要挑战包括处理海量数据、维护数据平台基础设施、快速响应各种查询请求以及支持不断增长的新需求。为了应对这些挑战，Strikingly选择了AWS云服务，因为它提供了强大的计算和存储能力，同时结合开源工具Hadoop和Apache Kylin，后者是一个针对大数据的在线分析处理（OLAP）工具，特别适合构建亚秒级查询响应的多租户系统。 AWS 提供了一系列云服务，如弹性计算云（EC2）、简单存储服务（S3）、数据处理服务（例如 EMR for Hadoop）等，这些服务帮助Strikingly构建了一个可扩展且可靠的基础设施。Apache Kylin则在AWS环境中实现了快速的数据立方体构建和查询优化，确保了在大规模数据集上的高效分析性能。 此外，他们强调了利用开源生态系统和相关技术分析报告的重要性，以及跨部门协作的必要性。通过这种方式，Strikingly不仅能够处理超大规模数据，还能够快速迭代以满足不断变化的业务需求。 这个演讲揭示了如何借助AWS的云计算能力和Apache Kylin的大数据分析能力，构建一个面向海量用户的数据分析服务，从而支持企业的商业智能决策，提高服务质量和用户体验。这种解决方案对于那些希望在大数据领域实现快速部署和高效运营的企业具有重要的参考价值。