Kik Interactive如何通过简化实现3亿用户聊天应用的数据工程效率提升72%

"Scaling Through Simplicity: How a 300 million user chat app reduced data engineering efforts by 72%" 是在SPARK SUMMIT 2017上由Joel Cumming，Kik Interactive所分享的演讲，主要讨论了如何通过简化数据工程流程，特别是在数据收集和标准化转换方面，来实现大规模聊天应用的高效扩展，从而减少了72%的数据工程工作量。 在当今的云计算环境中，处理海量用户数据是关键挑战之一。Kik Interactive作为拥有3亿用户的聊天应用，面对这样的挑战，他们采用了AWS的Kinesis Firehose服务来优化数据流处理。Kinesis Firehose是一种完全托管的服务，能够实时地收集、转换和加载数据到不同的存储和分析服务，如S3和Redshift，极大地简化了数据摄入的复杂性。 Spark SQL是Apache Spark项目的一部分，它允许用户使用SQL或者DataFrame API进行数据处理。Kik Interactive利用Spark SQL实现了数据转换的标准化，使得数据处理更加高效且易于维护。Spark SQL支持跨多种数据源（如Hadoop HDFS、Cassandra、Hive等）的操作，可以整合不同的数据集并进行复杂分析，这对于大规模聊天应用的后台数据处理至关重要。 此外，演讲还提及了科学计算领域中面临的挑战，例如工作流定义、现有软件的隔离和并行化。Marco Capuccini，来自瑞典乌普萨拉大学的博士生，提出了使用应用容器（如Docker）和Easy MapReduce来扩展科学工具的思路。通过应用容器技术，可以解决软件依赖性问题，每个应用程序都有自己的运行环境（Guest OS），这使得在服务器上并行运行多个应用（App1, App2, App4, App3）变得更加简单，提高了资源利用率和工作效率。 服务器通过Host OS和Container Engine（如Docker Engine）管理这些容器，确保了软件的隔离，并且能够在不同数据集的子集上并行运行相同工具的多个实例，以实现数据处理的并行化。本地感知调度（Locality-aware scheduling）进一步优化了这一过程，确保任务被分配到与所需数据最近的计算节点，减少网络延迟，提高整体性能。 通过引入Kinesis Firehose简化数据收集，结合Spark SQL进行标准化转换，以及利用Docker容器和Easy MapReduce实现科学工作流的并行化，Kik Interactive成功地降低了数据工程的复杂性和工作量，同时也提升了其聊天应用的扩展性和效率。这种策略对于其他面临类似挑战的大型云服务和数据分析公司具有重要的参考价值。