Yahoo数据分析转型：Spark/Shark的集成与未来

"Tim Tully在Spark Summit 2013上的演讲内容，关于将Spark/Shark集成到雅虎数据分析平台的讨论" Tim Tully，一位雅虎的高级工程师，在2013年的Spark Summit上分享了他对现有Hadoop架构的反思，并介绍了雅虎为何转向Spark和Shark这一新的分析框架。这次演讲主要涵盖了以下几个关键知识点： 1. **遗留/当前的Hadoop架构**： - 在过去的架构中，雅虎使用了一种基于NFS（网络文件系统）的存储方式，日志数据被收集并存储在NFS上，然后通过定制的日志收集基础设施转移到Hadoop的HDFS（Hadoop分布式文件系统）。 - 工作节点（Worker）使用C++处理数据，且依赖Perl脚本进行启动，这导致了效率低下和复杂性增加。 2. **反思与痛点**： - 雅虎面临的问题包括大量的数据移动、多实例Hadoop集群、使用Pig/MR ETL处理大规模连接，以及在Pig、MapReduce和Hive中的聚合和报告生成。 - 报告需要加载到关系数据库管理系统（RDBMS），并且还有实时流处理的需求，这些都对旧架构提出了挑战。 3. **转向Spark/Shark的原因**： - Spark提供了更高效的数据处理能力，相比Hadoop MapReduce，它具有内存计算的优势，能显著提高数据分析的速度。 - Shark是基于Spark的SQL查询引擎，可以提供类似传统数据库的接口，简化数据分析操作。 4. **新的混合环境**： - 雅虎引入了一个新的混合环境，结合了Spark/Shark和Hadoop。这允许更灵活地处理批处理和实时分析任务，同时利用Spark的高性能特性。 5. **未来Spark/Shark/Hadoop栈**： - 随着Spark的集成，雅虎的未来数据栈可能包括Spark作为核心处理引擎，Shark用于SQL查询，Hadoop则作为底层的存储和分布式计算基础。 - 实时流处理由Storm on YARN（YARN是Hadoop的资源管理器）支持，而持久化数据则存储在HBase、HDFS/HCat（Hive的元数据存储）或关系型数据库中。 6. **结论**： - 整体来看，雅虎的转变旨在通过提升数据分析的效率和响应速度，来应对大数据时代的挑战。Spark和Shark的组合提供了一个更强大、更快速且易于使用的平台，以支持各种工作负载，包括批处理、在线分析处理（OLAP）、实时流处理和机器学习。 这个演讲展示了雅虎如何逐步优化其数据分析流程，以适应日益增长的数据量和复杂性，同时也揭示了Spark在大数据生态系统中的重要作用。