Spark入门指南：从零打造Spark集群

"Spark实战高手之路-从零开始" 这本书是Spark亚太研究院云计算分布式大数据Spark实战高手之路三部曲的第一部，由王家林撰写。它旨在帮助读者从零基础开始，逐步掌握Spark技术，成为Spark实战高手。书中涵盖的内容全面且深入，包括Spark集群的构建、Spark架构设计、内核剖析、Shark、SparkSQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn以及JobServer等多个关键领域。 在构建Spark集群的过程中，书中的前几章详细介绍了如何搭建分布式Hadoop 2.2.0集群，这是一个必要的前置步骤，因为Spark通常运行在Hadoop之上。这一部分分为九个步骤，逐步指导读者配置和部署Hadoop集群，确保读者能够建立稳定的基础环境。 接着，书中的第二部分介绍了如何构建分布式Spark 1.0.2集群。这部分同样详尽地涵盖了配置和设置Spark集群的各个细节，让读者理解如何将Spark组件正确地部署到Hadoop集群上。 在构建完集群后，书中通过三个步骤来测试Spark集群的功能和性能，确保一切正常运行。这部分内容对于验证集群的可用性和发现潜在问题至关重要。 为了便于开发，书中的第四部分还指导读者如何在IDEA这样的集成开发环境中配置Spark开发环境，这对于实际的编程和调试工作来说非常实用。 此外，书中还涉及了SparkSQL，这是Spark用于处理结构化数据的组件，使得SQL查询可以在大规模数据集上运行。Spark Streaming则讲解了如何处理实时数据流，GraphX介绍了Spark对图计算的支持，而机器学习部分则涵盖了Spark MLlib库的使用，这些都是大数据分析的重要组成部分。 最后，Spark on Yarn部分解释了如何在Hadoop的YARN资源管理器上运行Spark作业，JobServer则讨论了如何对外提供Spark服务，使得非Spark应用也能方便地调用Spark计算。 这本书是Spark初学者和进阶者的宝贵资源，通过实例和详细步骤，它帮助读者深入理解Spark的各个方面，从而提升在大数据处理和分析领域的技能。