我们在学习spark的时候，到底在学习什么？

学习Spark时，主要学习的是分布式计算框架Spark的使用和原理，包括Spark的基本概念、Spark的核心组件、Spark的编程模型、Spark的调度和优化等方面的知识。同时，还需要学习如何使用Spark进行数据处理、机器学习、图计算等任务，并掌握Spark的常用API和工具。

相关问题

如何在spark分布式平台上训练深度学习模型？

在Spark分布式平台上训练深度学习模型的方法有多种。一种常用的方法是使用Spark MLlib中的TensorFlowOnSpark库。这个库将TensorFlow与Spark集成在一起，可以让用户在分布式环境中训练和部署TensorFlow模型。另外，也可以使用大数据平台上的深度学习框架，如：BigDL,Elephas。这些框架都是基于Spark的，可以在分布式环境中训练和部署深度学习模型。

如何学习spark源码？

学习 Spark 源码可以帮助你深入理解 Spark 的内部实现和运行机制。下面是一些学习 Spark 源码的步骤和建议：

1. 了解基本概念：在开始学习 Spark 源码之前，确保你对 Spark 的基本概念和组件有一定的了解，例如 Spark Core、Spark SQL、Spark Streaming 等。

2. 阅读文档和教程：首先阅读官方文档和 Spark 提供的教程，这将帮助你了解 Spark 的整体架构和使用方式。

3. 下载源码：从 Spark 的官方 GitHub 仓库中下载源码，并按照官方指示设置开发环境。

4. 阅读源码：开始阅读 Spark 的源码，可以从核心组件开始，逐渐深入了解。建议先从 Spark Core 开始，了解 RDD 的实现原理以及任务调度等核心概念。

5. 调试和运行示例：通过调试和运行 Spark 的示例代码，可以帮助你更好地理解源码中的各个模块和函数的作用。

6. 参考文档和源码注释：在阅读源码时，注意查看源码中的注释，并参考官方文档和其他相关资料，这将有助于你更好地理解代码逻辑和实现细节。

7. 参与社区讨论：如果你遇到了问题或有疑问，可以参与 Spark 社区的讨论，与其他开发者交流和分享经验。

8. 实践和应用：将学到的知识应用到实际项目中，通过实践来加深理解和掌握 Spark 源码的细节。

需要注意的是，学习 Spark 源码需要具备一定的编程和分布式计算基础，同时需要耐心和持续的学习精神。