spark、spark streaming 依赖包总结，及胖包和瘦包的配置

Spark和Spark Streaming的依赖包总结：

1. Spark依赖包：

- Spark Core：包含Spark的核心组件，如RDD、SparkContext等。
- Spark SQL：提供了一种基于结构化数据的编程接口，支持SQL查询和DataFrame API。
- Spark Streaming：提供了一种实时数据处理的编程接口，支持数据流的处理和分析。
- Spark MLlib：提供了一些常用的机器学习算法和工具。
- Spark GraphX：提供了一些图计算的算法和工具。

2. Spark Streaming依赖包：

- Spark Streaming Core：包含Spark Streaming的核心组件，如DStream、Receiver等。
- Spark Streaming Kafka：提供了与Kafka集成的工具和API。
- Spark Streaming Flume：提供了与Flume集成的工具和API。
- Spark Streaming Twitter：提供了与Twitter集成的工具和API。

胖包和瘦包的配置：

- 胖包：将所有的依赖包都打包到一个jar文件中，方便部署和使用，但是文件较大。
- 瘦包：只打包必要的依赖包，其他依赖包需要在运行时从外部获取，文件较小，但是需要额外的配置。

在Spark中，可以通过以下两种方式来配置胖包和瘦包：

1. 使用sbt或maven等构建工具，在打包时指定依赖包的范围，可以选择打包所有依赖包或只打包必要的依赖包。

2. 在Spark的配置文件中，可以通过spark.driver.extraClassPath和spark.executor.extraClassPath参数来指定额外的依赖包路径，这些依赖包将会被添加到Spark的classpath中。如果使用瘦包，需要将所有的依赖包放到指定的路径下，以便Spark能够找到它们。