spark3比spark2优化了哪些

Spark 3相较于Spark 2进行了多项优化，提升了性能和功能。以下是其中一些关键改进：

1. 性能提升：
- **内存管理**：引入了更有效的内存管理和任务调度策略，如Tungsten架构，减少垃圾回收开销，提高内存利用率。
- **计算效率**：对核心算子（如DataFrame操作）进行了优化，例如，SQL查询引擎Catalyst进行了更新，提高了执行计划的生成速度和效率。
- **分布式计算**：支持更大规模的数据集，通过改进任务并行性和分区处理能力，提升大规模数据处理性能。

2. 功能增强：
- **机器学习库**：加强了MLlib和PySpark ML的功能，包括更多的算法、更好的模型集成等。
- **图形处理**：支持GPU加速，利用CUDA进行GPU上的数据处理，提高训练速度。
- **实时流处理**：Streaming API有了进一步改进，支持低延迟处理和复杂事件处理模式。

3. 易用性改善：
- **API**：提供了更好的开发者体验，比如统一的Python DataFrame API，使得跨语言编程更加顺畅。
- **生态系统**：与Hadoop生态系统的集成更加紧密，如Kafka的兼容性增强。