spark scala hadoop 版本对应关系
时间: 2023-07-11 18:00:27 浏览: 598
本地调试所需spark-x.x.x-bin-hadoop包
Spark和Hadoop的版本对应关系如下:
| Spark版本 | Hadoop版本 |
|-----------|------------|
| 2.4.x | 2.7.x |
| 3.0.x | 3.2.x |
Scala版本和Spark版本的对应关系如下:
| Scala版本 | Spark 2.x版本 | Spark 3.x版本 |
|-----------|---------------|---------------|
| 2.11 | ✓ | |
| 2.12 | ✓ | ✓ |
需要注意的是,Spark 2.4.x也支持Hadoop 3.x版本。另外,在使用Spark时,需要根据具体情况选择相应版本的Scala和Hadoop。
阅读全文