spark作业升级到spark3 scala 2.12 踩坑和解决方法

在将Spark作业升级到Spark3和Scala 2.12时，可能会遇到以下问题和解决方法：

1. 依赖库不兼容：Spark3和Scala 2.12需要使用新的依赖库，旧的依赖库可能不兼容。解决方法是更新依赖库版本，或者使用新的依赖库。

2. 代码不兼容：Spark3和Scala 2.12可能会有一些代码不兼容的问题，例如API的变化等。解决方法是修改代码，使其兼容新的API。

3. 编译错误：在编译Spark作业时，可能会遇到一些错误，例如缺少依赖库等。解决方法是检查依赖库是否正确，或者更新依赖库版本。

4. 运行错误：在运行Spark作业时，可能会遇到一些错误，例如数据类型不匹配等。解决方法是检查代码逻辑，或者修改数据类型。

总之，在升级Spark作业到Spark3和Scala 2.12时，需要仔细检查依赖库和代码，以确保其兼容性。同时，需要注意新版本的API和数据类型，以避免运行错误。

相关问题

scala2.12 spark

### Scala 2.12与Spark集成教程

#### 安装配置环境
为了确保能够顺利使用Scala 2.12版本开发基于Apache Spark的应用程序，需先完成必要的软件安装。这包括JDK、Scala以及Spark本身的部署[^1]。

对于操作系统而言，无论是Linux还是Windows平台都可以支持上述组件的搭建；不过考虑到实际操作中的便利性和稳定性，在此推荐采用类Unix系统作为主要工作环境。具体来说：

- JDK建议选用Oracle官方发布的稳定版；
- 下载对应于目标系统的预编译二进制包形式的Scala发行版并解压至指定路径；
- 同样地获取适合当前硬件架构的Spark压缩文件，并按照文档指示设置好相应的环境变量以便后续调用命令行工具。

#### 创建项目结构
当所有依赖项都已妥善安置之后，则可以着手构建新的工程实例了。通常情况下会借助Maven或者SBT这样的自动化构建管理器来简化流程控制过程。这里以SBT为例说明如何定义`build.sbt`文件内的基本信息：

name := "MyFirstSparkApp"

version := "0.1"

scalaVersion := "2.12.18"

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.4.0"

这段简单的声明指定了项目的名称、版本号还有所使用的Scala语言级别，同时也引入了一个来自Maven中央仓库的核心库模块用于处理分布式计算任务。

#### 编写业务逻辑代码
有了良好的开端之后就可以专注于实现具体的算法模型或是数据分析功能点了。下面给出一段用来统计单词频率分布情况的小例子供参考学习之用：

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("Word Count").setMaster("local[*]")
        val sc = new SparkContext(conf)

        val lines = sc.textFile("/path/to/input.txt")
        val words = lines.flatMap(_.split("\\W+"))
        val pairs = words.map(word => (word.toLowerCase(), 1))
        val counts = pairs.reduceByKey(_ + _).sortByKey()

        println(counts.collect.mkString("\n"))

        sc.stop()
    }
}

该片段展示了怎样通过读取纯文本资源的方式加载原始数据集进入内存空间形成RDD对象序列化表示法，接着运用一系列转换方法逐步提炼出最终的结果集合——即每一对键值对代表某个特定词条在整个语料库中出现过的总次数。

#### 提交作业执行计划
最后一步就是把打包好的jar包上传到集群节点上启动服务端口监听等待客户端请求连接过来提交待办事项列表给调度中心安排合适的Executor进程去负责运算加工环节的工作啦！

假设已经编写完成了名为`patrol-spark-service-0.0.1-SNAPSHOT.jar`的目标产物并且放置到了HDFS文件系统当中的话，那么只需要在终端窗口里输入如下所示的一串参数组合即可触发整个批处理周期的操作链条运转起来[^2]:

spark-submit \
--class com.patrol.spark.PatrolSparkServiceApplication \
--executor-memory 4G \
--num-executors 8 \
--master yarn-client \
/data/test/patrol-spark-service-0.0.1-SNAPSHOT.jar

这条指令明确了应用程序入口位置在哪一处类里面定义的方法之中，同时还设置了若干影响性能表现的关键属性比如分配多少内存大小给各个子线程共享使用啊之类的细节问题。

scala2.12匹配spark版本

Scala 2.12与Spark版本的匹配问题是一个非常常见的问题。Scala是一种编程语言，而Spark是一个用Scala编写的分布式计算框架，它是基于Hadoop的。

在选择Scala 2.12与Spark版本之间的匹配时，我们需要考虑以下几个因素：

1. Scala二进制兼容性：Scala官方在2.11版本中引入了二进制兼容性的变化，并且在2.12版本中又引入了一些新的二进制兼容性变化。这意味着在选择与Spark版本匹配的Scala版本时，我们需要确保Spark版本是基于相应Scala版本的二进制兼容。

2. Spark发布版本：Apache Spark项目发布了多个版本，每个版本都支持不同的Scala版本。特别是从Spark 2.0版本开始，Spark的官方发布版本已经开始支持Scala 2.11和Scala 2.12两个版本。

因此，我们可以根据以上两个因素来确定Scala 2.12匹配的Spark版本：

1. 如果你选择使用Spark 2.4或更高版本，那么它们都支持Scala 2.12。

2. 如果你选择使用Spark 2.3或更早版本，那么它们都只支持Scala 2.11。对于这种情况，你只能选择Scala 2.11作为与Spark版本匹配的Scala版本。

总结起来，Scala 2.12与Spark的最佳匹配版本是Spark 2.4及更高版本。然而，如果你使用的是Spark 2.3或更早版本，那么只能使用Scala 2.11来与Spark版本匹配。